JP2021111852A - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2021111852A
JP2021111852A JP2020001631A JP2020001631A JP2021111852A JP 2021111852 A JP2021111852 A JP 2021111852A JP 2020001631 A JP2020001631 A JP 2020001631A JP 2020001631 A JP2020001631 A JP 2020001631A JP 2021111852 A JP2021111852 A JP 2021111852A
Authority
JP
Japan
Prior art keywords
information processing
color image
temperature
detection frame
imaging data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020001631A
Other languages
English (en)
Inventor
有芸人 田島
Akito Tajima
有芸人 田島
翔太郎 小元
Shotaro Komoto
翔太郎 小元
慶二 大村
Keiji Omura
慶二 大村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2020001631A priority Critical patent/JP2021111852A/ja
Priority to PCT/IB2020/062077 priority patent/WO2021140389A1/en
Priority to EP20828558.5A priority patent/EP4088448A1/en
Priority to CN202080092052.XA priority patent/CN114930801A/zh
Priority to US17/771,814 priority patent/US20230003585A1/en
Publication of JP2021111852A publication Critical patent/JP2021111852A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0044—Furnaces, ovens, kilns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0096—Radiation pyrometry, e.g. infrared or optical thermometry for measuring wires, electrical contacts or electronic systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/025—Interfacing a pyrometer to an external device or network; User interface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/08—Optical arrangements
    • G01J5/0859—Sighting arrangements, e.g. cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/224—Monitoring or handling of messages providing notification on incoming messages, e.g. pushed notifications of received messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Radiation Pyrometers (AREA)
  • Digital Computer Display Output (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】監視対象の温度を適切に検知できる。【解決手段】情報処理装置１００は、撮像装置から出力される撮像データを受信する情報受信部と、受信した前記撮像データに基づき色画像を生成し、生成した前記色画像を表示装置へ表示させる処理部と、を備え、前記処理部は、前記撮像データに基づき、複数の領域で構成される検知枠を生成し、生成した前記検知枠を前記色画像に重ねて前記表示装置へ表示させ、複数の前記領域毎に温度情報を表示させる。【選択図】図８

Description

本開示は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。
熱画像センサからの熱画像データを入力し、予め設定されたカラーマップに基づき、熱画像データをＲＧＢ画像へ変換して可視化し、さらに、熱画像データを複数のエリアデータへ細分化し、それぞれのエリアに閾値温度を設けて、エリアごとの温度と閾値温度とを比較して、閾値温度を超えた場合に発報する技術が知られている（例えば特許文献１）。熱画像センサは、設備などの監視対象から発生する赤外線量を入力して、熱画像データとして出力するサーモカメラなどである。特許文献１の従来技術によれば、監視エリア（熱画像センサの画角相当）内においてオペレータが任意に設定した検知エリアの設定情報に基づき、トレンドグラフを作成して、トレンドグラフを表示装置へリアルタイムに表示できる。
しかしながら、従来技術によれば、検知エリアが監視エリア内の一部に限定されるため、例えば、異常状態となった監視対象から発生した火花などが、検知エリア外に存在する装置などに飛び火した場合、当該装置の温度が異常な値になり得るが、検知エリア外に存在する装置であるため、異常検知を行うことが困難である。このように、従来技術では、監視対象の温度を検知する上で改善の余地がある。
本開示は、上記課題に鑑み、監視対象の温度を適切に検知できる。
上記課題に鑑み、本開示に係る情報処理装置は、撮像装置から出力される撮像データを受信する情報受信部と、受信した前記撮像データに基づき色画像を生成し、生成した前記色画像を表示装置へ表示させる処理部と、を備え、前記処理部は、前記撮像データに基づき、複数の領域で構成される検知枠を生成し、生成した前記検知枠を前記色画像に重ねて前記表示装置へ表示させ、複数の前記領域毎に温度情報を表示させる。
本開示によれば、監視対象の温度を適切に検知できるという効果を奏する。
本実施の形態に係る情報処理装置１００の構成例を示す図 本実施の形態に係る表示装置１０２に送信するデータの一例を示す図 監視対象３０１を含む機器３００を横側から見た図 監視対象３０１を含む機器３００を上側から見た図 本実施の形態に係る情報処理装置１００による監視動作の概要を説明するための図 情報処理装置１００のハードウェア構成例を示す図 カメラ１のハードウェア構成例を示す図 情報処理装置１００及びカメラ１の機能構成例を示す図 情報処理装置１００の動作例を説明するためのフローチャート 検知枠と色画像の一例を示す図 ＧＵＩ画面に表示される色画像の一例を示す図 ＧＵＩ画面上の色画像に検知枠を重ねた状態を表す図 ステップＳ１２以降の動作を説明するための図 変形例に係る動作例を説明するためのフローチャート ＧＵＩ画面に表示されるＲＧＢ画像の一例を示す図 ＧＵＩ画面上のＲＧＢ画像に検知枠を重ねた状態を表す図 温度の変化傾向を表すグラフの表示例を示す図
以下、本開示を実施するための形態について図面を用いて説明する。
図１は本実施の形態に係る情報処理装置１００の構成例を示す図である。情報処理装置１００は、撮像装置の一例であるカメラ１からの撮像データを入力して各種処理を行う処理部１０１と、各種データを記憶する記憶部１０３とを備える。また、情報処理装置１００は、処理部１０１による処理結果を表示する表示装置１０２と接続されている。尚、図１の例では、表示装置１０２は、情報処理装置１００の外部に設けられるものとしたが、表示装置１０２は、情報処理装置１００が有していても良い。
撮像データには、少なくとも温度撮像データが含まれ、ＲＧＢ撮像データが含まれるるとより好ましい。温度撮像データ及びＲＧＢ撮像データの詳細については後述する。
情報処理装置１００には、例えばクラウドサーバなどの外部装置２００が接続される。なお外部装置２００は、クラウドサーバに限定されず、例えば、記録媒体等でもよい。また、情報処理装置１００は、処理部１０１による処理結果が表示される表示装置１０２が接続される。
以下に、図２を参照して、処理部１０１から表示装置１０２に送信されるデータについて説明する。
図２は、本実施の形態に係る表示装置１０２に送信するデータの一例を示す図である。本実施形態の処理部１０１は、表示装置１０２に対し、処理結果として、検知枠の名前を示す情報、表示装置１０２における検知枠の表示位置を示す情報、検知枠の温度代表値、検知枠の温度閾値、アラートグラフ（高温）、アラートグラフ（低温）、アラートグラフが真になった時間等を送信する。なお、処理部１０１の処理の詳細は後述する。
図３及び図４を参照して情報処理装置１００の監視対象３０１について説明する。図３は監視対象３０１を含む機器３００を横側から見た図である。図４は監視対象３０１を含む機器３００を上側から見た図である。この機器３００は、例えば加硫炉であり、ここでは、加硫炉の発熱部（例えば電気ヒータなど）を、情報処理装置１００の監視対象３０１としている。点線で囲まれる領域は、カメラ１による監視領域１ａであり、監視領域１ａには、監視対象３０１と、監視対象３０１の周囲領域３０２とが含まれる。監視領域１ａのサイズは、例えば、カメラ１が備えるサーモカメラ及びＲＧＢカメラのそれぞれの画角に等しい。サーモカメラ及びＲＧＢカメラの詳細については後述する。
なお、周囲領域３０２は、発熱部の周囲全体でもよいし、発熱部の周囲の一部でもよい。発熱部の周囲の一部は、例えば発熱部の正面側（カメラ１側）の領域、発熱部の背面側（カメラ１側とは反対側）の領域でもよいし、これらの領域以外の部分（発熱部の上部側など）でもよい。
なお、機器３００は、加硫炉に限定されず、例えば、鉛バッテリー、配電盤などでもよい。機器３００が鉛バッテリーの場合、例えば、鉛バッテリー本体が監視対象３０１に相当し、鉛バッテリーの正極端子又は負極端子に接続される配線などが周囲領域３０２に存在する設備に相当する。機器３００が配電盤の場合、例えば、配電盤本体が監視対象３０１に相当し、配電盤に接続されるケーブルなどが周囲領域３０２に存在する設備に相当する。
以下、図５を参照して、情報処理装置１００による監視動作の概要を説明し、その後、図６などを参照して、情報処理装置１００の構成及び動作を詳細に説明する。
図５は本実施の形態に係る情報処理装置１００による監視動作の概要を説明するための図である。まず情報処理装置１００は、監視領域１ａを撮像して得られた撮像データに基づき、監視領域１ａの色画像１０を生成し、生成した色画像１０を表示装置１０２へ表示させる。色画像１０は、例えば、監視対象３０１の色画像３０１ａと、周囲領域３０２の色画像３０２ａとを含む。次に情報処理装置１００は、監視領域１ａを撮像して得られた撮像データに基づき、監視領域１ａの温度を検知するための検知枠２０を生成し、生成した検知枠２０を色画像１０に重ねて、表示装置１０２へ表示させる。
なお、検知枠２０は、少なくとも、色画像３０１ａ及び色画像３０２ａのそれぞれの少なくとも一部と重なるように表示されるものとし、色画像３０１ａ及び色画像３０２ａのそれぞれの全体と重なるように表示されることがより好ましい。
また、検知枠２０の形状は四角形状に限定されず、色画像３０１ａ及び色画像３０２ａのそれぞれの少なくとも一部と重なるように表示されるような形状であれば、たとえば楕円形などでもよい。また、検知枠２０を構成する複数のセル（複数の領域）２０ａも、四角形状以外の形状でもよい。また、図示例の複数のセル２０ａは、規則的に縦と横に配列されているが、不規則に配列されてもよい。
そして、情報処理装置１００は、検知枠２０を構成する複数のセル２０ａのそれぞれにおいて、色画像３０１ａ及び色画像３０２ａの温度を、所定の閾値（異常温度判定用の設定値）と比較し、温度が閾値を超える場合、アラート処理を行う。アラート処理は、例えば表示装置１０２、外部装置２００などにメールで報知し、外部装置２００などに設けられるシグナルライトの色表示を通常状態から警告状態に変化させ、外部装置２００などに設けられるスピーカーから警報音を発生させる、などの処理である。
なお、閾値には、上限値から下限値まで、例えば１００℃〜９０℃まで一定の幅を持たせて、その上限値を超えたとき、又は下限値未満となったとき、アラート処理が行われる。アラート処理の例は後述する。
図６は情報処理装置１００のハードウェア構成例を示す図である。情報処理装置１００は、ＣＰＵ（Central Processing Unit）５０１、ＲＡＭ（Random Access Memory）５０２、ＲＯＭ（Read Only Memory）５０３、ストレージ５０４、ネットワークＩ／Ｆ（Interface）５０５、入力デバイス５０６、表示デバイス５０７、外部Ｉ／Ｆ５０８、及び、データ、制御信号等を伝送するバス５０９を有する。
ＣＰＵ５０１は、ＲＯＭ５０３やストレージ５０４等に格納されたプログラムやデータをＲＡＭ５０２上に読み出し、処理を実行することで、情報処理装置１００の各機能を実現する演算装置である。ＲＡＭ５０２は、ＣＰＵ５０１のワークエリア等として用いられる揮発性のメモリである。ＲＯＭ５０３は不揮発性のメモリである。ストレージ５０４は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の記憶装置であり、例えば、ＯＳ（Operation System）、アプリケーションプログラム、各種データ等を記憶する。
ネットワークＩ／Ｆ５０５は、情報処理装置１００をネットワーク１０４に接続するための通信インタフェースである。入力デバイス５０６は、マウス、キーボード等の入力装置であり、情報処理装置１００に各種の操作を入力するために用いられる。表示デバイス５０７はディスプレイ等の表示装置であり、情報処理装置１００による処理結果等を表示するために用いられる。外部Ｉ／Ｆ５０８は、情報処理装置１００に外部装置２００を接続するためのインタフェースである。情報処理装置１００の機能は、例えば、所定のプログラムを実行することにより実現される。
図７はカメラ１のハードウェア構成例を示す図である。カメラ１は、ＣＰＵ６０１、メモリ６０２、ネットワークＩ／Ｆ６０３、サーモカメラ６０５、ＲＧＢ（Red/Green/Blue）カメラ６０６、及び、データ、制御信号等を伝送するバス６０９等を有する。
ＣＰＵ６０１は、メモリ６０２に格納された所定のプログラムを実行することにより、カメラ１の各機能を実現する演算装置である。メモリ６０２は、例えば、ＲＡＭ、ＲＯＭ、フラッシュＲＯＭ等の記憶装置である。ネットワークＩ／Ｆ６０３は、カメラ１をネットワーク１０４に接続するための通信インタフェースである。
サーモカメラ６０５は、監視対象３０１が発する熱を赤外線として撮像する撮像手段である。サーモカメラ６０５は、例えば、図３及び図４に示すように、監視領域１ａ内を撮像して、撮像した監視領域１ａ内の物体や空間の温度に換算することで、温度撮像データを生成して出力する。温度撮像データは、ＭｘＮ（例えば縦６０×横８０）の複数の画素（ピクセル）で構成される。複数の画素には、監視領域１ａ内の監視対象３０１に対応する画素群と、監視対象３０１の周囲領域３０２に対応する画素群とが含まれる。
ＲＧＢカメラ６０６は、例えば、監視領域１ａ内を撮像して、撮像した監視領域１ａ内の物体や空間の色を、ＲＧＢ（３色）のそれぞれの強度値で表すＲＧＢ撮像データを生成して出力する。ＲＧＢ撮像データは、温度撮像データと同様に、ＭｘＮの複数の画素（ピクセル）で構成される。
以下では、温度撮像データとＲＧＢ撮像データを区別しない場合、「撮像データ」と称する場合がある。
図８は情報処理装置１００及びカメラ１の機能構成例を示す図である。情報処理装置１００は、通信部７０１、情報受信部７０２、検知部７０３、通知制御部７０４、表示制御部７０７、及び記憶部１０３を備える。情報処理装置１００は、所定のプログラムを実行することにより、通信部７０１、情報受信部７０２、検知部７０３、通知制御部７０４、表示制御部７０７などの機能を実現する。
通信部７０１は、情報処理装置１００をネットワーク１０４に接続して、カメラ１、外部装置２００等との通信を行う。情報受信部７０２は、カメラ１からの撮像データを受信して、記憶部１０３に記憶する。
検知部７０３は、カメラ１からの撮像データに基づき、検知枠２０内の各領域（セル２０ａ）における温度変化を検知する。通知制御部７０４は、検知枠２０を構成する複数のセル２０ａにおいて、色画像３０１ａ及び色画像３０２ａの温度を所定の閾値（異常温度判定用の設定値）と比較し、温度が閾値を超える場合、アラート処理、すなわち報知（通知）処理を行う。なお、以下の説明では、通知処理を行うことを、温度が閾値を超えることを通知する、と表現する場合がある。
表示制御部７０７は、例えば表示装置１０２による表示を制御し、又は外部装置２００による表示を制御する。表示制御部７０７は、色画像表示部７０７ａ、検知枠表示部７０７ｂ、及び温度表示部７０７ｃを備える。
色画像表示部７０７ａは、監視対象と監視対象の周囲とを含む監視領域を撮像する撮像部から出力される撮像データに基づき、監視領域の色画像を生成し、生成した色画像を表示装置へ表示させる。検知枠表示部７０７ｂは、撮像データに基づき、監視領域の温度を検知するための複数のセルで構成される検知枠を生成して、生成した検知枠を色画像に重ねて表示装置へ表示させる。温度表示部７０７ｃは、検知枠を構成する複数のセルに、少なくとも温度を表示させる。
つまり、温度表示部７０７ｃは、検知枠を構成する複数の領域毎に、少なくとも温度を示す温度情報を表示させる。
温度の表示は、例えば、温度の値（２５℃、４０℃など）、温度の値に対応する色（２５℃は青、４０℃は赤など）でもよい。
カメラ１は、通信部７２１、撮像データ取得部７２２、及び情報送信部７２４を備える。
通信部７２１は、カメラ１をネットワーク１０４に接続して、情報処理装置１００等と通信を行う。撮像データ取得部７２２は、前述したサーモカメラ６０５及びＲＧＢカメラ６０６を利用して撮像データを取得する。情報送信部７２４は、撮像データ取得部７２２で取得された撮像データを、情報処理装置１００に送信する。
次に図９から図１７を参照して情報処理装置１００の動作を説明する。
図９は情報処理装置１００の動作例を説明するためのフローチャートである。
ステップＳ１において、情報処理装置１００のプログラムが起動することにより、処理部１０１がカメラ１にアクセスして、撮像データを取得する。
ステップＳ２において、撮像データを取得した処理部１０１は、あらかじめ設定されたカラーマップに基づき、撮像データをＲＧＢ色画像へ変換する。変換された色画像は、情報処理装置１００のメモリに記録される（ステップＳ３）。
処理部１０１は、所定時間分（例えば数分間）の撮像データが溜まったとき（ステップＳ４；Ｙｅｓ）、動画ファイルを保存フォルダへ保存する（ステップＳ５）。
これにより、監視対象３０１で異常が発生した場合、オペレータは、監視対象３０１とその周囲の状況を動画で確認でき、異常原因を容易に特定できる。
ステップＳ６において、処理部１０１は、色画像をＧＵＩ画面（表示装置１０２、外部装置２００のモニタなどに表示される操作画面など）へ表示させて、さらに、色画像の上に検知枠を描画させる。
色画像及び検知枠の一例を図１０に示す。図１０は検知枠と色画像の一例を示す図である。図１０の左側には検知枠の一例が示され、図１０の右側には色画像の一例が示される。
図１１はＧＵＩ画面に表示される色画像の一例を示す図である。図１１には、検知枠が重ねられる前の状態が示される。なお、色画像は、図１１において（１）で示す領域（ＧＵＩ画面の左側の領域）に表示される。
図１２はＧＵＩ画面上の色画像に検知枠を重ねた状態を表す図である。検知枠は、例えば１００個の格子（縦１０セル×横１０セル）で構成される。この検知枠が色画像に重なるように表示される。このとき、検知枠は、色画像と区別できるような色（例えば青色）で表示される。
なお、ＧＵＩ画面の右側の領域には、（２）〜（６）で示される設定用ボタンなどが表示される。例えば（２）の「設定」欄には、画像を保存する際の任意の名前を設定できる。（３）の「検知枠表示」ボタンは、撮像データのみ表示させるか、検知枠のみ表示させるか、これらの双方を表示させるかを切り替えるためのボタンである。（４）の「検知枠設定」欄は、温度閾値を設定できる。（５）の「メール設定」欄は、報知先のメールアドレスを設定できる。（６）の「カメラ画像設定」欄は、色画像の表示態様を任意に変更するために設けられ、例えば、温度範囲を２０℃から３００℃までの範囲に設定したり、検知枠内のセルの色を、異常検知時に例えば赤色に塗り潰す（他のセルは変更なし）などの設定を行うことができる。
図９に戻り、ステップＳ７において、処理部１０１は、図１２に示すように、検知枠内の各セル（枠）に、枠名（各枠の名前、例えばG１などである。Gがグリッドの略である。）、温度、閾値、時間などを表示させる。なお、枠名、温度、閾値、時間が変化すると、処理部１０１は、検知枠内の情報を逐次更新する。
ステップＳ８において、処理部１０１は、例えばステップＳ２０の処理において、各セルに対応する温度が閾値を超えたことにより、アラートフラグが真（＝１）になった判断した場合、該当するセルの検知枠を、例えば青色から赤色に変化させる（ステップＳ９）。すなわち、複数のセルの内、温度が異常温度に達した箇所を強調表示させる。
そして処理部１０１は、そのときの静止画像（ＧＵＩ画面、色画像など）を保存フォルダへ保存し（ステップＳ１０）、通知制御部７０４は、その画像をメールに添付し、アラートメールとして任意のメールアドレスへ送信する（ステップＳ１１）。なお、保存フォルダは、記憶部１０３に生成されても良い。したがって、記憶部１０３は、色画像を記憶する記憶部の一例である。
次に、ステップＳ１２〜ステップＳ１７において、処理部１０１は、温度撮像データ（例えば横８０×縦６０のピクセルで構成されるデータ）を、例えば横１０×縦１０で小行列に分割、すなわち色画像を小行列に分割する（図１３参照）。これにより、小行列の１つあたりＮ／１０×Ｍ／１０の行列となる。Ｎ及びＭは１以上の整数である。分割された温度撮像データの小行列データを順番に処理し、小行列内のすべての温度ピクセルから平均温度値を計算し（図１３参照）、ノイズ処理を行う。ノイズ処理は、突発的な異常を排除するための処理である。
ステップＳ１８において、処理部１０１は、プログラム起動後である場合（ステップＳ１８；Ｙｅｓ）、温度撮像データを閾値として登録する（ステップＳ１９）。
続いて、処理部１０１は、計算した平均温度値と閾値を比較して、平均温度値が閾値を超えた場合（ステップＳ２０；Ｙｅｓ）、アラートフラグを立てる（ステップＳ２１）。
最後に、処理部１０１は、計算した平均温度値をＣＳＶ形式（図１３参照）で保存フォルダへ保存する（ステップＳ２２）。
なお、ここまでは色画像上に検知枠を描画する動作例について説明したが、ＲＧＢ画像上に検知枠を描画してもよい。以下では、図１４から図１６を参照し、ＲＧＢ画像に検知枠を描画等する動作例について説明する。なお、以下では、図９に示す処理と同様の処理については説明を省略し、図９に示す処理と異なる処理について説明する。
図１４は変形例に係る動作例を説明するためのフローチャートである。図１５はＧＵＩ画面に表示されるＲＧＢ画像の一例を示す図である。図１６はＧＵＩ画面上のＲＧＢ画像に検知枠を重ねた状態を表す図である。
例えばステップＳ１の前に、処理部１０１は、カメラ１からのＲＧＢ撮像データを取得すると、ＲＧＢ撮像データをＲＧＢ画像へ変換する（ステップＳ３１）。処理部１０１は、図１５に示すようにＲＧＢ画像をＧＵＩ画面へ表示し、さらに、図１６に示すようにＲＧＢ画像の上に検知枠を描画する（ステップＳ３６）。
なお、ＲＧＢ撮像データをＲＧＢ画像へ変換する処理は、ステップＳ２で行ってもよいし、色画素への変換処理後（ステップＳ３６など）に行ってもよい。また、処理部１０１は、ＲＧＢ画像を色画像と共にメモリに記録し、ＲＧＢ画像が所定時間溜まったとき、動画ファイルを任意の保存フォルダへ保存してもよい。これにより、オペレータは、図１５に示すような鮮明な動画像を確認しながら、異常原因を容易に特定できる。
ステップＳ３７において、処理部１０１は、検知枠内の各セル（枠）に、枠名、温度、閾値、時間などを表示する。
続いて、ステップＳ１２から〜ステップＳ１７において、処理部１０１は、温度撮像データを、例えば横１０×縦１０で小行列に分割する。これにより、小行列の１つあたりＭ／１０×Ｎ／１０の行列となる。Ｍ及びＮは１以上の整数である。分割された温度撮像データの小行列データを順番に処理し、小行列内のすべての温度ピクセルの中から代表値を計算し、ノイズ処理を行う。
処理部１０１は、プログラム起動後に所定時間が経過するまでは、計算したピクセルの代表値をメモリに保存することで、所定時間分の温度撮像データから、代表値を計算して閾値値として登録する（ステップＳ１８〜ステップＳ１９）。
その後、処理部１０１は、メモリをクリアし（ステップＳ５０）、気温や季節変動による外部温度変化があった場合は閾値にその変動分を反映し、新たな閾値とする（ステップＳ５１）。
計算した平均温度値と閾値を比較して平均温度値が閾値を外れた場合はアラートフラグを立てる（ステップＳ２１）。最後に計算した平均温度値をファイルとして保存フォルダへ保存する（ステップＳ５２）。
図１７は温度の変化傾向を表すグラフの表示例を示す図である。図１７に示すグラフは、例えば、図１２に示す複数のセル（グリッド）内の任意のものが選択されたときに表示され、それぞれのセルに表示される温度の時系列的な推移を表す。当該グラフは、例えば一定間隔（数秒間隔、数分間隔など）で計測された温度をプロットしたものである。これにより、各グリッドでの温度の変化傾向（温度変化トレンド）を確認できる。
また、閾値を超えた時刻に示されるバーをオペレータがクリックすることで、該当する時刻に撮像された画像のファイル（動画ファイル、静止画ファイルの少なくとも一方）を再生し、あるいはアラート履歴を表示させてもよい。なお、図１２に示す複数のセル（グリッド）内、任意に複数のセルをまとめて選択した場合に、それらのセルの温度の平均値をグラフ表示するように構成してもよい。
以上に説明したように、本実施の形態に係る情報処理装置１００は、監視対象と監視対象の周囲とを含む監視領域を撮像する撮像部から出力される撮像データに基づき、監視領域の色画像を生成し、生成した色画像を表示部へ表示させる色画像表示部と、撮像データに基づき、監視領域の温度を検知するための複数のセルで構成される検知枠を生成して、生成した検知枠を色画像に重ねて表示部へ表示させる検知枠表示部と、セルに温度を表示させる温度表示部と、を備えるように構成される。
この構成によれば、監視対象３０１とその周囲領域３０２とを含む監視領域１ａを撮像して得られた撮像データによって、監視領域１ａの色画像１０に検知枠２０が重ね合わせた状態で表示装置へ表示され、検知枠２０内のセルに少なくとも監視領域１ａ内の温度が表示される。従って、図３及び図４のような監視領域１ａが設定された場合でも、監視対象３０１から発生した火花などが監視対象３０１の周囲に存在する設備に飛び火したときに、当該設備の温度を監視できる。また、監視対象３０１の周囲に熱源（例えば人や移動式の装置など）が近づいたときでも、監視対象３０１に異常が生じていない場合には、当該熱源によって監視対象３０１の温度異常を誤検知することがない。その結果、監視対象３０１以外の熱源による、監視対象３０１の温度異常の誤検知を抑制しながら、適切に監視対象３０１の温度を検知できる。
また情報処理装置１００によれば、色画像全体に検知エリア（検知枠）を設けることにより、広域の温度を捉えることができる熱画像センサ（カメラ１）の特徴を充分に活かすことができる。
また、動画像を記録することにより、熱画像センサの温度を可視化するという特徴を充分に活かすことができる。なお、従来技術では、温度が閾値温度を超えたときの画像のみが保存されるため、監視対象３０１の出火時点の前後一定時間の状況を確認できない。これに対して、本実施の形態の情報処理装置１００によれば、監視対象３０１の状態を詳細に確認でき、例えば監視対象３０１の出火の原因が、周囲設備の異常に起因するのか、監視対象３０１自体の異常に起因するのか、などを切り分けることができる。さらに、温度撮像データのグラフよりも、動画像の方が視覚的に異常温度の傾向や原因を捉えやすい。
また、本実施の形態によれば、カメラ１の画角内であれば、どの位置の温度変化にも対応できるため、システムの稼働中は常にエリアごとの温度撮像データと熱画像センサの可視化画像を保存して、情報処理装置１００による通知処理の前後の温度撮像データに基づき、異常傾向を分析できる。
なお、検知枠の生成方法は、特に限定されるものではなく、行列データで検知枠を生成してもよいし、例えばワイヤーフレームで検知枠を表現してもよい。
また、情報処理装置１００は、色画像の生成が停止後、一定時間経過したとき自動的に再起動するように構成してもよい。これにより、色画像などの生成が一時的に停止した場合でも、画像生成のリアルタイム性を損なうことなく継続した監視が可能になる。
また、サーモカメラ６０５及びＲＧＢカメラ６０６のそれぞれの画角が異なる場合があるため、情報処理装置１００は、色画像又はＲＧＢ画像に検知枠を重ね合わせるとき、サーモカメラ６０５及びＲＧＢカメラ６０６のそれぞれの画角を補正して、補正後の色画像又はＲＧＢ画像に検知枠を重ねるように構成することが好ましい。
また、本実施の形態に係る情報処理システムは、情報処理装置１００と撮像部であるカメラ１とを備える。
また、本実施の形態に係る情報処理装置の情報処理方法は、撮像装置から出力される撮像データにを受信する受信ステップと、受信した前記撮像データに基づき色画像を生成し、生成した前記色画像を表示装置へ表示させる処理ステップと、を備え、前記処理ステップは、前記撮像データに基づき、複数の領域で構成される検知枠を生成し、生成した前記検知枠を前記色画像に重ねて前記表示装置へ表示させ、複数の前記領域毎に温度情報を表示させる。
また、本実施の形態に係るプログラムは、コンピュータに、撮像装置から出力される撮像データにを受信する受信ステップと、受信した前記撮像データに基づき色画像を生成し、生成した前記色画像を表示装置へ表示させる処理ステップと、を実行させ、前記処理ステップは、前記撮像データに基づき、複数の領域で構成される検知枠を生成し、生成した前記検知枠を前記色画像に重ねて前記表示装置へ表示させ、複数の前記領域毎に温度情報を表示させる。
１ ：カメラ
１ａ ：監視領域
１０ ：色画像
２０ ：検知枠
１００ ：情報処理装置
１０１ ：処理部
１０２ ：表示装置
３００ ：機器
３０１ ：監視対象
３０１ａ ：色画像
３０２ ：周囲領域
３０２ａ ：色画像
６０５ ：サーモカメラ
６０６ ：ＲＧＢカメラ
７０３ ：検知部
７０４ ：通知制御部
７０７ ：表示制御部
特開２０１０‐２１６８５８号公報

Claims (12)

  1. 撮像装置から出力される撮像データを受信する情報受信部と、
    受信した前記撮像データに基づき色画像を生成し、生成した前記色画像を表示装置へ表示させる処理部と、を備え、
    前記処理部は、前記撮像データに基づき、複数の領域で構成される検知枠を生成し、生成した前記検知枠を前記色画像に重ねて前記表示装置へ表示させ、
    複数の前記領域毎に温度情報を表示させる、情報処理装置。
  2. 前記色画像を複数記憶する記憶部を備え、
    前記処理部は、記憶された複数の前記色画像を動画として前記表示装置へ表示させる請求項１に記載の情報処理装置。
  3. 前記表示装置に、パラメータを変更するＧＵＩを表示させる請求項１又は２に記載の情報処理装置。
  4. 前記領域に、温度を判定する閾値を表示させる請求項１から３の何れか一項に記載の情報処理装置。
  5. 前記閾値は、上限値から下限値までの一定の幅を持つ値であり、
    前記温度が上限値を超えたとき、又は前記温度が前記下限値未満となったときに、閾値ほ超えたことを通知する通知制御部を有する、請求項４に記載の情報処理装置。
  6. 前記通知は、前記色画像を含むメールにより行う請求項５に記載の情報処理装置。
  7. 外部装置に対して前記通知を行う請求項５又は６に記載の情報処理装置。
  8. 複数の前記領域の内、温度が異常温度に達した箇所を強調表示させる請求項１から７の何れか一項に記載の情報処理装置。
  9. 前記色画像の生成が停止後、一定時間経過したとき自動的に再起動する請求項１から８の何れか一項に記載の情報処理装置。
  10. 請求項１から９の何れか一項に記載の情報処理装置と、
    前記撮像装置と、前記表示装置と、
    を備える情報処理システム。
  11. 情報処理装置による情報処理方法であって、前記情報処理装置が、
    撮像装置から出力される撮像データにを受信する受信ステップと、
    受信した前記撮像データに基づき色画像を生成し、生成した前記色画像を表示装置へ表示させる処理ステップと、を備え、
    前記処理ステップは、
    前記撮像データに基づき、複数の領域で構成される検知枠を生成し、生成した前記検知枠を前記色画像に重ねて前記表示装置へ表示させ、
    複数の前記領域毎に温度情報を表示させる、情報処理方法。
  12. コンピュータに、
    撮像装置から出力される撮像データにを受信する受信ステップと、
    受信した前記撮像データに基づき色画像を生成し、生成した前記色画像を表示装置へ表示させる処理ステップと、を実行させ、
    前記処理ステップは、
    前記撮像データに基づき、複数の領域で構成される検知枠を生成し、生成した前記検知枠を前記色画像に重ねて前記表示装置へ表示させ、
    複数の前記領域毎に温度情報を表示させる、処理を前記コンピュータに実行させるプログラム。
JP2020001631A 2020-01-08 2020-01-08 情報処理装置、情報処理システム、情報処理方法及びプログラム Pending JP2021111852A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020001631A JP2021111852A (ja) 2020-01-08 2020-01-08 情報処理装置、情報処理システム、情報処理方法及びプログラム
PCT/IB2020/062077 WO2021140389A1 (en) 2020-01-08 2020-12-17 Information processing apparatus, information processing system, information processing method, and storage medium
EP20828558.5A EP4088448A1 (en) 2020-01-08 2020-12-17 Information processing apparatus, information processing system, information processing method, and storage medium
CN202080092052.XA CN114930801A (zh) 2020-01-08 2020-12-17 信息处理装置、信息处理系统、信息处理方法和存储介质
US17/771,814 US20230003585A1 (en) 2020-01-08 2020-12-17 Information processing apparatus, information processing system, information processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020001631A JP2021111852A (ja) 2020-01-08 2020-01-08 情報処理装置、情報処理システム、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2021111852A true JP2021111852A (ja) 2021-08-02

Family

ID=73856535

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020001631A Pending JP2021111852A (ja) 2020-01-08 2020-01-08 情報処理装置、情報処理システム、情報処理方法及びプログラム

Country Status (5)

Country Link
US (1) US20230003585A1 (ja)
EP (1) EP4088448A1 (ja)
JP (1) JP2021111852A (ja)
CN (1) CN114930801A (ja)
WO (1) WO2021140389A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740653A (zh) * 2023-08-14 2023-09-12 山东创亿智慧信息科技发展有限责任公司 一种配电箱运行状态监测方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1326063A1 (en) * 2000-09-04 2003-07-09 Noboru Hayakawa Temperature indicator and temperature monitor system
US8531562B2 (en) * 2004-12-03 2013-09-10 Fluke Corporation Visible light and IR combined image camera with a laser pointer
JP2010216858A (ja) 2009-03-13 2010-09-30 Yamagata-Chino Corp トレンドグラフ表示システム
CN101945224B (zh) * 2009-07-01 2015-03-11 弗卢克公司 热成像方法
US10740898B2 (en) * 2015-06-29 2020-08-11 Quantum IR Technologies, LLC Methods and systems for hotspot detection
EP3783885B1 (en) * 2018-04-20 2022-03-09 Panasonic Intellectual Property Management Co., Ltd. Image display device and image display method
JP7187840B2 (ja) 2018-06-29 2022-12-13 株式会社アイシン 牽引支援装置

Also Published As

Publication number Publication date
CN114930801A (zh) 2022-08-19
US20230003585A1 (en) 2023-01-05
EP4088448A1 (en) 2022-11-16
WO2021140389A1 (en) 2021-07-15

Similar Documents

Publication Publication Date Title
WO2021042816A1 (zh) 一种检测监控设备故障的方法、装置
US10796543B2 (en) Display control apparatus, display control method, camera system, control method for camera system, and storage medium
US10719946B2 (en) Information processing apparatus, method thereof, and computer-readable storage medium
US10404947B2 (en) Information processing apparatus, information processing method, camera system, control method for camera system, and storage medium
WO2017107647A1 (zh) 一种基于摄像机的监控方法、装置及系统
US20110285846A1 (en) Electronic device and method for monitoring specified area
KR101685950B1 (ko) 자가 고장 진단 기능이 구비된 올인원 녹화 장치
US20160372157A1 (en) Display control apparatus, display control method, and storage medium
JP2021111852A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JPWO2020085303A1 (ja) 情報処理装置及び情報処理方法
JP5710230B2 (ja) 監視システムおよび監視方法
JP7047638B2 (ja) ガス可視化用画像処理装置、ガス可視化用画像処理方法、ガス可視化用画像処理プログラム、及び、ガス検知システム
KR102497380B1 (ko) 실시간 온도변화 및 전원 상태 확인이 가능한 전원제어 분전반 및 이를 이용한 제어 방법
JP2987353B2 (ja) 映像監視方法
US11792503B2 (en) Imaging apparatus
US20120127303A1 (en) Detecting System Component Failures In A Computing System
JP5461623B2 (ja) 監視システムにおける監視データ処理
TWM464777U (zh) 監控裝置
JP7099687B2 (ja) 映像監視システム及びその方法と処理装置
US11172159B2 (en) Monitoring camera system and reproduction method
TWM495585U (zh) 居家保全影像監控系統
JP2013026678A (ja) 画像処理装置
JP7479530B1 (ja) ディスプレイ異常検出システム及びディスプレイ異常検出方法
JP2022147686A (ja) 撮像システム及び撮像方法
JP2018124808A (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240305