JP2020010400A - 画像処理装置、画像処理システム、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理システム、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2020010400A
JP2020010400A JP2019183272A JP2019183272A JP2020010400A JP 2020010400 A JP2020010400 A JP 2020010400A JP 2019183272 A JP2019183272 A JP 2019183272A JP 2019183272 A JP2019183272 A JP 2019183272A JP 2020010400 A JP2020010400 A JP 2020010400A
Authority
JP
Japan
Prior art keywords
unit
area
display
detection
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019183272A
Other languages
English (en)
Other versions
JP2020010400A5 (ja
JP6816802B2 (ja
Inventor
慶二 大村
Keiji Omura
慶二 大村
長谷川 健
Takeshi Hasegawa
健 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2020010400A publication Critical patent/JP2020010400A/ja
Publication of JP2020010400A5 publication Critical patent/JP2020010400A5/ja
Application granted granted Critical
Publication of JP6816802B2 publication Critical patent/JP6816802B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945User interactive design; Environments; Toolboxes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】複数の種類の判定動作の状態を同時に把握することができる画像処理装置、画像処理システム、画像処理方法およびプログラムを提供する。【解決手段】表示手段と、表示手段によって表示される所定の表示領域に、撮像手段で撮像された映像データを表示させる映像表示制御手段と、映像データに対する複数の種類の判定機能に基づく判定領域を示す複数の表示要素を、それぞれ異なる態様で映像データに重畳させて表示領域に表示させる領域表示制御手段と、を備える。【選択図】図3

Description

本発明は、画像処理装置、画像処理システム、画像処理方法およびプログラムに関する。
近年、ビデオカメラ等の撮像装置により録画して得られた映像データを分析して、目的物の検出、または、映像上の物体の動きもしくは異常の検知等を行う画像監視システムの発展が著しい。このような画像監視システムは、例えば、製品の生産ライン等において適用される。
このような、画像に基づいて製品の異常を検知する画像監視システムとして、所定のタイミングで異常であるか否かを判定して、OK判定かNG判定かを表示するシステムが提案されている(特許文献1)。
しかしながら、特許文献1に記載された技術は、所定のタイミングで異常であるか否かを判定した結果を表示するのみであり、様々な判定機能(例えば、所定のタイミングではなく常時検知を行う機能、または、異常の検知ではなく、画像の変化のみを検知する機能等)がある場合に、それらの機能がどのように動作しているかを同時に示すことはできない。したがって、複数の判定機能が有するシステムの場合、それらの判定機能の動作状態を同時に把握することができないという問題点がある。
本発明は、上記に鑑みてなされたものであって、複数の種類の判定動作の状態を同時に把握することができる画像処理装置、画像処理システム、画像処理方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、表示手段と、前記表示手段によって表示される所定の表示領域に、撮像手段で撮像された映像データを表示させる映像表示制御手段と、前記映像データに対する複数の種類の判定機能に基づく判定領域を示す複数の表示要素を、それぞれ異なる態様で前記映像データに重畳させて前記表示領域に表示させる領域表示制御手段と、を備えたことを特徴とする。
本発明によれば、複数の種類の判定動作の状態を同時に把握することができる。
図1は、実施の形態に係る画像処理システムの全体構成の一例を示す図である。 図2は、実施の形態に係る情報処理装置のハードウェア構成の一例を示す図である。 図3は、実施の形態に係る情報処理装置の機能ブロックの構成の一例を示す図である。 図4は、実施の形態に係る情報処理装置において記憶装置に記憶される情報のディレクトリ構造の一例を示す図である。 図5は、実施の形態に係る情報処理装置の表示装置に表示されるウォッチャ画面において複数のリアルタイムの映像が表示される例を示す図である。 図6は、実施の形態に係る情報処理装置の表示装置に表示される設定画面で映像データが表示される状態の一例を示す図である。 図7は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部に常時検知領域を指定する例を示す図である。 図8は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部にトリガ領域を指定する例を示す図である。 図9は、実施の形態に係る情報処理装置の表示装置に表示される設定画面においてトリガ領域における変化点が見つかった場合のマーク表示の一例を示す図である。 図10は、トリガ領域における変化点を検出する動作を説明する図である。 図11は、実施の形態に係る情報処理装置の表示装置に表示される設定画面においてトリガ領域における変化点が2点見つかった場合に表示されるダイアログの一例を示す図である。 図12は、実施の形態に係る情報処理装置の表示装置に表示される設定画面においてトリガ領域における変化点が見つからなかった場合に表示されるダイアログの一例を示す図である。 図13は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部に検知領域を指定する例を示す図である。 図14は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部に2つ目の検知領域を指定する例を示す図である。 図15は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部で指定した検知領域の属性情報を設定する例を示す図である。 図16は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で監視動作が実行される状態の一例を示す図である。 図17は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作でトリガが発生する前の状態の一例を示す図である。 図18は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作でトリガが発生した状態の一例を示す図である。 図19は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。 図20は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。 図21は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。 図22は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。 図23は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。 図24は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。 図25は、実施の形態に係る情報処理装置の表示領域に表示されるビューワ画面で録画された映像が再生表示される状態の一例を示す図である。 図26は、実施の形態に係る情報処理装置の表示領域に表示されるビューワ画面で再生表示される映像に対して画像判定の状態が再現される状態の一例を示す図である。 図27は、実施の形態に係る情報処理装置の表示領域に表示されるビューワ画面でマーカリスト画面が表示された状態の一例を示す図である。 図28は、実施の形態に係る情報処理装置の表示装置に表示されるウォッチャ画面での監視動作の例を示すフローチャートである。 図29は、実施の形態に係る情報処理装置の表示装置に表示されるビューワ画面で再生表示される映像に対して画像判定の状態が再現される動作の例を示すフローチャートである。 図30は、実施の形態の変形例に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作でトリガが発生する前の状態の一例を示す図である。 図31は、実施の形態の変形例に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作でトリガが発生した状態の一例を示す図である。 図32は、実施の形態の変形例に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。 図33は、実施の形態の変形例に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。 図34は、実施の形態の変形例に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。 図35は、実施の形態の変形例に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。 図36は、実施の形態の変形例に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。 図37は、実施の形態の変形例に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。
以下に、図面を参照しながら、本発明に係る画像処理装置、画像処理システム、画像処理方法およびプログラムの実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。
(画像処理システムの全体構成)
図1は、実施の形態に係る画像処理システムの全体構成の一例を示す図である。図1を参照しながら、本実施の形態の画像処理システム1の全体構成について説明する。
図1に示すように、本実施の形態の画像処理システム1は、撮像装置2a〜2f(撮像手段)と、情報処理装置3と、ネットワーク4と、を含む。
撮像装置2a〜2fは、被写体から光を電気信号に変換することによって被写体を撮像(撮影)し、複数のフレーム(画像データ)で構成された動画(例えば、10[FPS])である映像データを生成するビデオカメラである。例えば、撮像装置2a〜2fは、製品を生産する生産設備または生産ライン等を撮像し、製造物であるワークに対する異常を検知するための映像データを生成する。
なお、撮像装置2a〜2fを区別なく呼称する場合、または総称する場合、単に「撮像装置2」というものとする。また、図1では、画像処理システム1は、6台の撮像装置2を含む構成となっているが、これに限定されるものではなく、他の台数の撮像装置2を含む構成であってもよい。
情報処理装置3は、撮像装置2によって撮像された映像データに基づいて画像判定を実行する画像処理装置として機能するPC(Personal Computer)またはワークステーション等である。また、情報処理装置3は、生産設備等の外部機器10と、例えば、フィールドバス規格による通信が可能となるように接続している。
ネットワーク4は、撮像装置2a〜2fと、情報処理装置3とを接続するための、例えば、Ethernet(登録商標)規格のネットワークである。この場合、ネットワーク4では、TCP(Transmission Control Protocol)/IP(Internet Protocol)等のプロトコルによりデータ通信が行われる。また、この場合、撮像装置2a〜2fおよび情報処理装置3は、TCP/IPのプロトコルにより通信するためのMAC(Media Access Control)アドレスを有し、かつプライベートIPアドレス等のIPアドレスが割り当てられている。また、ネットワーク4の具体的な構成は、例えば、複数のポートを有するスイッチングハブに撮像装置2a〜2fおよび情報処理装置3それぞれがLAN(Local Area Network)ケーブルによって接続されたスター配線形式が一例として挙げられる。
なお、図1に示すネットワーク4は、TCP/IPにより通信される例を示したが、これに限定されるものではなく、例えば、情報処理装置3側にVGA(Video Graphics Array)端子またはUSB(Universal Serial Bus)ポートを複数有し、複数の撮像装置2がVGAケーブルまたはUSBケーブルで情報処理装置3に接続された形態等であってもよい。
(情報処理装置のハードウェア構成)
図2は、実施の形態に係る情報処理装置のハードウェア構成の一例を示す図である。図2を参照しながら、本実施の形態の情報処理装置3のハードウェア構成について説明する。
図2に示すように、情報処理装置3は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、外部記憶装置104と、ディスプレイ105と、ネットワークI/F106と、キーボード107と、マウス108と、DVD(Digital Versatile Disc)ドライブ109と、外部機器I/F111と、スピーカ112と、を備えている。
CPU101は、情報処理装置3全体の動作を制御する装置である。ROM102は、情報処理装置3用のプログラムを記憶している不揮発性記憶装置である。RAM103は、CPU101のワークエリアとして使用される揮発性記憶装置である。
外部記憶装置104は、撮像装置2により撮像された映像データ、および設定情報等の各種データを記憶するHDD(Hard Disk Drive)またはSSD(Solid State Drive)等の記憶装置である。
ディスプレイ105は、カーソル、メニュー、ウィンドウ、文字もしくは画像等の各種情報、または情報処理装置3による画像判定動作を実行するアプリケーションの画面を表示する表示装置である。ディスプレイ105は、例えば、CRT(Cathode Ray Tube)ディスプレイ、液晶ディスプレイ、プラズマディスプレイまたは有機EL(Electroluminescence)ディスプレイ等である。なお、ディスプレイ105は、例えば、情報処理装置3の本体に対して、VGAケーブルまたはHDMI(登録商標)(High−Definition Multimedia Interface)ケーブル等によって接続されたり、または、Ethernetケーブルによって接続される。
ネットワークI/F106は、ネットワーク4に接続してデータ通信するためのインターフェースである。ネットワークI/F106は、例えば、TCP/IPのプロトコルで通信可能にするNIC(Network Interface Card)である。具体的には、情報処理装置3は、撮像装置2から、ネットワーク4およびネットワークI/F106を介して、映像データを取得する。
キーボード107は、文字、数字、各種指示の選択、カーソルの移動、および設定情報の設定等の入力を行う入力装置である。なお、段取り番号は、数字のみによって構成されることに限定されるものではなく、さらに、英字および記号等を組み合わせたものであってもよい。マウス108は、各種指示の選択および実行、処理対象の選択、カーソルの移動、ならびに設定情報の設定等を行うための入力装置である。
DVDドライブ109は、着脱自在な記憶媒体の一例としてのDVD110に対するデータの読み出し、書き込みおよび削除を制御する装置である。
外部機器I/F111は、外部機器10と接続してデータ通信をするためのインターフェースである。外部機器I/F111は、例えば、フィールドバス規格により通信可能にするインターフェースカードである。具体的には、情報処理装置3は、外部機器10と、外部機器I/F111を介してデータ通信を行う。
スピーカ112は、アプリケーションの動作に従って音声を出力する装置である。
上述のCPU101、ROM102、RAM103、外部記憶装置104、ディスプレイ105、ネットワークI/F106、キーボード107、マウス108、DVDドライブ109、外部機器I/F111およびスピーカ112は、アドレスバスおよびデータバス等のバス113によって互いに通信可能に接続されている。なお、ディスプレイ105が、Ethernetケーブルによって接続される場合には、ネットワークI/F106に接続されることになり、この場合、TCP/IP等のプロトコルによりデータ通信が行われる。
(情報処理装置のブロック構成)
図3は、実施の形態に係る情報処理装置の機能ブロックの構成の一例を示す図である。図3を参照しながら、情報処理装置3のブロック構成について説明する。
図3に示すように、情報処理装置3は、映像受信部301と、記憶部302(記憶手段)と、入力部303と、第1再生部304と、トリガ領域指定部305と、変化点検出部306と、検知領域指定部307と、設定部308と、常時検知領域指定部309と、映像振分部312(映像表示制御手段の一例)と、トリガ生成部313と、検知領域判定部314と、常時検知領域判定部315と、第1制御部316(領域表示制御手段の一例)と、報知制御部317と、第2再生部318(映像表示制御手段の一例)と、領域表示制御部319(領域表示制御手段の一例)と、リスト制御部320(リスト制御手段)、第2制御部321と、表示制御部331と、外部出力部332と、表示部333(表示手段)と、報知部334(報知手段)と、を備えている。なお、図3においては、説明を簡略化するため、ネットワーク4の図示を省略して説明する。また、上述の各機能部のうち、トリガ領域指定部305、検知領域指定部307、常時検知領域指定部309、トリガ生成部313、検知領域判定部314、常時検知領域判定部315、および第1制御部316は、本発明の「時刻情報管理手段」の一例に相当するものである。
映像受信部301は、ネットワーク4を介して、撮像装置2とデータ通信を行い、撮像装置2から映像データを受信する機能部である。映像受信部301は、受信した映像データを記憶部302に記憶させる。映像受信部301は、図2に示すネットワークI/F106によって実現される。
記憶部302は、映像受信部301により受信された映像データ、各種設定情報、および後述する時刻情報等を記憶する記憶装置である。記憶部302は、映像受信部301により受信された映像データが、どの撮像装置2により生成された映像データであるかを識別して記憶する。記憶部302は、例えば、図2に示すRAM103または外部記憶装置104によって実現される。
入力部303は、情報処理装置3が実行する画像判定動作等のための操作入力を行う装置である。入力部303は、図2に示すキーボード107およびマウス108によって実現される。
第1再生部304は、ユーザにより操作される入力部303からの操作信号に従って、記憶部302から取得した映像データを表示制御部331に送り、表示制御部331に対して映像データを表示部333に再生表示させる機能部である。具体的には、第1再生部304は、図6等で後述する表示部333に表示される設定画面500の設定用映像表示部502に映像データを再生表示させる。第1再生部304は、図2に示すCPU101により実行されるプログラムによって実現される。
トリガ領域指定部305は、ユーザにより操作される入力部303からの操作信号に従って、表示部333における映像データの表示領域(図6等で後述する設定用映像表示部502)においてトリガのタイミングを決定するトリガ領域を指定する機能部である。トリガ領域指定部305は、指定したトリガ領域の情報を、撮像装置2ごとに関連付けて記憶部302に記憶させる。また、トリガ領域の情報とは、例えば、映像データの表示領域におけるトリガ領域の位置を示す座標、およびトリガ領域の形状等の情報である。トリガ領域指定部305により指定されたトリガ領域は、後述する瞬間検知機能で使用される。トリガ領域指定部305は、図2に示すCPU101により実行されるプログラムによって実現される。
変化点検出部306は、トリガ領域指定部305によりトリガ領域が指定された場合、指定された時点で第1再生部304が再生表示している映像データのフレームの時刻の前後の所定時間分のフレームを取得し、取得したフレームにおいて、フレームごとに直前のフレームとの画素値についての差分を演算し、演算した差分に基づいて、トリガ領域内の画像についての変化点を検出する機能部である。変化点については、後述する。差分の演算方法としては、例えば、2つのフレームのトリガ領域における画素値を比較し、画素値が所定の感度以上異なる画素の数の合計を差分として算出する。なお、フレームがグレースケールの画像である場合、画素値は輝度値と一致するので、2つのフレームのトリガ領域における輝度値を比較し、輝度値が所定の感度以上異なる画素の数の合計を差分として算出してもよい。また、フレームがRGBの画素値で構成された画像である場合、R(赤)、G(緑)またはB(青)のいずれかの画素値を比較して、上述と同様に、画素値が所定の感度以上異なる画素の数の合計を差分として算出してもよい。また、フレームの画像におけるエッジ検出処理を行い、エッジ部分の合計を差分として算出してもよい。変化点検出部306は、図2に示すCPU101により実行されるプログラムによって実現される。
検知領域指定部307は、ユーザにより操作される入力部303からの操作信号に従って、表示部333における映像データの表示領域(設定用映像表示部502)において異常を検知する画像判定動作の対象となる検知領域を指定する機能部である。検知領域指定部307は、指定した検知領域の情報を、撮像装置2ごとに関連付けて記憶部302に記憶させる。また、検知領域の情報とは、例えば、映像データの表示領域における検知領域の位置を示す座標、および検知領域の形状等の情報である。また、検知領域指定部307は、後述するように、映像データの表示領域において複数の検知領域を指定することができる。検知領域指定部307により指定された検知領域は、後述する瞬間検知機能で使用される。検知領域指定部307は、図2に示すCPU101により実行されるプログラムによって実現される。
設定部308は、ユーザにより操作される入力部303からの操作信号に従って、各種設定情報を設定して記憶部302に記憶させる機能部である。また、設定部308は、設定した設定情報のうち、表示する必要がある情報を、記憶部302から表示制御部331に送り、表示制御部331に対して設定情報を表示部333に表示させる。設定部308は、図2に示すCPU101により実行されるプログラムによって実現される。
常時検知領域指定部309は、ユーザにより操作される入力部303からの操作信号に従って、表示部333における映像データの表示領域(設定用映像表示部502)において、常時、異常を検知する画像判定動作の対象となる常時検知領域を指定する機能部である。常時検知領域指定部309は、指定した常時検知領域の情報を、撮像装置2ごとに関連付けて記憶部302に記憶させる。また、常時検知領域の情報とは、例えば、映像データの表示領域における常時検知領域の位置を示す座標、および常時検知領域の形状等の情報である。常時検知領域指定部309により指定された常時検知領域は、後述する常時検知機能で使用される。常時検知領域指定部309は、図2に示すCPU101により実行されるプログラムによって実現される。
映像振分部312は、ユーザにより操作される入力部303からの操作信号に従って、映像受信部301から取得したリアルタイムの映像データを表示制御部331に送り、表示制御部331に対して映像データを表示部333に表示させる機能部である。具体的には、映像振分部312は、図5等で後述する表示部333に表示されるウォッチャ画面400の映像表示部401a〜401fに、対応する映像データを振り分けて表示させる。また、映像振分部312は、映像表示部401に表示させる各映像データを、記憶部302に記憶(録画)させる。映像振分部312は、図2に示すCPU101により実行されるプログラムによって実現される。
トリガ生成部313は、監視動作が開始された後、後述する図16のウォッチャ画面400の映像表示部401a〜401fにおけるトリガ領域において、差分画像と、映像データのフレームのトリガ領域の画像とを比較して、トリガのタイミングでトリガ信号を生成する機能部である。トリガ生成部313は、図2に示すCPU101により実行されるプログラムによって実現される。
検知領域判定部314は、トリガ生成部313により生成されたトリガ信号を受け取ったときの設定時間前または設定時間後に、上述の映像表示部401a〜401fにおける検知領域において、検知基準画像と、映像データのフレームの検知領域の画像とを比較して異常であるか否かの判定をする機能部である。検知領域判定部314は、図2に示すCPU101により実行されるプログラムによって実現される。
常時検知領域判定部315は、監視動作が開始された後、後述する図16のウォッチャ画面400の映像表示部401a〜401fにおける常時検知領域において、常時検知基準画像と、映像データのフレームの常時検知領域の画像とを比較して異常であるか否かの判定を常時実行する機能部である。常時検知領域判定部315は、図2に示すCPU101により実行されるプログラムによって実現される。
第1制御部316は、ユーザにより操作される入力部303からの操作信号に従って、後述する図16のウォッチャ画面400において監視動作の開始および停止を行うことの他、ウォッチャ画面400の動作全体を制御する機能部である。第1制御部316は、図2に示すCPU101により実行されるプログラムによって実現される。
報知制御部317は、検知領域判定部314による検知領域の判定の結果に基づいて、報知部334に音声を出力させる機能部である。報知制御部317は、図2に示すCPU101により実行されるプログラムによって実現される。
第2再生部318は、ユーザにより操作される入力部303からの操作信号に従って、記憶部302から取得した映像データを表示制御部331に送り、表示制御部331に対して映像データを表示部333に再生表示させる機能部である。具体的には、第2再生部318は、図25等で後述する表示部333に表示されるビューワ画面700の映像表示部701a〜701fに、対応する映像データを振り分けて再生表示させる。第2再生部318は、図2に示すCPU101により実行されるプログラムによって実現される。
領域表示制御部319は、入力部303に記憶された各判定領域(トリガ領域、検知領域および常時検知領域)の検知時刻の情報(時刻情報)に基づいて、ビューワ画面700の映像表示部701a〜701fに再生表示されている映像データのフレームに重畳して各判定領域の状態を表示する機能部である。領域表示制御部319は、図2に示すCPU101により実行されるプログラムによって実現される。
リスト制御部320は、ビューワ画面700で、記憶部302に記憶されたマーカファイルを読み出し、マーカファイルの内容を表示させる図27で後述するマーカリスト画面800を表示する機能部である。ここで、マーカファイルとは、常時検知機能により異常が検知された時刻、ならびに、瞬間検知機能によりトリガが発生した(トリガ信号が生成された)時刻、および異常が検知された時刻が時系列に記録されたファイルである。リスト制御部320は、図2に示すCPU101により実行されるプログラムによって実現される。
第2制御部321は、ビューワ画面700の動作全体を制御する機能部である。第2制御部321は、図2に示すCPU101により実行されるプログラムによって実現される。
表示制御部331は、表示部333の表示動作を制御する機能部である。具体的には、表示制御部331は、第1再生部304により取得された映像データ、設定部308により設定された設定情報、トリガ領域指定部305により指定されたトリガ領域、および、検知領域指定部307により指定された検知領域等を、表示部333に表示させる。表示制御部331は、図2に示すCPU101により実行されるプログラム(ドライバ)によって実現される。
外部出力部332は、検知領域判定部314または常時検知領域判定部315により異常の判定がされた場合、異常信号を外部機器10に出力する機能部である。外部出力部332は、図2に示す外部機器I/F111によって実現される。なお、外部出力部332は異常信号を出力するものとしているが、これに限定されるものではなく、メールで異常を通知するためのバッチファイルを外部機器10に送信したり、または、ウォッチャ画面400上に異常を報知(例えば、ランプアイコンで点滅表示)する等の処置を行うものとしてもよい。
表示部333は、表示制御部331の制御に従って各種データを表示する装置である。表示部333は、本実施の形態では特に、図2に示すCPU101により実行されるプログラム(アプリケーション)により、後述するウォッチャ画面400、設定画面500、およびビューワ画面700等を表示する。表示部333は、図2に示すディスプレイ105によって実現される。
報知部334は、報知制御部317の制御に従って音声を出力する装置である。報知部334は、図2に示すスピーカ112によって実現される。
なお、図3に示した第1再生部304、トリガ領域指定部305、変化点検出部306、検知領域指定部307、設定部308、常時検知領域指定部309、映像振分部312、トリガ生成部313、検知領域判定部314、常時検知領域判定部315、第1制御部316、報知制御部317、第2再生部318、領域表示制御部319、リスト制御部320、第2制御部321および表示制御部331の一部または全部は、ソフトウェアであるプログラムではなく、ASIC(Application Specific Integrated Circuit)またはFPGA(Field−Programmable Gate Array)等のハードウェア回路によって実現されてもよい。
また、図3に示した各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図3で独立した機能部として図示した複数の機能部を、1つの機能部として構成してもよい。一方、図3の1つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
また、以降の説明の簡略化のため、表示制御部331が、受け取ったデータを表示部333に表示させるという表現を、単に、そのデータを表示制御部331に送った機能部が、表示部333(または、表示部333が表示する画面)に表示させると表現するものとする。例えば、第1再生部304が、映像データを表示制御部331に送り、表示制御部331に対して映像データを表示部333に再生表示させる場合、単に、第1再生部304が、映像データを表示部333に再生表示させると表現するものとする。
(記憶部に記憶される情報のディレクトリ構造)
図4は、実施の形態に係る情報処理装置において記憶装置に記憶される情報のディレクトリ構造の一例を示す図である。図4を参照しながら、記憶部302で情報を管理するためのディレクトリ構造について説明する。
まず、図4に示すように、記憶部302は、ルートフォルダとして、「Setting」フォルダと、「Common」フォルダと、を形成している。「Setting」フォルダの中には、各撮像装置2に関する情報を保存するための「CAM1」〜「CAM6」フォルダ(以下、単に「カメラフォルダ」と総称する)が形成されている。「CAM1」〜「CAM6」フォルダは、それぞれ撮像装置2a〜2fに関するフォルダに相当する。
各カメラフォルダには、図4に示すように、領域情報ファイル、時刻情報ファイル、および画像データが保存される。ここで、領域情報ファイルは、対応する撮像装置2について設定された各判定領域の位置情報(位置を示す座標および領域の形状等の情報)および後述する属性情報を含むファイルである。また、時刻情報ファイルは、対応する撮像装置2について監視動作が開始および終了した時刻、各判定領域が指定(設定)された時刻、および、監視動作中に各判定領域が検知した時刻を含むファイルである。また、画像データは、後述するトリガ基準画像および差分画像、検知基準画像、ならびに、常時検知基準画像等のデータである。
また、「Common」フォルダには、上述のマーカファイルが保存される。
なお、図4に示した情報を管理するためのディレクトリ構造は一例であり、これに限定されるものではなく、その他のデータ構造によって情報が管理されるものとしてもよい。また、図4に示したフォルダの名称も一例であり、これらに限定されるものではない。
(ウォッチャ画面の構成)
図5は、実施の形態に係る情報処理装置の表示装置に表示されるウォッチャ画面において複数のリアルタイムの映像が表示される例を示す図である。図5を参照しながら、ウォッチャ画面400の構成、および複数のリアルタイムの映像が表示される動作について説明する。
CPU101により実行されるプログラム(アプリケーション)により、図5に示すウォッチャ画面400が表示部333に表示される。ウォッチャ画面400は、複数の撮像装置2から受信した映像データをリアルタイムに表示し、画像判定動作(監視動作)が実行されている場合には、指定された各判定領域において画像判定が実行される画面である。具体的には、ウォッチャ画面400では、画像判定動作(監視動作)が実行されている場合、トリガ領域指定部305により指定されたトリガ領域において、トリガ生成部313により、トリガのタイミングでトリガ信号が生成される。また、ウォッチャ画面400では、検知領域判定部314によりトリガ信号を受け取ったときの設定時間前または設定時間後に、検知領域指定部307により指定された検知領域において異常の有無が判定される。また、ウォッチャ画面400では、画像判定動作(監視動作)が実行されている場合、常時検知領域判定部315によって、常時検知領域指定部309により指定された常時検知領域において異常の有無が常時、判定される。
ウォッチャ画面400は、図5に示すように、映像表示部401a〜401fと、監視開始ボタン411と、監視停止ボタン412と、監視設定ボタン413と、状態表示部421a〜421fと、を含む。
映像表示部401a〜401fは、ユーザにより操作される入力部303からの操作信号に従って、映像振分部312によって、撮像装置2a〜2fから映像受信部301を介して取得されたリアルタイムの映像データがそれぞれ表示される表示部である。また、映像表示部401a〜401fは、ユーザによる入力部303の操作によって押下(例えば、マウス108のクリック操作等、以下同様)されると、選択状態にすることができる。なお、映像表示部401a〜401fを区別なく呼称する場合、または総称する場合、単に「映像表示部401」というものとする。
監視開始ボタン411は、ユーザによる入力部303の操作によって押下されると、リアルタイムの映像データが表示されている選択状態の映像表示部401で、トリガ領域指定部305により指定されたトリガ領域において、トリガ生成部313によりトリガのタイミングでトリガ信号が生成され、検知領域判定部314によりトリガ信号を受け取ったときの設定時間前または設定時間後に検知領域における異常の有無の判定が開始される。さらに、リアルタイムの映像データが表示されている選択状態の映像表示部401で、常時検知領域指定部309により指定された常時検知領域における異常の有無の判定が開始される。
監視停止ボタン412は、ユーザによる入力部303の操作によって押下されると、選択状態の映像表示部401で、トリガ生成部313によるトリガのタイミングでのトリガ信号の生成動作、検知領域判定部314による検知領域における異常の有無の判定動作、および、常時検知領域判定部315による常時検知領域における異常の有無の判定動作を停止させるボタンである。
監視設定ボタン413は、ユーザによる入力部303の操作によって押下されると、各判定領域を設定するために、第1制御部316によって、後述の図6等に示す設定画面500を表示部333に表示させるボタンである。
状態表示部421a〜421fは、各映像表示部401に対応する撮像装置2についての状態を示す表示部である。例えば、状態表示部421a〜421fには、「未接続」、「未設定」、「設定完了」、「監視中」等の撮像装置2についての状態を示す内容が表示される。「未接続」とは、映像表示部401に対応する撮像装置2が画像処理システム1に接続されていない状態を示し、映像表示部401には映像データが表示されていない状態を示す。「未設定」とは、映像表示部401に表示されている映像データについてトリガ領域、検知領域、および常時検知領域等の設定がなされていない状態を示す。「設定完了」とは、映像表示部401に表示されている映像データについてトリガ領域、検知領域、および常時検知領域等の設定が完了している状態を示す。「監視中」とは、設定された各判定領域の情報に基づいて、画像判定動作(監視動作)が実行中である状態を示す。なお、状態表示部421a〜421fを区別なく呼称する場合、または総称する場合、単に「状態表示部421」というものとする。
(設定画面の構成)
図6は、実施の形態に係る情報処理装置の表示装置に表示される設定画面で映像データが表示される状態の一例を示す図である。図6および後述する図8を参照しながら、設定画面500の構成について説明する。
設定画面500は、トリガ領域、検知領域および常時検知領域の指定、ならびに、検知領域および常時検知領域における画像判定の感度および閾値等を設定する画面である。図6に示す設定画面500は、常時検知機能について設定するための画面であり、カメラ選択タブ501、設定用映像表示部502と、再生ボタン503aと、一時停止ボタン503bと、早送りボタン503cと、早戻しボタン503dと、停止ボタン503eと、シークバー504と、スライダー505と、時刻表示部506と、設定読出ボタン511と、設定書込ボタン512と、設定反映ボタン513と、閉じるボタン514と、領域選択タブ551と、常時検知領域情報部561と、常時検知領域ボタン群562と、を含む。
カメラ選択タブ501は、ユーザがトリガ領域、検知領域および常時検知領域の指定を所望する撮像装置2a〜2fの映像データのうちいずれの映像データを設定用映像表示部502に表示させるのかを選択する操作部である。例えば、撮像装置2a〜2fによって撮像された映像データは、それぞれ「1」〜「6」に対応付けられており、図6の例では、「6」すなわち撮像装置2fの映像データが選択された例を示している。
設定用映像表示部502は、第1再生部304によって、ユーザにより操作される入力部303からの操作信号に従って記憶部302から取得された映像データが再生表示される表示部である。図6の例では、第1再生部304は、ユーザによる入力部303の操作により、「6」のカメラ選択タブ501が選択操作されると、撮像装置2fにより撮像された映像データを設定用映像表示部502に再生表示させる。
再生ボタン503aは、ユーザによる入力部303の操作によって押下されると、第1再生部304によって、設定用映像表示部502に表示された映像データが再生開始されるボタンである。一時停止ボタン503bは、ユーザによる入力部303の操作によって押下されると、第1再生部304によって、設定用映像表示部502に再生表示されている映像データが一時停止されるボタンである。早送りボタン503cは、ユーザによる入力部303の操作によって押下されると、第1再生部304によって、設定用映像表示部502に再生表示されている映像データが早送り表示されるボタンである。早戻しボタン503dは、ユーザによる入力部303の操作によって押下されると、第1再生部304によって、設定用映像表示部502に再生表示されている映像データが早戻し表示されるボタンである。停止ボタン503eは、ユーザによる入力部303の操作によって押下されると、第1再生部304によって、設定用映像表示部502に再生表示されている映像データが停止されるボタンである。
シークバー504は、その上に配置されるスライダー505の位置により、設定用映像表示部502に再生表示されている映像データがどの時間のものなのかを示す棒状の形状体である。スライダー505は、設定用映像表示部502に再生表示されている映像データの撮像時刻(表示されているフレームが撮像された時刻)に対応したシークバー504上の位置にスライドする形状体かつ操作部である。逆に、スライダー505は、ユーザによる入力部303の操作によってスライドされると、第1再生部304によって、スライダー505が存在するシークバー504上の位置に対応した撮像時刻の映像データのフレームが設定用映像表示部502に表示される。
時刻表示部506は、第1再生部304によって、設定用映像表示部502に再生表示されている映像データの撮像日付および撮像時刻を表示する表示部である。
設定読出ボタン511は、ユーザによる入力部303の操作によって押下されると、設定部308によって、記憶部302に記憶された、カメラ選択タブ501で選択された撮像装置2についてのトリガ領域、検知領域および常時検知領域の情報等が読み出され、設定画面500の各表示部に表示されるボタンである。設定書込ボタン512は、ユーザによる入力部303の操作によって押下されると、設定部308によって、設定画面500上で設定されたトリガ領域、検知領域および常時検知領域の情報等が、カメラ選択タブ501で選択された撮像装置2に関連付けられて記憶部302に記憶されるボタンである。設定反映ボタン513は、ユーザによる入力部303の操作によって押下されると、設定部308によって、設定画面500上で設定されたトリガ領域、検知領域および常時検知領域の情報等が、ウォッチャ画面400および設定画面500等のアプリケーションが閉じられるまで有効とされる(例えば、RAM103に一時記憶される)ボタンである。
閉じるボタン514は、ユーザによる入力部303の操作によって押下されると、設定部308によって、設定画面500が閉じられ、ウォッチャ画面400を表示部333に表示させるボタンである。
領域選択タブ551は、常時検知機能に用いる常時検知領域を指定するためのタブと、瞬間検知機能に用いるトリガ領域および検知領域を指定するためのタブとによって構成されている。例えば、図6に示す設定画面500は、ユーザによる入力部303の操作によって、常時検知領域を指定するためのタブが選択された状態を示す。一方、後述する図8に示す設定画面500は、ユーザによる入力部303の操作によってトリガ領域および検知領域を指定するためのタブが選択された状態を示す。
常時検知領域情報部561は、常時検知領域指定部309により指定された常時検知領域の名称、感度、閾値、監視方法(図6では「監視」と表記)、およびアクションの有無(図6では「アクション」と表記)(以下、常時検知領域についてのこれらの情報を属性情報という)を表示する表示部かつ選択操作部である。
常時検知領域ボタン群562は、常時検知領域指定部309により指定され、常時検知領域情報部561に表示された常時検知領域についての属性情報を編集するボタン群である。常時検知領域ボタン群562は、アクションボタン562aと、削除ボタン562cと、感度増加ボタン562eと、感度減少ボタン562fと、閾値増加ボタン562gと、閾値減少ボタン562hと、を含む。常時検知領域ボタン群562の各ボタンの機能は、後述する。
後述する図8に示す設定画面500は、上述のように、領域選択タブ551でトリガ領域および検知領域を指定するためのタブが選択された状態を示し、トリガ領域情報部507と、基準画像表示部508aと、差分画像表示部508bと、検知領域情報部509と、検知領域ボタン群510と、を有する。
トリガ領域情報部507は、トリガ領域指定部305により指定されたトリガ領域の名称、ならびに、変化点検出部306が上述の変化点を検出するための感度および閾値を表示する表示部である。基準画像表示部508aは、変化点検出部306により抽出されたトリガ基準画像を表示する表示部である。差分画像表示部508bは、変化点検出部306により抽出された差分画像(後述)を表示する表示部である。
検知領域情報部509は、検知領域指定部307により指定された検知領域の名称、感度、閾値、検知遅延時間(図8では「遅延時間」と表記)、監視方法(図8では「監視」と表記)、アクションの有無(図8では「アクション」と表記)、および画像判定の方法(図8では「画像判定」と表記)(以下、検知領域についてのこれらの情報を属性情報という)を表示する表示部かつ選択操作部である。
検知領域ボタン群510は、検知領域指定部307により指定され、検知領域情報部509に表示された検知領域についての属性情報を編集するボタン群である。検知領域ボタン群510は、アクションボタン510aと、画像判定選択ボタン510bと、削除ボタン510cと、感度増加ボタン510eと、感度減少ボタン510fと、閾値増加ボタン510gと、閾値減少ボタン510hと、を含む。検知領域ボタン群510の各ボタンの機能は、後述する。
(常時検知領域の指定)
図7は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部に常時検知領域を指定する例を示す図である。図7を参照しながら、常時検知領域の指定について説明する。
図7に示す設定画面500は、第1再生部304により映像データが再生表示されている設定用映像表示部502において常時検知領域570が指定された状態を示している。具体的には、まず、設定用映像表示部502において映像データの再生表示中に、常時検知機能の画像判定を所望する画像の部分が表示されているタイミングで、ユーザによる入力部303の操作によって一時停止ボタン503bが押下されると、第1再生部304は、設定用映像表示部502に再生表示されている映像データを一時停止し、その時点のフレームの撮像日付および撮像時刻を時刻表示部506に表示させる。そして、ユーザによる入力部303の操作によって領域選択タブ551の「常時」タブを選択操作されると、設定部308は、常時検知領域についての情報を表示させる。
次に、ユーザによる入力部303の操作(例えば、マウス108のドラッグ操作)によって、常時検知領域指定部309は、設定用映像表示部502において常時検知領域570(判定領域)を指定して表示させる。
また、設定部308は、常時検知領域570の属性情報として、常時検知領域指定部309により指定された常時検知領域570に命名した名前、ならびに、デフォルト値として、後述する画像判定で使用する所定の感度(例えば、「50」)、所定の閾値(例えば、「20%」)、監視方法(例えば、「グレースケール」)、およびアクションの有無(例えば、「なし」)を、常時検知領域情報部561に表示させる。設定部308は、常時検知領域570の名前として、図7に示すように、例えば、「6」の撮像装置(撮像装置2f)の映像データに対して指定された常時検知領域であるものとして、「A61」と命名する。また、常時検知領域指定部309は、カメラ選択タブ501で選択された撮像装置2(図7の例では、撮像装置2f)に関連付けて、常時検知領域570を指定した時刻の設定用映像表示部502に表示されているフレーム(画像)における常時検知領域570内の画像を常時検知基準画像として抽出して記憶部302に記憶させ、指定した常時検知領域570の情報(位置および形状等の位置情報、および属性情報等)を記憶部302に記憶させる。さらに、常時検知領域指定部309は、カメラ選択タブ501で選択された撮像装置2に関連付けて、常時検知領域570を指定した時刻の情報(時刻情報)を記憶部302に記憶させる。なお、上述と同様の方法で、常時検知領域指定部309により複数の常時検知領域を指定することができる。
図7に示す設定画面500で指定された常時検知領域(図7では常時検知領域570)の属性情報は、編集することができる。まず、ユーザによる入力部303の操作によって、常時検知領域情報部561に属性情報が表示された常時検知領域のいずれか(図7では常時検知領域570の属性情報のみを表示)を選択すると、設定部308は、選択された常時検知領域情報部561の常時検知領域の属性情報の表示部分を反転表示させる。以下、図7に示した常時検知領域570(常時検知領域名「A61」)が選択されたものとして説明する。
次に、例えば、ユーザによる入力部303の操作によって、アクションボタン562aを押下すると、設定部308は、選択された常時検知領域570のアクションの有無の設定値を切り替える。例えば、常時検知領域570のアクションの有無が「なし」となっている場合、アクションボタン562aが押下されると、設定部308は、常時検知領域570のアクションの有無を「あり」に設定する。一方、常時検知領域570のアクションの有無が「あり」となっている場合、アクションボタン562aが押下されると、設定部308は、常時検知領域570のアクションの有無を「なし」に設定する。後述するように、アクションの有無が「あり」となっている場合、常時検知領域判定部315によってその常時検知領域における画像判定で異常と判定された場合、外部出力部332が異常信号を出力する。
また、例えば、ユーザによる入力部303の操作によって、削除ボタン562cを押下すると、設定部308は、常時検知領域情報部561に表示された常時検知領域570の属性情報を消去し、記憶部302に記憶された常時検知領域570の情報を削除する。また、常時検知領域指定部309は、設定用映像表示部502に表示された常時検知領域570を消去し、記憶部302に記憶された常時検知基準画像を削除する。
また、例えば、ユーザによる入力部303の操作によって、感度増加ボタン562eを押下すると、設定部308は、選択された常時検知領域570の画像判定に用いられる感度の値を所定値だけ増加させる。一方、ユーザによる入力部303の操作によって、感度減少ボタン562fを押下すると、設定部308は、選択された常時検知領域570の画像判定に用いられる感度の値を所定値だけ減少させる。
また、例えば、ユーザによる入力部303の操作によって、閾値増加ボタン562gを押下すると、設定部308は、選択された常時検知領域570の画像判定に用いられる閾値の値を所定値だけ増加させる。一方、ユーザによる入力部303の操作によって、閾値減少ボタン562hを押下すると、設定部308は、選択された常時検知領域570の画像判定に用いられる閾値の値を所定値だけ減少させる。
(トリガ領域の指定および変化点の検出)
図8は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部にトリガ領域を指定する例を示す図である。図9は、実施の形態に係る情報処理装置の表示装置に表示される設定画面においてトリガ領域における変化点が見つかった場合のマーク表示の一例を示す図である。図10は、トリガ領域における変化点を検出する動作を説明する図である。図11は、実施の形態に係る情報処理装置の表示装置に表示される設定画面においてトリガ領域における変化点が2点見つかった場合に表示されるダイアログの一例を示す図である。図12は、実施の形態に係る情報処理装置の表示装置に表示される設定画面においてトリガ領域における変化点が見つからなかった場合に表示されるダイアログの一例を示す図である。図8〜12を参照しながら、トリガ領域の指定および変化点の検出について説明する。
図8に示す設定画面500は、第1再生部304により映像データが再生表示されている設定用映像表示部502においてトリガ領域530が指定された状態を示している。具体的には、まず、設定用映像表示部502において映像データの再生表示中に、トリガの発生の基となる所望する画像の部分が表示されているタイミングで、ユーザによる入力部303の操作によって一時停止ボタン503bが押下されると、第1再生部304は、設定用映像表示部502に再生表示されている映像データを一時停止し、その時点のフレームの撮像日付および撮像時刻を時刻表示部506に表示させる。次に、ユーザによる入力部303の操作によって領域選択タブ551の「瞬間」タブを選択操作されると、設定部308は、トリガ領域および検知領域についての情報を表示させる。
次に、ユーザによる入力部303の操作(例えば、マウス108のドラッグ操作)によって、トリガ領域指定部305は、設定用映像表示部502においてトリガ領域530(判定領域)を指定して表示させる。
図9に示す設定画面500は、変化点検出部306によって、トリガ領域指定部305により指定されたトリガ領域530において変化点が検出された場合の状態を示している。具体的には、変化点検出部306は、まず、トリガ領域指定部305によりトリガ領域530が指定された場合、指定された時点で第1再生部304が再生表示している映像データのフレームの撮像時刻の前後の所定時間(例えば前後2分間)分のフレームを取得し、トリガ領域530が指定された時刻のトリガ領域530内の画像をトリガ基準画像(第1基準画像)として抽出する。ここで、変化点とは、トリガ生成部313がトリガ信号を生成するタイミングの基準とするための、トリガ領域530内の画像の所定の変化を帯びた時点をいう。以下、変化点検出部306による具体的な変化点の検出方法について説明する。
変化点検出部306は、図10(a)に示すように、所定時間分のフレームとして13個のフレーム(フレーム(0)〜フレーム(12))を取得したものとする。この場合、変化点検出部306によって、フレーム(6)を真中として、その前後の所定時間分のフレームが取得されたことになる。また、説明を簡略にするため、各フレームにおけるトリガ領域530に対応する部分の画像についても、それぞれフレーム(0)〜フレーム(12)と称するものとする。そして、変化点検出部306は、取得したフレームにおいて、フレームごとに直前のフレームとの画素値についての差分を演算する。差分の演算方法については、上述した通りである。変化点検出部306が図10(a)に例示したフレームを抽出し、フレームごとに演算した差分を時系列に表したグラフが、図10(b)に示すグラフである。図10(b)において、例えば、フレーム(1)の差分は、フレーム(1)と、その直前のフレームであるフレーム(0)との差分を示す。ここで、変化点としてのIN点およびOUT点を次のように定義する。すなわち、IN点とは、連続するフレームにおいて、トリガ領域530内の画像が変化し始めた時点とする。また、OUT点とは、連続するフレームにおいて、トリガ領域530内の画像の変化がおさまり始めた時点とする。なお、変化点検出部306は、取得したフレームにおいて、フレームごとに直前のフレームとの差分を演算するものとしたが、直前のフレームに限定されるものではなく、例えば、フレームごとに、数フレーム前のフレームとの差分を演算するものとしてもよい。
変化点検出部306は、フレームごとに演算した差分に基づいて、IN点の候補、およびOUT点の候補を見つける。具体的には、変化点検出部306は、演算した差分が2フレーム分以上連続して所定の閾値以上となった場合、最初に差分が所定の閾値以上となったフレームをIN点の候補のフレームとする。図10(b)の例では、フレーム(1)の差分は閾値未満、フレーム(2)の差分は閾値以上となり、そして、フレーム(3)の差分も閾値以上となり、フレーム(2)および(3)の2フレーム分の差分が閾値以上となるので、最初に差分が閾値以上となったフレーム(2)がIN点の候補のフレームとなる。同様に、フレーム(7)もIN点の候補のフレームとなる。また、2フレーム分以上連続ではなく、1フレーム分のみの差分が閾値以上となった場合は、ノイズの可能性があるので、そのフレームはIN点の候補のフレームとしない。
一方、変化点検出部306は、演算した差分が2フレーム分以上連続して所定の閾値未満となった場合、最初に差分が所定の閾値未満となったフレームをOUT点の候補のフレームとする。図10(b)の例では、フレーム(4)の差分は閾値以上、フレーム(5)の差分は閾値未満、そして、フレーム(6)の差分も閾値未満となり、フレーム(5)および(6)の2フレーム分の差分が閾値未満となるので、最初に差分が閾値未満となったフレーム(5)がOUT点の候補のフレームとなる。ここで、フレーム(12)は、差分が所定の閾値未満となっているが、後に続くフレーム(13)は、変化点検出部306が抽出したフレーム以外のフレームであるので、OUT点の候補のフレームとしない。また、2フレーム分以上連続ではなく、1フレーム分のみの差分が閾値未満となった場合は、ノイズの可能性があるので、そのフレームはOUT点の候補のフレームとしない。
以上のように、変化点検出部306は、図10の例では、IN点の候補のフレームとしてフレーム(2)および(7)を特定し、OUT点の候補のフレームとしてフレーム(5)を特定する。このように、変化点検出部306は、IN点の候補のフレームが複数特定された場合、取得したフレームの真中のフレーム(6)に最も近いフレーム、すなわちフレーム(7)をIN点のフレームに決定する。なお、図10の例では、OUT点の候補のフレームとして、1つのフレーム(フレーム(5))のみ特定されているが、IN点の候補と同様に、複数のフレームがOUT点の候補のフレームとして特定される場合もある。このように、OUT点の候補のフレームが複数特定された場合、変化点検出部306は、IN点の候補と同様に、取得したフレームの真中のフレーム(6)に最も近いフレームをOUT点のフレームに決定する。図10の例では、OUT点の候補のフレームはフレーム(5)のみなので、変化点検出部306は、フレーム(5)をOUT点のフレームに決定する。以上のように、変化点検出部306は、取得した所定時間分のフレームから、IN点のフレームおよびOUT点のフレームを決定することにより、変化点(IN点およびOUT点)を検出する。
なお、変化点検出部306は、変化点を検出した場合、変化点のフレームの前のフレーム、もしくは後のフレーム、または前後のフレームを用いて、トリガ領域530内の動体検知を行い、どの方向から動体が入ってきたのかを示すベクトル情報を記憶部302に記憶させるものとしてもよい。この場合、トリガ生成部313は、記憶部302に記憶されたベクトル情報を用いて、動体がベクトル情報の示す方向と同一の方向から動いてきたか否かを確認し、その確認結果に基づいてトリガ信号を生成するものとしてもよい。
また、変化点検出部306によるトリガ領域530における変化点の検出方法は、上述の方法に限定されるものではなく、トリガを発生させるタイミングを規定する変化点であれば、どのように変化点を検出してもよい。
また、上述のように、変化点検出部306は、差分が2フレーム分以上連続して所定の閾値以上となった場合、最初に差分が所定の閾値以上となったフレームをIN点の候補のフレームとするものとしているが、これに限定されるものではない。すなわち、差分が2フレーム分以上連続ではなく、その他の数以上のフレームが連続して所定の閾値以上となった場合としてもよい。これは、OUT点の候補のフレームを見つける場合についても同様である。
また、図10では、IN点およびOUT点の双方のフレームが見つかる例を示したが、変化点検出部306は、IN点のフレームのみ、または、OUT点のフレームのみを見つける場合もあり、この場合は、これらのIN点またはOUT点を変化点として検出する。この場合、変化点検出部306は、検出した変化点のフレームのトリガ領域530内の画像を差分画像として抽出する。変化点検出部306は、カメラ選択タブ501で選択された撮像装置2(図10の例では、撮像装置2f)に関連付けて、抽出したトリガ基準画像、および変化点のフレームにおける差分画像を記憶部302に記憶させ、トリガ基準画像を基準画像表示部508aに表示させ、差分画像を差分画像表示部508bに表示させる。さらに、変化点検出部306は、シークバー504において、検出した変化点のフレームの時刻に対応する部分にトリガマーク540を表示する。また、変化点検出部306により変化点が検出された場合、トリガ領域指定部305は、カメラ選択タブ501で選択された撮像装置2(図10の例では、撮像装置2f)に関連付けて、指定したトリガ領域530の情報(位置および形状等の位置情報、および属性情報等)を記憶部302に記憶させる。また、設定部308は、トリガ領域530の属性情報として、トリガ領域指定部305により指定されたトリガ領域530に命名した名前、ならびに、変化点検出部306の変化点の検出に利用された所定の感度(例えば、「50」)および所定の閾値(例えば、「20%」)(デフォルト値)を、トリガ領域情報部507に表示させる。設定部308は、トリガ領域530の名前として、図8に示すように、例えば、「6」の撮像装置(撮像装置2f)の映像データに対して指定されたトリガ領域であるものとして、「TR6」と命名する。さらに、トリガ領域指定部305は、カメラ選択タブ501で選択された撮像装置2に関連付けて、トリガ領域530を指定した時刻の情報(時刻情報)を記憶部302に記憶させる。
図11に示す設定画面500は、変化点検出部306によって、トリガ領域指定部305により指定されたトリガ領域530において変化点が上述のように2つ(IN点およびOUT点)検出された場合に、変化点選択ダイアログ600が表示された状態を示している。このように、変化点検出部306は、変化点を2つ以上検出した場合、トリガ基準画像を抽出した時点に最も近い2つの変化点(IN点およびOUT点)のうちいずれをトリガの生成のために利用するかを選択するための変化点選択ダイアログ600を表示部333に表示させる。変化点選択ダイアログ600は、はいボタン601と、いいえボタン602と、閉じるボタン603と、を含む。閉じるボタン603は、変化点選択ダイアログ600を閉じるためのボタンである。
ユーザによる入力部303の操作によって、はいボタン601を押下した場合、変化点検出部306は、IN点を変化点として検出し、IN点のフレームのトリガ領域530内の画像を差分画像として抽出する。そして、変化点検出部306は、カメラ選択タブ501で選択された撮像装置2に関連付けて、抽出したトリガ基準画像、およびIN点のフレームにおける差分画像を記憶部302に記憶させ、トリガ基準画像を基準画像表示部508aに表示させ、差分画像を差分画像表示部508bに表示させる。さらに、変化点検出部306は、シークバー504において、検出したIN点のフレームの時刻に対応する部分にトリガマーク540を表示する。
一方、ユーザによる入力部303の操作によって、いいえボタン602を押下した場合、変化点検出部306は、OUT点を変化点として検出し、OUT点のフレームのトリガ領域530内の画像を差分画像として抽出する。そして、変化点検出部306は、カメラ選択タブ501で選択された撮像装置2に関連付けて、抽出したトリガ基準画像、およびOUT点のフレームにおける差分画像を記憶部302に記憶させ、トリガ基準画像を基準画像表示部508aに表示させ、差分画像を差分画像表示部508bに表示させる。さらに、変化点検出部306は、シークバー504において、検出したOUT点のフレームの時刻に対応する部分にトリガマーク540を表示する。その他の動作は、図9で上述した動作と同様である。
このように、変化点検出部306により変化点としてIN点およびOUT点が検出され、ユーザにより2つの変化点のいずれかを選択できるようにすることにより、ユーザが真に指定を所望する変化点を選択させることができる。
図12に示す設定画面500は、変化点検出部306によって、トリガ領域指定部305により指定されたトリガ領域530において変化点が見つからなかった場合に、変化点無し通知ダイアログ610が表示された状態を示している。変化点検出部306は、上述の図10で説明した動作において、演算した差分が所定の閾値以上とならず、変化点が検出できない場合がある。この場合、変化点検出部306は、変化点が見つからなかった旨を示す変化点無し通知ダイアログ610を表示部333に表示させる。
変化点無し通知ダイアログ610は、OKボタン611と、閉じるボタン612と、を含む。閉じるボタン612は、変化点無し通知ダイアログ610を閉じるためのボタンである。ユーザによる入力部303の操作によって、OKボタン611を押下した場合、変化点検出部306は、記憶部302に何の情報も記憶せず、基準画像表示部508aおよび差分画像表示部508bにも画像を表示させずに、変化点無し通知ダイアログ610を閉じる。
(検知領域の指定および検知領域の属性情報の設定)
図13は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部に検知領域を指定する例を示す図である。図14は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部に2つ目の検知領域を指定する例を示す図である。図15は、実施の形態に係る情報処理装置の表示装置に表示される設定画面において設定用映像表示部で指定した検知領域の属性情報を設定する例を示す図である。図13〜15を参照しながら、検知領域の指定および検知領域の属性情報等の設定について説明する。
図13に示す設定画面500は、第1再生部304により映像データが再生表示されている設定用映像表示部502において検知領域535が指定された状態を示している。具体的には、まず、設定用映像表示部502において映像データの再生表示中に、瞬間検知機能の画像判定を所望する画像の部分が表示されているタイミングで、ユーザによる入力部303の操作によって一時停止ボタン503bが押下されると、第1再生部304は、設定用映像表示部502に再生表示されている映像データを一時停止し、その時点のフレームの撮像日付および撮像時刻を時刻表示部506に表示させる。
次に、ユーザによる入力部303の操作(例えば、マウス108のドラッグ操作)によって、検知領域指定部307は、設定用映像表示部502において検知領域535(判定領域)を指定して表示させる。ただし、検知領域指定部307が、検知領域535を指定できるのは、トリガ領域情報部507において、トリガ領域指定部305により指定されたトリガ領域が選択(図13の例では「TR6」)されている必要がある。すなわち、検知領域指定部307により指定された検知領域535は、トリガ領域情報部507において選択されたトリガ領域と関連付けられる。
また、設定部308は、検知領域535の属性情報として、検知領域指定部307により指定された検知領域535に命名した名前、ならびに、デフォルト値として、後述する画像判定で使用する所定の感度(例えば、「50」)、所定の閾値(例えば、「20%」)、監視方法(例えば、「グレースケール」)、アクションの有無(例えば、「なし」)および画像判定の方法(例えば、「一致」)を、検知領域情報部509に表示させる。設定部308は、検知領域535の名前として、図13に示すように、例えば、トリガ領域「TR6」に関連付けられた1番目の領域であるものとして、「K61」と命名する。また、設定部308は、変化点検出部306によって検出された変化点の時刻に対して、検知領域指定部307により検知領域535が指定された時点のフレームの時刻の遅延時間(図13の例では「2.14」)を属性情報として算出して、検知領域情報部509に表示させる。すなわち、この場合、「K61」と命名された検知領域535では、トリガのタイミングから「2.14」秒後に画像判定が行われるように設定されたことになる。
また、検知領域指定部307は、カメラ選択タブ501で選択された撮像装置2(図13の例では、撮像装置2f)に関連付けて、検知領域535を指定した時刻の検知領域535内の画像を検知基準画像(第2基準画像)として抽出して記憶部302に記憶させ、指定した検知領域535の情報(位置および形状等の位置情報、および属性情報等)を記憶部302に記憶させる。さらに、検知領域指定部307は、カメラ選択タブ501で選択された撮像装置2に関連付けて、検知領域535を指定した時刻の情報(時刻情報)を記憶部302に記憶させる。
図14に示す設定画面500は、第1再生部304により映像データが再生表示されている設定用映像表示部502において2つ目の検知領域である検知領域536が指定された状態を示している。具体的には、まず、設定用映像表示部502において映像データの再生表示(一時停止)中に、ユーザによる入力部303の操作によってシークバー504のスライダー505をスライドさせて、瞬間検知機能の画像判定を所望する画像の部分が表示されているタイミングに調整する。第1再生部304は、設定用映像表示部502に一時停止されている映像データのフレームの撮像日付および撮像時刻を時刻表示部506に表示させる。
次に、ユーザによる入力部303の操作(例えば、マウス108のドラッグ操作)によって、検知領域指定部307は、設定用映像表示部502において2つ目の検知領域である検知領域536(判定領域)を指定して表示させる。ただし、検知領域指定部307が、検知領域536を指定できるのは、検知領域535の指定の場合と同様に、トリガ領域情報部507において、トリガ領域指定部305により指定されたトリガ領域が選択(図14の例では「TR6」)されている必要がある。すなわち、検知領域指定部307により指定された検知領域536は、トリガ領域情報部507において選択されたトリガ領域と関連付けられる。
また、設定部308は、検知領域536の属性情報として、検知領域指定部307により指定された検知領域536に命名した名前、ならびに、デフォルト値として、後述する画像判定で使用する所定の感度(例えば、「50」)、所定の閾値(例えば、「20%」)、監視方法(例えば、「グレースケール」)、アクションの有無(例えば、「なし」)および画像判定の方法(例えば、「一致」)を、検知領域情報部509に表示させる。設定部308は、検知領域536の名前として、図14に示すように、例えば、トリガ領域「TR6」に関連付けられた2番目の領域であるものとして、「K62」と命名する。また、設定部308は、変化点検出部306によって検出された変化点の時刻に対して、検知領域指定部307により検知領域536が指定された時点のフレームの時刻の遅延時間(図14の例では「−1.86」)を属性情報として算出して、検知領域情報部509に表示させる。すなわち、この場合、「K62」と命名された検知領域536では、トリガのタイミングから「1.86」秒前に画像判定が行われるように設定されたことになる。
また、検知領域指定部307は、カメラ選択タブ501で選択された撮像装置2(図14の例では、撮像装置2f)に関連付けて、検知領域536を指定した時刻の検知領域536内の画像を検知基準画像として抽出して記憶部302に記憶させ、指定した検知領域536の情報(位置および形状等の位置情報、および属性情報等)を記憶部302に記憶させる。さらに、検知領域指定部307は、カメラ選択タブ501で選択された撮像装置2に関連付けて、検知領域536を指定した時刻の情報(時刻情報)を記憶部302に記憶させる。なお、上述と同様の方法で、検知領域指定部307によりさらに別の検知領域を指定することができる。
図15に示す設定画面500は、検知領域情報部509に属性情報が表示された検知領域「K61」(検知領域535)、「K62」(検知領域536)のうち「K62」が選択された状態を示している。図15を参照しながら、検知領域の属性情報の編集について説明する。
まず、図15に示すように、ユーザによる入力部303の操作によって、検知領域情報部509に属性情報が表示された検知領域のいずれかを選択すると、設定部308は、選択された検知領域情報部509の検知領域の属性情報の表示部分を反転表示させる。以下、図15に示すように検知領域536(検知領域名「K62」)が選択されたものとして説明する。
次に、例えば、ユーザによる入力部303の操作によって、アクションボタン510aを押下すると、設定部308は、選択された検知領域536のアクションの有無の設定値を切り替える。例えば、検知領域536のアクションの有無が「なし」となっている場合、アクションボタン510aが押下されると、設定部308は、検知領域536のアクションの有無を「あり」に設定する。一方、検知領域536のアクションの有無が「あり」となっている場合、アクションボタン510aが押下されると、設定部308は、検知領域536のアクションの有無を「なし」に設定する。後述するように、アクションの有無が「あり」となっている場合、検知領域判定部314によってその検知領域における画像判定で異常と判定された場合、外部出力部332が異常信号を出力する。
また、例えば、ユーザによる入力部303の操作によって、画像判定選択ボタン510bを押下すると、設定部308は、選択された検知領域536の画像判定の方法の設定値を切り替える。例えば、検知領域536の画像判定の方法が「一致」となっている場合、画像判定選択ボタン510bが押下されると、設定部308は、検知領域536の画像判定の方法を「不一致」に設定する。一方、検知領域536の画像判定の方法が「不一致」となっている場合、画像判定選択ボタン510bが押下されると、設定部308は、検知領域536の画像判定の方法を「一致」に設定する。
後述するように、画像判定の方法が「一致」となっている場合、検知領域判定部314は、抽出した画像と、検知基準画像との差分が属性情報の閾値以上の場合、異常と判定する。このように、画像判定の方法が「一致」とする場合の例としては、ワークに部品を挿入する設備において、部品がワークに挿入されている状態を検知基準画像とし、ワークへの部品の挿入動作が終了したタイミングで画像判定する場合が挙げられる。この場合、ワークへの部品の挿入動作が失敗し、正常に部品が挿入されていない状態で検知領域判定部314により画像判定が実行されると、検知基準画像との差分が属性情報の閾値以上となり、異常と判定されることになる。
一方、画像判定の方法が「不一致」となっている場合、検知領域判定部314は、抽出した画像と、検知基準画像との差分が属性情報の閾値未満の場合、異常と判定する。このように、画像判定の方法が「不一致」とする場合の例としては、ワークに部品を挿入する設備において、部品がワークに挿入されていない状態を検知基準画像とし、ワークへの部品の挿入動作が終了したタイミングで画像判定する場合が挙げられる。この場合、ワークへの部品の挿入動作が失敗し、正常に部品が挿入されていない状態で検知領域判定部314により画像判定が実行されると、検知基準画像との差分が属性情報の閾値未満となり、異常と判定されることになる。なお、部品がワークに挿入されていない状態を検知基準画像とする事情としては、完成品としての部品が挿入されたワークを準備するのが困難である場合等が挙げられる。
また、例えば、ユーザによる入力部303の操作によって、削除ボタン510cを押下すると、設定部308は、検知領域情報部509に表示された検知領域536の属性情報を消去し、記憶部302に記憶された検知領域536の情報を削除する。また、検知領域指定部307は、設定用映像表示部502に表示された検知領域536を消去し、記憶部302に記憶された検知基準画像を削除する。
また、例えば、ユーザによる入力部303の操作によって、感度増加ボタン510eを押下すると、設定部308は、選択された検知領域536の画像判定に用いられる感度の値を所定値だけ増加させる。一方、ユーザによる入力部303の操作によって、感度減少ボタン510fを押下すると、設定部308は、選択された検知領域536の画像判定に用いられる感度の値を所定値だけ減少させる。
また、例えば、ユーザによる入力部303の操作によって、閾値増加ボタン510gを押下すると、設定部308は、選択された検知領域536の画像判定に用いられる閾値の値を所定値だけ増加させる。一方、ユーザによる入力部303の操作によって、閾値減少ボタン510hを押下すると、設定部308は、選択された検知領域536の画像判定に用いられる閾値の値を所定値だけ減少させる。
(ウォッチャ画面における画像判定動作)
図16は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で監視動作が実行される状態の一例を示す図である。図17は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作でトリガが発生する前の状態の一例を示す図である。図18は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作でトリガが発生した状態の一例を示す図である。図19〜24は、実施の形態に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。
まず、図16を参照しながら、ウォッチャ画面400における画像判定動作(監視動作)の概要について説明する。図16に示すウォッチャ画面400は、複数の撮像装置2から受信した映像データをリアルタイムに表示し、映像表示部401fで、常時検知領域「A61」、トリガ領域「TR6」、ならびに検知領域「K61」、「K62」、「K63」および「K64」が指定された状態を示している。ただし、ウォッチャ画面400における画像判定動作においては、複数の機能(本実施の形態の場合、常時検知機能および瞬間検知機能)が実行されるので、外観の煩雑さを回避するため、映像表示部401に表示される各判定領域の名称の表示は省略するものとしている。ここで、常時検知機能とは、常時検知領域での画像が異常であるか否かの画像判定を監視動作中、常時実行する機能である。また、瞬間検知機能とは、トリガ領域で検知されたトリガのタイミングから設定時間前または設定時間後のタイミングで、検知領域での画像が異常であるか否かの画像判定を実行する機能である。また、第1制御部316は、設定画面500からウォッチャ画面400に遷移した後、映像表示部401fについて各判定領域の設定が完了したので、状態表示部421fに「設定完了」と表示させる。
次に、ユーザは、入力部303の操作によって、画像判定動作(監視動作)を開始させたい撮像装置2に対応する映像表示部401を押下して選択状態にする。図16に示す例では、映像表示部401fが押下されて選択状態になった状態が示されている。そして、第1制御部316は、ユーザによる入力部303の操作によって、監視開始ボタン411が押下されると、映像表示部401fに表示される撮像装置2fのリアルタイムの映像データについて画像判定動作を開始する。このとき、第1制御部316は、図16に示すように、撮像装置2fについて画像判定動作が実行中である旨を示すために、状態表示部421fに「監視中」と表示させる。また、第1制御部316は、選択状態になっている映像表示部401に対応する撮像装置2に関連付けて、画像判定動作(監視動作)を開始した時刻の情報(時刻情報)を記憶部302に記憶させる。なお、第1制御部316は、ユーザによる入力部303の操作によって、監視停止ボタン412が押下された場合、選択状態の映像表示部401についての画像判定動作を停止し、その映像表示部401に対応する撮像装置2に関連付けて、画像判定動作(監視動作)を停止した時刻の情報(時刻情報)を記憶部302に記憶させる。
具体的なウォッチャ画面400における画像判定動作では、まず、映像振分部312が、映像受信部301から取得したリアルタイムの映像データを映像表示部401a〜401fに振り分けて表示させる。トリガ生成部313は、記憶部302から変化点検出部306により検出された変化点のフレームにおける差分画像を取得する。そして、トリガ生成部313は、映像表示部401fで指定されているトリガ領域「TR6」において、差分画像と、映像データのフレームのトリガ領域の画像とを比較する。トリガ生成部313は、映像データのフレームのトリガ領域の画像が、変化点のフレームにおける差分画像と比較して、画素値が所定の感度以上異なる画素の数の合計である差分が所定の閾値未満となったタイミングでトリガ信号を生成(以下、「トリガを検知」するともいう場合がある)する。そして、トリガ生成部313は、画像判定動作でトリガ信号を生成した時刻の情報(時刻情報)を、画像判定動作を実行している撮像装置2に関連付けて、記憶部302に記憶させる。また、トリガ生成部313は、画像判定動作でトリガ信号を生成した時刻の情報(時刻情報)を、画像判定動作を実行している撮像装置2に関連付けて、記憶部302のマーカファイルに書き込む。
検知領域「K61」、「K62」、「K63」および「K64」の属性情報のうち、検知遅延時間がそれぞれ「1.0」秒、「2.2」秒、「2.5」秒、「4.0」秒に設定されているものとする。検知領域判定部314は、記憶部302から、指定された検知領域の属性情報を取得する。検知領域判定部314は、トリガ生成部313により生成されたトリガ信号を受け取ったときの設定時間前または設定時間後に、指定された検知領域において、検知基準画像と、映像データのフレームの検知領域の画像とを比較して異常であるか否かの画像判定をする。
具体的には、検知領域判定部314は、トリガ生成部313によりトリガ領域「TR6」に対応するトリガ信号を受け取った時点から、検知領域「K61」に対応する検知遅延時間「1.0」秒後の映像データのフレームの検知領域の画像と、検知基準画像とを比較して異常であるか否かの画像判定をする。このとき、画像判定として、検知領域判定部314は、検知基準画像と、検知領域の画像との比較で、画素値が検知領域「K61」の属性情報の感度以上異なる画素の数の合計である差分が、当該属性情報の閾値以上となった場合に、検知領域「K61」の画像判定は異常と判定する。そして、検知領域判定部314は、画像判定動作で正常検知または異常検知をした検知時刻の情報(時刻情報)を、画像判定動作を実行している撮像装置2に関連付けて、記憶部302に記憶させる。また、検知領域判定部314は、画像判定動作で異常検知をした検知時刻の情報(時刻情報)を、画像判定動作を実行している撮像装置2に関連付けて、記憶部302のマーカファイルに書き込む。
このように、検知領域判定部314が、トリガ信号を受け取った時点から先のタイミングで画像判定する場合の例としては、圧入機等の設備において、圧入動作開始のタイミングをトリガとして、圧入後の圧入状態を画像判定する場合が挙げられる。具体的には、トリガ生成部313は、圧入機がワークに対して圧入部品を圧入する動作を開始するタイミングをトリガとしてトリガ信号を生成する。その後、圧入機は、ワークに圧入部品を圧入し、圧入動作終了後、圧入機の各アクチュエータは原点位置に戻る。そして、検知領域判定部314は、圧入後のワークの圧入状態に対して画像判定を行う。この検知領域判定部314による画像判定のタイミングが、トリガ生成部313からトリガ信号を受けてから、検知遅延時間で設定された時間後のタイミングとなる。トリガ信号が生成される圧入動作の開始から、圧入後の圧入状態の画像判定が実行されるまでの時間は、圧入機による自動動作なので固定時間となり、トリガのタイミングから画像判定をするまでの検知遅延時間を固定の時間として設定できることになる。
また、検知領域判定部314は、検知領域「K62」、「K63」および「K64」に対応するそれぞれの検知遅延時間後の映像データのフレームの各検知領域の画像と、各検知領域の検知基準画像とをそれぞれ比較して異常であるか否かの画像判定をする。画像判定の方法は、上述の検知領域「K61」の場合と同様である。
そして、外部出力部332は、検知領域判定部314により異常の判定がなされた場合、異常信号を外部機器10に出力する。
また、常時検知領域判定部315は、記憶部302から、指定された常時検知領域(図7における常時検知領域570)の属性情報を取得する。常時検知領域判定部315は、監視動作が実行されている間、指定された常時検知領域において、常時検知基準画像と、映像データのフレームの常時検知領域の画像とを比較して異常であるか否かの画像判定を常時実行する。
具体的には、常時検知領域判定部315は、常時検知領域「A61」に対応する映像データのフレームの検知領域の画像と、基準常時検知領域とを比較して異常であるか否かの画像判定をする。このとき、画像判定として、常時検知領域判定部315は、常時検知基準画像と、常時検知領域の画像との比較で、画素値が常時検知領域「A61」の属性情報の感度以上異なる画素の数の合計である差分が、当該属性情報の閾値以上となった場合に、常時検知領域「A61」の画像判定は異常と判定する。そして、常時検知領域判定部315は、画像判定動作で異常検知をした検知時刻の情報(時刻情報)を、画像判定動作を実行している撮像装置2に関連付けて、記憶部302に記憶させる。また、常時検知領域判定部315は、画像判定動作で異常検知をした検知時刻の情報(時刻情報)を、画像判定動作を実行している撮像装置2に関連付けて、記憶部302のマーカファイルに書き込む。
そして、外部出力部332は、常時検知領域判定部315により異常の判定がなされた場合、異常信号を外部機器10に出力する。
次に、図17〜24を参照しながら、ウォッチャ画面400における映像表示部401fを例にして、瞬間検知機能に基づく映像データに対する画像判定動作(監視動作)の詳細について説明する。まず、第1制御部316は、映像表示部401fについて画像判定動作が開始されると、設定画面500で指定された各判定領域を示す枠を、映像表示部401fの映像データに重畳させて表示させる。具体的には、図17に示すように、映像表示部401fには、トリガ領域530、検知領域535〜538、および常時検知領域570が表示される。この際、第1制御部316は、通常状態(各判定領域で検知がなされていない状態)の各判定領域を示す枠(表示要素の一例)を別々の色によって表示させる。例えば、第1制御部316は、トリガ領域530を示す枠を「白色」で、検知領域535〜538を示す枠を「黄色」で、常時検知領域570を示す枠を「緑色」で表示させる。
次に、図18に示すように、第1制御部316は、トリガ生成部313がトリガを検知した場合、トリガ領域530を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示(以下、単に「太く表示」という場合がある)させる。例えば、第1制御部316は、トリガ領域530を示す枠を「青色」かつ太く表示させ、この表示状態を1秒間継続させる。そして、第1制御部316は、1秒後、トリガ領域530を示す枠の表示を通常状態の枠の表示に戻す。
次に、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域535について設定された検知遅延時間である「1.0」秒後に、検知領域535で画像判定をする。この判定の結果、正常検知となった場合、図19に示すように、第1制御部316は、検知領域535を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、正常検知を示すために、検知領域535を示す枠を「青色」かつ太く表示させ、この表示状態を1秒間継続させる。そして、第1制御部316は、1秒後、検知領域535を示す枠の表示を通常状態の枠の表示に戻す。
次に、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域536について設定された検知遅延時間である「2.2」秒後に、検知領域536で画像判定をする。さらに、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域537について設定された検知遅延時間である「2.5」秒後に、検知領域537で画像判定をする。この判定の結果、それぞれ正常検知となった場合、図20に示すように、第1制御部316は、検知領域536、537を示すそれぞれの枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、正常検知を示すために、検知領域536、537を示す枠を、それぞれ「青色」かつ太く表示させ、この表示状態を1秒間継続させる。そして、第1制御部316は、1秒後、検知領域536、537を示すそれぞれの枠の表示を通常状態の枠の表示に戻す。
そして、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域538について設定された検知遅延時間である「4.0」秒後に、検知領域538で画像判定をする。この判定の結果、正常検知となった場合、図21に示すように、第1制御部316は、検知領域538を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、正常検知を示すために、検知領域538を示す枠を「青色」かつ太く表示させ、この表示状態を1秒間継続させる。そして、第1制御部316は、1秒後、検知領域538を示す枠の表示を通常状態の枠の表示に戻す。そして、報知制御部317は、検知領域判定部314によりトリガ生成部313のトリガに伴う検知領域の画像判定がすべて終了したタイミング(すなわち、検知領域538の画像判定が終了したタイミング)で、報知部334に、検知領域の画像判定の終了を示す判定終了音(図21では「ピッ」と表記)を所定時間(例えば、0.2秒)出力させる。以上のように、図19〜21では、検知領域535〜538の画像判定ですべて正常検知された場合について説明した。次に、検知領域535〜538のいずれかで異常検知がなされた場合について説明する。
図18で示したように、トリガ生成部313がトリガを検知してから、再びトリガ検知をした後の動作について説明する。検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域535について設定された検知遅延時間である「1.0」秒後に、検知領域535で画像判定をする。この判定の結果、正常検知となった場合、図22に示すように、第1制御部316は、検知領域535を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、正常検知を示すために、検知領域535を示す枠を「青色」かつ太く表示させ、この表示状態を1秒間継続させる。そして、第1制御部316は、1秒後、検知領域535を示す枠の表示を通常状態の枠の表示に戻す。
次に、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域536について設定された検知遅延時間である「2.2」秒後に、検知領域536で画像判定をする。さらに、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域537について設定された検知遅延時間である「2.5」秒後に、検知領域537で画像判定をする。この判定の結果、検知領域536において正常検知となった場合、図23に示すように、第1制御部316は、検知領域536を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、正常検知を示すために、検知領域536を示す枠を、「青色」かつ太く表示させ、この表示状態を1秒間継続させる。そして、第1制御部316は、1秒後、検知領域536を示す枠の表示を通常状態の枠の表示に戻す。また、上述の判定の結果、検知領域537において異常検知となった場合、図23に示すように、第1制御部316は、検知領域537を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、異常検知を示すために、検知領域537を示す枠を、「赤色」かつ太く表示させ、この表示状態を1秒間継続させる。このとき、報知制御部317は、検知領域判定部314により検知領域537において異常検知がされたタイミングで、報知部334に、異常検知を報知する異常検知音(図23では「ブー」と表記)を所定時間(例えば、1秒)出力させる。そして、第1制御部316は、1秒後、検知領域537を示す枠の表示を通常状態の枠の表示に戻す。
そして、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域538について設定された検知遅延時間である「4.0」秒後に、検知領域538で画像判定をする。この判定の結果、異常検知となった場合、図24に示すように、第1制御部316は、検知領域538を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、異常検知を示すために、検知領域538を示す枠を「赤色」かつ太く表示させ、この表示状態を1秒間継続させる。このとき、報知制御部317は、検知領域判定部314により検知領域538において異常検知がされたタイミングで、報知部334に、異常検知を報知する異常検知音(図24では「ブー」と表記)を所定時間(例えば、1秒)出力させる。そして、第1制御部316は、1秒後、検知領域538を示す枠の表示を通常状態の枠の表示に戻す。そして、報知制御部317は、検知領域判定部314によりトリガ生成部313のトリガに伴う検知領域の画像判定がすべて終了したタイミング(すなわち、検知領域538の画像判定が終了したタイミング)で、報知部334に、検知領域の画像判定の終了を示す判定終了音(図24では「ピッ」と表記)を所定時間(例えば、0.2秒)出力させる。この場合、検知領域538の画像判定によって、報知部334により異常検知音と判定終了音が重畳して出力されるが、異なる音(例えば、異なる音階、波形またはメロディの音)にしているので、ユーザは、いずれの音も区別して聞き取ることができる。以上のように、図22〜24では、検知領域535〜538の画像判定のいずれかで異常検知がなされる場合について説明した。
なお、上述では、瞬間検知機能に基づく映像データに対する画像判定動作での、各判定領域(トリガ領域530、検知領域535〜538)の枠の表示動作について説明したが、常時検知機能に基づく画像判定動作での常時検知領域570の枠の表示動作も同様である。例えば、常時検知領域判定部315によって常時実行される画像判定の結果、常時検知領域570において異常検知となった場合、第1制御部316は、常時検知領域570を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、異常検知を示すために、常時検知領域570を示す枠を、「赤色」かつ太く表示させ、この異常検知している間、この表示状態を継続させる。そして、第1制御部316は、常時検知領域570の画像が正常の状態に戻った場合、常時検知領域570を示す枠の表示を通常状態の枠の表示に戻す。なお、報知制御部317は、常時検知領域判定部315により常時検知領域570において異常検知がされた場合、報知部334に、異常検知を報知する異常検知音を出力させるものとしてもよい。
以上のように、第1制御部316は、各判定領域を示す枠を別々の色で表示させ、かつ、判定領域において各検知(トリガの検知、正常検知または異常検知)がなされた場合、それぞれ異なる色および枠の太さで表示して区別できるようにしている。これによって、ユーザは、どの機能の画像判定動作(監視動作)が行われているのか、および、各検知のタイミングを視覚的に把握することができる。さらに、検知領域において異常検知がなされた場合、および、同一のトリガに伴うすべての検知領域の画像判定が終了した場合に、音を出力するものとしている。これによって、ユーザは、聴覚的にも、異常検知および画像判定終了のタイミングを把握することができる。
なお、図16に示すウォッチャ画面400の例の場合、映像表示部401a〜401fの6つの表示領域で監視動作が行われ得るので、各映像表示部401で判定終了音の音階、波形、またはメロディ等を変えることが望ましい。例えば、報知制御部317は、各映像表示部401での判定終了音として、音階である「ドレミファソラ」をそれぞれ割り当てて、報知部334に出力させる。これによって、いずれの映像表示部401での監視動作の判定終了音であるのかを区別することができる。上述の映像表示部401fでの画像判定動作での判定終了音は、この場合「ラ」の音が割り当てられる。
また、各判定領域を示す枠の色等の表示態様、ならびに、判定終了音および異常検知音の種類、メロディまたは音階等は、設定により変更が可能であってもよい。
(ビューワ画面における画像判定再現動作)
図25は、実施の形態に係る情報処理装置の表示領域に表示されるビューワ画面で録画された映像が再生表示される状態の一例を示す図である。図26は、実施の形態に係る情報処理装置の表示領域に表示されるビューワ画面で再生表示される映像に対して画像判定の状態が再現される状態の一例を示す図である。図25および26を参照しながら、ビューワ画面700の構成、および録画された複数の映像が表示される動作について説明する。
CPU101により実行されるプログラム(アプリケーション)により、図25に示すビューワ画面700が表示部333に表示される。ビューワ画面700は、第2再生部318によって、複数の撮像装置2から受信した映像データであって、映像振分部312により記憶部302に記憶された過去の映像データが表示され、指定された各判定領域において画像判定の状態を再現する画面である。
ビューワ画面700は、図26に示すように、映像表示部701a〜701fと、再生ボタン703aと、一時停止ボタン703bと、早送りボタン703cと、早戻しボタン703dと、停止ボタン703eと、シークバー704と、スライダー705と、時刻表示部706と、マーカリストボタン707と、を含む。
映像表示部701a〜701fは、ユーザにより操作される入力部303からの操作信号に従って、映像振分部312に記憶された各撮像装置2の過去の映像データがそれぞれ表示される表示部である。また、ここでは、映像表示部701a〜701fは、同じ日付・時刻の映像データを表示するものとする。また、映像表示部701a〜701fは、ユーザによる入力部303の操作によって押下(例えば、マウス108のクリック操作等、以下同様)されると、選択状態にすることができる。なお、映像表示部701a〜701fを区別なく呼称する場合、または総称する場合、単に「映像表示部701」というものとする。
再生ボタン703aは、ユーザによる入力部303の操作によって押下されると、第2再生部318によって、映像表示部701に表示された映像データが再生開始されるボタンである。一時停止ボタン703bは、ユーザによる入力部303の操作によって押下されると、第2再生部318によって、映像表示部701に再生表示されている映像データが一時停止されるボタンである。早送りボタン703cは、ユーザによる入力部303の操作によって押下されると、第2再生部318によって、映像表示部701に再生表示されている映像データが早送り表示されるボタンである。早戻しボタン703dは、ユーザによる入力部303の操作によって押下されると、第2再生部318によって、映像表示部701に再生表示されている映像データが早戻し表示されるボタンである。停止ボタン703eは、ユーザによる入力部303の操作によって押下されると、第2再生部318によって、映像表示部701に再生表示されている映像データが停止されるボタンである。
シークバー704は、その上に配置されるスライダー705の位置により、映像表示部701に再生表示されている映像データがどの時間のものなのかを示す棒状の形状体である。スライダー705は、映像表示部701に再生表示されている映像データの撮像時刻(表示されているフレームが撮像された時刻)に対応したシークバー704上の位置にスライドする形状体かつ操作部である。逆に、スライダー705は、ユーザによる入力部303の操作によってスライドされると、第2再生部318によって、スライダー705が存在するシークバー704上の位置に対応した撮像時刻の映像データのフレームが映像表示部701に表示される。
時刻表示部706は、第2再生部318によって、映像表示部701に再生表示されている映像データの撮像日付および撮像時刻を表示する表示部である。
マーカリストボタン707は、ユーザによる入力部303の操作によって押下されると、リスト制御部320により記憶部302に記憶されたマーカファイルを読み出し、マーカファイルの内容を表示させる図27で後述するマーカリスト画面800が表示されるボタンである。
ビューワ画面700の映像表示部701で、第2再生部318により記憶部302に記憶された過去の映像データが表示されると、領域表示制御部319は、記憶部302に記憶された、画像判定動作(監視動作)が開始および終了された時刻の情報、各判定領域が指定された時刻の情報、および各判定領域で検知された時刻の情報を読み出す。領域表示制御部319は、図25に示すように、これらの時刻情報に基づいて、各判定領域を示す枠を、映像表示部701に再生表示されている過去の映像データに重畳させて表示させる。例えば、領域表示制御部319は、時刻情報から、画像判定動作が開始された時刻よりも、各判定領域が指定された時刻が前であれば、画像判定動作の開始時刻から、指定された各判定領域を示す枠を表示させる。また、領域表示制御部319は、映像表示部701に再生表示されている映像データの時刻が、時刻情報における画像判定動作の終了時刻になった時点で、表示していた各判定領域を示す枠を消去する。
また、領域表示制御部319は、図26に示すように、映像表示部701に再生表示されている映像データの時刻が、時刻情報における特定の判定領域のトリガの検知時刻または正常検知時刻になった時点で、その判定領域を示す枠を通常状態の色とは異なる色、かつ、通常状態の枠よりも太く表示させる。具体的には、領域表示制御部319は、ウォッチャ画面400において表示される各判定領域を示す枠と同様に、例えば、「青色」かつ太く表示させる。
また、領域表示制御部319は、図26に示すように、映像表示部701に再生表示されている映像データの時刻が、時刻情報における特定の判定領域の異常検知時刻になった時点で、その判定領域を示す枠を通常状態の色とは異なる色、かつ、通常状態の枠よりも太く表示させる。具体的には、領域表示制御部319は、ウォッチャ画面400において表示される各判定領域を示す枠と同様に、例えば、「赤色」かつ太く表示させる。
図26に示すビューワ画面700の例では、映像表示部701aの1つの常時検知領域で異常検知されたことが、枠の表示によって示されている。また、映像表示部701fでは、検知領域536、537に相当する検知領域で、それぞれ、正常検知および異常検知されたことが、枠の表示によって示されている。
以上のように、領域表示制御部319により、記憶部302に記憶された、各時刻情報に基いて、各判定領域の枠の表示状態を制御することによって、ウォッチャ画面400における画像判定動作(監視動作)の状態を、過去の映像データで再現することができる。これによって、ユーザは、リアルタイムの映像ではなく、過去の映像について、どのような画像判定動作が行われていたかを確認することができる。
なお、映像表示部701a〜701fは、同じ日付・時刻の映像データを表示するものとしているが、これに限定されるものではなく、例えば、映像表示部701それぞれにシークバーおよび操作ボタン等を有するものとし、各映像表示部701で異なる日付・時刻の映像データを表示できるものとしてもよい。
また、ビューワ画面700における画像判定動作の再現時においても、時刻情報に基づいて、ウォッチャ画面400の画像判定動作と同様に、判定領域で異常検知されたタイミング、および、瞬間検知機能に基づく特定のトリガ領域に対応する検知領域のすべてで判定が終了したタイミングで、それぞれ異常検知音、および判定終了音を出力するものとしてもよい。
図27は、実施の形態に係る情報処理装置の表示領域に表示されるビューワ画面でマーカリスト画面が表示された状態の一例を示す図である。図27に示すように、リスト制御部320は、ユーザによる入力部303の操作によってマーカリストボタン707が押下されると、記憶部302に記憶されたまマーカファイルを読み出し、マーカファイルの内容を示すマーカリスト画面800を表示させる。図27に示すように、マーカリスト画面800は、検知選択部801と、検知履歴表示部802と、を含む。
検知選択部801は、常時検知機能に基づいて常時検知領域における画像判定において異常検知がされた日付・時刻のリスト、または、瞬間検知機能に基づいてトリガ検知領域においてトリガの検知、および検知領域において異常検知がされた日付・時刻のリストのいずれかの表示を選択するための選択操作部である。
検知履歴表示部802は、検知選択部801で選択された常時検知機能に基づく検知の日付・時刻のリスト、または、瞬間検知機能に基づく検知の日付・時刻のリストの表示部である。図27に示す検知履歴表示部802は、検知選択部801で瞬間検知機能が選択された状態を示しており、瞬間検知機能に基づく検知の日付・時刻のリストを表示している。具体的には、検知履歴表示部802には、瞬間検知機能に基づくトリガ領域および検知領域の領域名、検知された日時・時刻、および対応する撮像装置2を識別する名称が表示されている。
リスト制御部320は、ユーザによる入力部303の操作によって検知履歴表示部802のいずれかの判定領域を示すレコードを押下されると、第2再生部318に、そのレコードが示す日時・時刻の映像データを映像表示部701に表示させる。
このように、図27に示すマーカリスト画面800を表示させることによって、各判定領域での検知の日付・時刻をリスト表示することによって、不具合の発生のタイミング、傾向または異常発生の原因等の特定を容易にすることができる。
(ウォッチャ画面における画像判定動作の全体的な流れ)
図28は、実施の形態に係る情報処理装置の表示装置に表示されるウォッチャ画面での監視動作の例を示すフローチャートである。図28を参照しながら、ウォッチャ画面400での画像判定動作(監視動作)の流れについて総括的に説明する。なお、図28では、瞬間検知機能に基づく画像判定動作を例にして説明する。
<ステップS11>
映像振分部312は、ユーザにより操作される入力部303からの操作信号に従って、映像受信部301から取得したリアルタイムの映像データを、表示部333に表示されるウォッチャ画面400の映像表示部401a〜401fに振り分けて表示させる。また、映像振分部312は、映像表示部401に表示させる各映像データを、記憶部302に記憶(録画)させる。そして、ステップS12へ移行する。
<ステップS12>
ユーザは、入力部303の操作によって、画像判定動作(監視動作)を開始させたい撮像装置2に対応する映像表示部401を押下して選択状態にする。そして、第1制御部316は、ユーザによる入力部303の操作によって、監視開始ボタン411が押下されると、選択状態の映像表示部401に表示される撮像装置2のリアルタイムの映像データについて画像判定動作を開始する。第1制御部316は、映像表示部401について画像判定動作が開始されると、設定画面500で指定された各判定領域を示す枠を、映像表示部401の映像データに重畳させて表示させる。この際、第1制御部316は、通常状態(各判定領域で検知がなされていない状態)の各判定領域を示す枠を別々の色によって表示させる。例えば、第1制御部316は、トリガ領域を示す枠を「白色」で、検知領域を示す枠を「黄色」で、常時検知領域を示す枠を「緑色」で表示させる。また、第1制御部316は、選択状態になっている映像表示部401(以下、単に「映像表示部401」と記載する)に対応する撮像装置2に関連付けて、画像判定動作(監視動作)を開始した時刻の情報(時刻情報)を記憶部302に記憶させる。そして、ステップS13へ移行する。
<ステップS13>
トリガ生成部313は、記憶部302から変化点検出部306により検出された変化点のフレームにおける差分画像を取得する。そして、トリガ生成部313は、映像表示部401で指定されているトリガ領域において、差分画像と、映像データのフレームのトリガ領域の画像とを比較する。トリガ生成部313は、映像データのフレームのトリガ領域の画像が、変化点のフレームにおける差分画像と比較して、画素値が所定の感度以上異なる画素の数の合計である差分が所定の閾値未満となった場合、トリガ信号を生成(出力)(トリガを検知)する(ステップS13:Yes)。そして、トリガ生成部313は、画像判定動作でトリガ信号を生成した時刻の情報(時刻情報)を、画像判定動作を実行している撮像装置2に関連付けて、記憶部302に記憶させる。そして、ステップS14へ移行する。
また、トリガ生成部313は、差分が所定の閾値未満となっていない場合(ステップS13:No)、差分についての判定を継続する。
<ステップS14>
第1制御部316は、トリガ生成部313がトリガを検知した場合、トリガ領域を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、トリガ領域を示す枠を「青色」かつ太く表示させ、この表示状態を1秒間継続させる。そして、第1制御部316は、1秒後、トリガ領域を示す枠の表示を通常状態の枠の表示に戻す。そして、ステップS15へ移行する。
<ステップS15>
トリガ生成部313からトリガ信号を受け取ってから、検知領域について設定された検知遅延時間後となった検知領域がある場合(ステップS15:Yes)、ステップS16へ移行し、そうでない場合(ステップS15:No)、ステップS21へ移行する。
<ステップS16>
検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域について設定された検知遅延時間後に、指定された検知領域において、検知基準画像と、映像データのフレームの検知領域の画像とを比較して異常であるか否かの画像判定をする。具体的には、検知領域判定部314は、トリガ生成部313によりトリガ領域に対応するトリガ信号を受け取った時点から、検知領域に対応する検知遅延時間後の映像データのフレームの検知領域の画像と、検知基準画像とを比較して異常であるか否かの画像判定をする。このとき、画像判定として、検知領域判定部314は、検知基準画像と、検知領域の画像との比較で、画素値が検知領域の属性情報の感度以上異なる画素の数の合計である差分が、当該属性情報の閾値以上となった場合に、検知領域の画像判定は異常と判定する。そして、検知領域判定部314は、画像判定動作で正常検知または異常検知をした検知時刻の情報(時刻情報)を、画像判定動作を実行している撮像装置2に関連付けて、記憶部302に記憶させる。そして、ステップS17へ移行する。
<ステップS17>
検知領域判定部314による画像判定の結果、異常検知となった場合(ステップS17:Yes)、ステップS18へ移行し、正常検知となった場合(ステップS17:No)、ステップS20へ移行する。
<ステップS18>
検知領域判定部314は、画像判定で異常を検知した場合、異常検知時刻の情報(時刻情報)を、画像判定動作を実行している撮像装置2に関連付けて、記憶部302に記憶させる。また、検知領域において異常検知となった場合、第1制御部316は、検知領域を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、異常検知を示すために、検知領域を示す枠を、「赤色」かつ太く表示させ、この表示状態を1秒間継続させる。このとき、報知制御部317は、検知領域判定部314により検知領域において異常検知がされたタイミングで、報知部334に、異常検知を報知する異常検知音を所定時間(例えば、1秒)出力させる。そして、第1制御部316は、1秒後、検知領域を示す枠の表示を通常状態の枠の表示に戻す。そして、ステップS19へ移行する。
<ステップS19>
外部出力部332は、検知領域判定部314により異常の判定がなされた場合、異常信号を外部機器10に出力する。そして、ステップS15へ戻る。
<ステップS20>
検知領域判定部314は、画像判定動作で正常検知をした場合、正常検知時刻の情報(時刻情報)を、画像判定動作を実行している撮像装置2に関連付けて、記憶部302に記憶させる。また、検知領域において正常検知となった場合、第1制御部316は、検知領域を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、正常検知を示すために、検知領域を示す枠を「青色」かつ太く表示させ、この表示状態を1秒間継続させる。そして、第1制御部316は、1秒後、検知領域を示す枠の表示を通常状態の枠の表示に戻す。そして、ステップS15へ戻る。
<ステップS21>
トリガ生成部313のトリガに伴う検知領域が残っている場合(ステップS21:Yes)、ステップS15へ戻り、そうでない場合(ステップS21:No)、ステップS22へ移行する。
<ステップS22>
報知制御部317は、検知領域判定部314によりトリガ生成部313のトリガに伴う検知領域の画像判定がすべて終了したタイミングで、報知部334に、検知領域の画像判定の終了を示す判定終了音を所定時間(例えば、0.2秒)出力させる。
以上のように、瞬間検知機能に基づく画像判定動作は、上述のステップS13〜S22が繰り返されることによって実行される。
(ビューワ画面における画像判定動作の全体的な流れ)
図29は、実施の形態に係る情報処理装置の表示装置に表示されるビューワ画面で再生表示される映像に対して画像判定の状態が再現される動作の例を示すフローチャートである。図29を参照しながら、ビューワ画面700で画像判定の状態を再現する動作の流れについて総括的に説明する。
<ステップS31>
ユーザは、入力部303の操作によって、所望する再生時間(時刻)を設定する。そして、ステップS32へ移行する。
<ステップS32>
第2再生部318は、ユーザにより操作される入力部303からの操作信号に従って、設定された再生時間(時刻)からの過去の映像データを記憶部302から取得する。この場合、映像データが取得できた場合(すなわち、再生する映像データの次のフレームがある場合)(ステップS32:Yes)、ステップS33へ移行し、取得できない場合(すなわち、再生する映像データの次のフレームがない場合)(ステップS32:No)、画像判定の状態を再現する動作を終了する。
<ステップS33>
第2再生部318は、記憶部302から取得した過去の映像データを表示部333に表示されるビューワ画面700の映像表示部701a〜701fに、対応する映像データを振り分けて再生表示させる。このとき、第2再生部318は、ユーザにより操作される入力部303からの操作信号に従って、ユーザの所望する再生時間(時刻)のフレームから映像データを再生表示させる。そして、ステップS34へ移行する。
<ステップS34>
映像表示部701で、第2再生部318により記憶部302に記憶された過去の映像データが表示されると、領域表示制御部319は、記憶部302に記憶された、画像判定動作(監視動作)が開始および終了された時刻の情報、各判定領域が指定された時刻の情報、および各判定領域で検知された時刻の情報を読み出す。領域表示制御部319は、これらの時刻情報に基づいて、各判定領域を示す枠を、映像表示部701に再生表示されている過去の映像データに重畳させて表示させる。例えば、領域表示制御部319は、時刻情報から、画像判定動作が開始された時刻よりも、各判定領域が指定された時刻が前であれば、画像判定動作の開始時刻から、指定された各判定領域を示す枠を表示させる。そして、ステップS35へ移行する。
<ステップS35>
映像表示部701に再生表示されている映像データの時刻が、時刻情報における特定の判定領域の検知時刻になった場合(ステップS35:Yes)、ステップS36へ移行し、検知時刻になっていない場合(ステップS35:No)、引き続き検知時刻になったか確認する。
<ステップS36>
領域表示制御部319は、映像表示部701に再生表示されている映像データの時刻が、時刻情報における特定の判定領域の検知時刻になった時点で、その判定領域を示す枠を通常状態の色とは異なる色、かつ、通常状態の枠よりも太く表示させる。そして、ステップS32へ戻る。
以上のように、画像判定の状態を再現する動作は、上述のステップS32〜S36が繰り返されることによって実行される。
以上のように、表示部333の表示領域(映像表示部401、映像表示部701)に複数の種類の判定領域(上述の実施の形態ではトリガ領域、検知領域または常時検知領域のいずれか)を示す枠を、映像データに重畳して表示するものとしている。これによって、ユーザは、各判定領域で検知(トリガ検知、正常検知および異常検知等)がされたタイミング、およびその検知の内容を把握することができるので、複数の種類の判定動作の状態を同時に把握することができる。
また、表示部333の表示領域に表示された複数の種類の判定領域のうち、少なくともいずれかは異なる色の枠で表示するものとしている。これによって、どの判定領域がどの判定機能(瞬間検知機能および常時検知機能)に基づくものであるのかを視覚的に把握することができる。
また、表示部333の表示領域に表示された複数の種類の判定領域を示す枠は、検知されたタイミングで、通常状態の表示態様とは異なる態様で表示するものとしている。これによって、どの判定領域でどのような検知が行われたのかを視覚的に把握することができる。
また、表示部333の映像表示部401で表示されたリアルタイムの映像データに対して、上述のような画像判定動作の各判定領域での動作の状態を示すことができる。これによって、ユーザは、リアルタイムに各判定領域における動作の状態を把握することができる。
また、リアルタイムの映像データの画像判定動作で、画像判定動作(監視動作)が開始および終了された時刻の情報、各判定領域が指定された時刻の情報、および各判定領域で検知された時刻の情報の各時刻情報を記憶するものとしている。これによって、録画した過去の映像データに対して、時刻情報に基づいて、画像判定動作の状態を再現して示すことができる。よって、ユーザは、再現された画像判定動作を確認することによって、不具合の発生のタイミング、傾向または異常発生の原因等の特定を容易にすることができる。
また、上述の時刻情報に基づくマーカファイルを表示し、各判定領域における検知時刻を時系列に表示するものとしている。これによって、各判定領域での検知の日付・時刻を時系列に確認することができ、不具合の発生のタイミング、傾向または異常発生の原因等の特定を容易にすることができる。
また、複数の表示領域に、それぞれ複数の撮像装置2のリアルタイムの映像データまたは過去の映像データについて画像判定の状態を表示するものとしている。これによって、各撮像装置2で撮像された映像データに対する画像判定の状態を同時に確認することができる。
また、判定領域で異常検知されたタイミング、および、瞬間検知機能に基づく特定のトリガ領域に対応する検知領域のすべてで判定が終了したタイミングで、それぞれ異常検知音、および判定終了音を出力するものとしている。これによって、異常が発生したタイミング、および、検知が終了したタイミングを聴覚的に認識することができる。
なお、本実施の形態においては、判定領域として、瞬間検知機能に基づくトリガ領域および検知領域、ならびに常時検知機能に基づく常時検知領域を例にして説明したが、判定領域としてこれらに限定されるものではない。例えば、生産工程における一連の作業が順序通りに実施されているかを検知する機能の基づく判定領域、または、生産物またはバーコード等に記載された文字を検知するためのOCR(Optical Character Recognition)機能に基づく判定領域による画像判定動作が実行できるものとしてもよい。
また、上述のように、ウォッチャ画面400ではリアルタイムの映像データの表示、および、ビューワ画面700では過去の映像データの表示というように画面を分けて表示するものとしているが、これに限定されるものではない。すなわち、ウォッチャ画面400およびビューワ画面700の機能を共通の画面で実現させるものとしてもよい。
また、各表示領域(映像表示部401、701)において、各判定領域を示す表示要素として枠を用いるものとしているが、これに限定されるものではなく、各判定領域を示すことができる表示要素であればどのように表示してもよい。
また、トリガ生成部313により生成されたトリガ信号は、上述の実施の形態では検知領域判定部314による画像判定のタイミングの基準として用いられているが、これに限定されるものではない。例えば、トリガ信号は、生産設備側で所定の処理を行わせるタイミングの基準に用いられるようにしてもよく、その場合には、トリガ信号が生成された時点でトリガ信号を生産設備に送信するようにしてもよい。
(変形例)
図30は、実施の形態の変形例に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作でトリガが発生する前の状態の一例を示す図である。図31は、実施の形態の変形例に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作でトリガが発生した状態の一例を示す図である。図32〜37は、実施の形態の変形例に係る情報処理装置の表示領域に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。図30〜37を参照しながら、ウォッチャ画面400における映像表示部401fを例にして、本変形例での瞬間検知機能に基づく映像データに対する画像判定動作(監視動作)の詳細について説明する。本変形例では、トリガ領域に関連付けられた1以上の検知領域について、トリガ生成部313がトリガを検知した場合、トリガ領域に関連付けられたすべての検知領域での画像判定が全て終了するまで、すべての検知領域を示す枠を、画像判定の結果を示す表示状態に継続させる動作について説明する。また、検知領域535〜538の属性情報のうち、検知遅延時間がそれぞれ「1.0」秒、「2.2」秒、「2.5」秒、「4.0」秒に設定されているものとして説明する。
まず、第1制御部316は、映像表示部401fについて画像判定動作が開始されると、設定画面500で指定された各判定領域を示す枠を、映像表示部401fの映像データに重畳させて表示させる。具体的には、図30に示すように、映像表示部401fには、トリガ領域530、検知領域535〜538、および常時検知領域570が表示される。この際、第1制御部316は、通常状態(各判定領域で検知がなされていない状態)の各判定領域を示す枠(表示要素の一例)を別々の色によって表示させる。例えば、第1制御部316は、トリガ領域530を示す枠を「白色」で、検知領域535〜538を示す枠を「黄色」で、常時検知領域570を示す枠を「緑色」で表示させる。
次に、図31に示すように、第1制御部316は、トリガ生成部313がトリガを検知した場合、トリガ領域530を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、トリガ領域530を示す枠を「青色」かつ太く表示させ、この表示状態を1秒間継続させる。そして、第1制御部316は、1秒後、トリガ領域530を示す枠の表示を通常状態の枠の表示に戻す。
次に、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域535について設定された検知遅延時間である「1.0」秒後に、検知領域535で画像判定をする。この判定の結果、正常検知となった場合、図32に示すように、第1制御部316は、検知領域535を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、正常検知を示すために、検知領域535を示す枠を「青色」かつ太く表示させ、この表示状態を継続させる。
次に、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域536について設定された検知遅延時間である「2.2」秒後に、検知領域536で画像判定をする。さらに、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域537について設定された検知遅延時間である「2.5」秒後に、検知領域537で画像判定をする。この判定の結果、それぞれ正常検知となった場合、図33に示すように、第1制御部316は、検知領域536、537を示すそれぞれの枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、正常検知を示すために、検知領域536、537を示す枠を、それぞれ「青色」かつ太く表示させ、この表示状態を継続させる。この時点で、図33に示すように、検知領域535〜537は、いずれも正常検知の表示状態(「青色」かつ太く表示された状態)となっている。
そして、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域538について設定された検知遅延時間である「4.0」秒後に、検知領域538で画像判定をする。この判定の結果、正常検知となった場合、図34に示すように、第1制御部316は、検知領域538を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、正常検知を示すために、検知領域538を示す枠を「青色」かつ太く表示させる。この時点で、図34に示すように、検知領域535〜538は、いずれも正常検知の表示状態(「青色」かつ太く表示された状態)となっている。
そして、第1制御部316は、トリガ領域530に関連付けられた検知領域535〜538のうち、最後のタイミングで画像判定される検知領域538での画像判定が終了した後、検知領域535〜538の正常検知の表示状態を所定時間(例えば、1秒間)継続させる。そして、第1制御部316は、所定時間後、検知領域535〜538を示す枠の表示を、それぞれ通常状態の枠の表示に戻す。
また、報知制御部317は、検知領域判定部314によりトリガ生成部313のトリガに伴う検知領域の画像判定がすべて終了したタイミング(すなわち、検知領域538の画像判定が終了したタイミング)で、報知部334に、検知領域の画像判定の終了を示す判定終了音(図34では「ピッ」と表記)を所定時間(例えば、0.2秒)出力させる。以上のように、図32〜34では、検知領域535〜538の画像判定ですべて正常検知された場合について説明した。次に、検知領域535〜538のいずれかで異常検知がなされた場合について説明する。
図31で示したように、トリガ生成部313がトリガを検知してから、再びトリガ検知をした後の動作について説明する。検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域535について設定された検知遅延時間である「1.0」秒後に、検知領域535で画像判定をする。この判定の結果、正常検知となった場合、図35に示すように、第1制御部316は、検知領域535を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、正常検知を示すために、検知領域535を示す枠を「青色」かつ太く表示させ、この表示状態を継続させる。
次に、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域536について設定された検知遅延時間である「2.2」秒後に、検知領域536で画像判定をする。さらに、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域537について設定された検知遅延時間である「2.5」秒後に、検知領域537で画像判定をする。この判定の結果、検知領域536において正常検知となった場合、図36に示すように、第1制御部316は、検知領域536を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、正常検知を示すために、検知領域536を示す枠を、「青色」かつ太く表示させ、この表示状態を継続させる。また、上述の判定の結果、検知領域537において異常検知となった場合、図36に示すように、第1制御部316は、検知領域537を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、異常検知を示すために、検知領域537を示す枠を、「赤色」かつ太く表示させ、この表示状態を継続させる。このとき、報知制御部317は、検知領域判定部314により検知領域537において異常検知がされたタイミングで、報知部334に、異常検知を報知する異常検知音(図36では「ブー」と表記)を所定時間(例えば、1秒)出力させる。この時点で、図36に示すように、検知領域535、536は、いずれも正常検知の表示状態(「青色」かつ太く表示された状態)となっており、検知領域537は、異常検知の表示状態(「赤色」かつ太く表示された状態)となっている。
そして、検知領域判定部314は、トリガ生成部313からトリガ信号を受け取ってから、検知領域538について設定された検知遅延時間である「4.0」秒後に、検知領域538で画像判定をする。この判定の結果、異常検知となった場合、図37に示すように、第1制御部316は、検知領域538を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第1制御部316は、異常検知を示すために、検知領域538を示す枠を「赤色」かつ太く表示させる。このとき、報知制御部317は、検知領域判定部314により検知領域538において異常検知がされたタイミングで、報知部334に、異常検知を報知する異常検知音(図37では「ブー」と表記)を所定時間(例えば、1秒)出力させる。この時点で、図37に示すように、検知領域535、536は、いずれも正常検知の表示状態(「青色」かつ太く表示された状態)となっており、検知領域537、538は、いずれも異常検知の表示状態(「赤色」かつ太く表示された状態)となっている。
そして、第1制御部316は、トリガ領域530に関連付けられた検知領域535〜538のうち、最後のタイミングで画像判定される検知領域538での画像判定が終了した後、検知領域535、536の正常検知の表示状態を所定時間(例えば、1秒間)継続させ、検知領域537、538の異常検知の表示状態を所定時間(例えば、1秒間)継続させる。そして、第1制御部316は、所定時間後、検知領域535〜538を示す枠の表示を、それぞれ通常状態の枠の表示に戻す。
また、報知制御部317は、検知領域判定部314によりトリガ生成部313のトリガに伴う検知領域の画像判定がすべて終了したタイミング(すなわち、検知領域538の画像判定が終了したタイミング)で、報知部334に、検知領域の画像判定の終了を示す判定終了音(図37では「ピッ」と表記)を所定時間(例えば、0.2秒)出力させる。この場合、検知領域538の画像判定によって、報知部334により異常検知音と判定終了音が重畳して出力されるが、異なる音(例えば、異なる音階、波形またはメロディの音)にしているので、ユーザは、いずれの音も区別して聞き取ることができる。以上のように、図35〜37では、検知領域535〜538の画像判定のいずれかで異常検知がなされる場合について説明した。
上述の変形例のように、第1制御部316は、瞬間検知機能に基づく画像判定動作において、トリガ生成部313のトリガに伴う検知領域の画像判定がすべて終了するまで、各検知領域の判定結果を示す表示状態を継続するものとしている。これによって、ユーザは、トリガ生成部313のトリガに伴うすべての検知領域での画像判定の結果を一目で把握することができるので、利便性を向上させることができる。
また、本実施の形態の第1再生部304、トリガ領域指定部305、変化点検出部306、検知領域指定部307、設定部308、常時検知領域指定部309、映像振分部312、トリガ生成部313、検知領域判定部314、常時検知領域判定部315、第1制御部316、報知制御部317、第2再生部318、領域表示制御部319、リスト制御部320、第2制御部321および表示制御部331の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ROM等に予め組み込まれて提供される。また、本実施の形態の情報処理装置3で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、本実施の形態の情報処理装置3で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態の情報処理装置3で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。本実施の形態の情報処理装置3で実行されるプログラムは、上述した各機能部の少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはCPUが上述のROMからプログラムを読み出して実行することにより、上述の各部が主記憶装置上にロードされて生成されるようになっている。
1 画像処理システム
2、2a〜2f 撮像装置
3 情報処理装置
4 ネットワーク
10 外部機器
101 CPU
102 ROM
103 RAM
104 外部記憶装置
105 ディスプレイ
106 ネットワークI/F
107 キーボード
108 マウス
109 DVDドライブ
110 DVD
111 外部機器I/F
112 スピーカ
113 バス
301 映像受信部
302 記憶部
303 入力部
304 第1再生部
305 トリガ領域指定部
306 変化点検出部
307 検知領域指定部
308 設定部
309 常時検知領域指定部
312 映像振分部
313 トリガ生成部
314 検知領域判定部
315 常時検知領域判定部
316 第1制御部
317 報知制御部
318 第2再生部
319 領域表示制御部
320 リスト制御部
321 第2制御部
331 表示制御部
332 外部出力部
333 表示部
334 報知部
400 ウォッチャ画面
401、401a〜401f 映像表示部
411 監視開始ボタン
412 監視停止ボタン
413 監視設定ボタン
421、421a〜421f 状態表示部
500 設定画面
501 カメラ選択タブ
502 設定用映像表示部
503a 再生ボタン
503b 一時停止ボタン
503c 早送りボタン
503d 早戻しボタン
503e 停止ボタン
504 シークバー
505 スライダー
506 時刻表示部
507 トリガ領域情報部
508a 基準画像表示部
508b 差分画像表示部
509 検知領域情報部
510 検知領域ボタン群
510a アクションボタン
510b 画像判定選択ボタン
510c 削除ボタン
510e 感度増加ボタン
510f 感度減少ボタン
510g 閾値増加ボタン
510h 閾値減少ボタン
511 設定読出ボタン
512 設定書込ボタン
513 設定反映ボタン
514 閉じるボタン
530 トリガ領域
535〜538 検知領域
540 トリガマーク
551 領域選択タブ
561 常時検知領域情報部
562 常時検知領域ボタン群
562a アクションボタン
562c 削除ボタン
562e 感度増加ボタン
562f 感度減少ボタン
562g 閾値増加ボタン
562h 閾値減少ボタン
570 常時検知領域
600 変化点選択ダイアログ
601 はいボタン
602 いいえボタン
603 閉じるボタン
610 変化点無し通知ダイアログ
611 OKボタン
612 閉じるボタン
700 ビューワ画面
701、701a〜701f 映像表示部
703a 再生ボタン
703b 一時停止ボタン
703c 早送りボタン
703d 早戻しボタン
703e 停止ボタン
704 シークバー
705 スライダー
706 時刻表示部
707 マーカリストボタン
800 マーカリスト画面
801 検知選択部
802 検知履歴表示部
特開2006−78381号公報

Claims (14)

  1. 表示手段と、
    前記表示手段によって表示される所定の表示領域に、撮像手段で撮像された映像データを表示させる映像表示制御手段と、
    前記映像データに対する複数の種類の判定機能に基づく判定領域を示す複数の表示要素を、それぞれ異なる態様で前記映像データに重畳させて前記表示領域に表示させる領域表示制御手段と、
    を備えた画像処理装置。
  2. 前記領域表示制御手段は、前記各判定領域の表示要素のうち少なくともいずれかを、それぞれ異なる色の該判定領域を囲う枠として表示させる請求項1に記載の画像処理装置。
  3. 前記領域表示制御手段は、前記各判定領域の表示要素のうち少なくともいずれかについて、該判定領域で所定の状態が検知された場合の前記表示要素の態様を、該判定領域で前記所定の状態が検知されていない場合の該表示要素の態様と変えて表示させる請求項1または2に記載の画像処理装置。
  4. 前記映像表示制御手段は、前記撮像手段で撮像されたリアルタイムの前記映像データを前記表示領域に表示させる請求項1〜3のいずれか一項に記載の画像処理装置。
  5. 前記撮像手段により撮像された前記映像データを記憶する記憶手段と、
    前記各判定領域が指定された日時の情報、および、前記各判定領域で前記所定の状態が検知された日時の情報を前記記憶手段に記憶させる時刻情報管理手段と、
    を、さらに備え、
    前記映像表示制御手段は、前記記憶手段に記憶された前記映像データを前記表示領域に再生表示させ、
    前記領域表示制御手段は、前記記憶手段に記憶された前記日時の情報に従って、前記各判定領域を示す前記表示要素を前記表示領域に表示させる請求項1〜3のいずれか一項に記載の画像処理装置。
  6. 前記記憶手段に記憶された前記日時の情報に基づいて、前記各判定領域で検知された前記所定の状態のうち少なくともいずれかの検知日時をリストで表示するリスト制御手段を、さらに備えた請求項5に記載の画像処理装置。
  7. 前記映像表示制御手段は、複数の前記撮像手段で撮像された前記映像データを前記表示領域に表示させる請求項1〜6のいずれか一項に記載の画像処理装置。
  8. 前記領域表示制御手段は、前記判定領域として、第1基準画像との比較結果に基づいてトリガを生成するためのトリガ領域の表示要素、および前記トリガのタイミングを基準にして所定時間前または所定時間後に1以上の第2基準画像とそれぞれ比較して異常であるか否かを画像判定するための1以上の検知領域の表示要素を、それぞれ前記表示領域に表示させる請求項1〜7のいずれか一項に記載の画像処理装置。
  9. 前記領域表示制御手段は、前記トリガ領域に関連付けられた前記1以上の検知領域での画像判定が少なくともすべて終了するまで、前記1以上の検知領域でのそれぞれの画像判定の判定結果を示す各表示要素の表示を継続させる請求項8に記載の画像処理装置。
  10. 前記トリガ領域に関連付けられた前記検知領域のうち最後の検知領域での画像判定が終了したときに判定終了を示す音を出力する報知手段を、さらに備えた請求項8または9に記載の画像処理装置。
  11. 前記検知領域で異常が検知されたときに異常の発生を示す音を出力する報知手段を、さらに備えた請求項8または9に記載の画像処理装置。
  12. 請求項1〜11のいずれか一項に記載の画像処理装置と、
    1以上の前記撮像手段と、
    を備えた画像処理システム。
  13. 表示手段によって表示される所定の表示領域に、撮像手段で撮像された映像データを表示させる映像表示ステップと、
    前記映像データに対する複数の種類の判定機能に基づく判定領域を示す複数の表示要素を、それぞれ異なる態様で前記映像データに重畳させて前記表示領域に表示させる領域表示ステップと、
    を有する画像処理方法。
  14. コンピュータに
    表示手段によって表示される所定の表示領域に、撮像手段で撮像された映像データを表示させる映像表示処理と、
    前記映像データに対する複数の種類の判定機能に基づく判定領域を示す複数の表示要素を、それぞれ異なる態様で前記映像データに重畳させて前記表示領域に表示させる領域表示処理と、
    を実行させるためのプログラム。
JP2019183272A 2015-02-05 2019-10-03 画像処理装置、画像処理システム、画像処理方法およびプログラム Active JP6816802B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015021637 2015-02-05
JP2015021637 2015-02-05
JP2015209977 2015-10-26
JP2015209977 2015-10-26

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016573210A Division JP6597643B2 (ja) 2015-02-05 2015-12-25 画像処理装置、画像処理システム、画像処理方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2020010400A true JP2020010400A (ja) 2020-01-16
JP2020010400A5 JP2020010400A5 (ja) 2020-06-11
JP6816802B2 JP6816802B2 (ja) 2021-01-20

Family

ID=56563777

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016573210A Active JP6597643B2 (ja) 2015-02-05 2015-12-25 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP2019183272A Active JP6816802B2 (ja) 2015-02-05 2019-10-03 画像処理装置、画像処理システム、画像処理方法およびプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016573210A Active JP6597643B2 (ja) 2015-02-05 2015-12-25 画像処理装置、画像処理システム、画像処理方法およびプログラム

Country Status (5)

Country Link
US (1) US10873719B2 (ja)
EP (1) EP3255884A4 (ja)
JP (2) JP6597643B2 (ja)
CN (1) CN107211112B (ja)
WO (1) WO2016125420A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016125420A1 (ja) 2015-02-05 2016-08-11 株式会社リコー 画像処理装置、画像処理システム、画像処理方法およびプログラム
KR102617992B1 (ko) * 2016-12-27 2023-12-26 한화비전 주식회사 예측 진단 장치 및 감시 시스템
US10467774B2 (en) * 2017-11-06 2019-11-05 Qualcomm Incorporated Memory address flipping to determine data content integrity in GPU sub-system
TWI658443B (zh) * 2017-11-28 2019-05-01 宏碁股份有限公司 數位看板系統
CN109994061A (zh) * 2017-12-29 2019-07-09 宏碁股份有限公司 数字广告牌系统
JP6545342B1 (ja) * 2018-10-15 2019-07-17 株式会社フォトロン 異常検知装置及び異常検知プログラム
US11223802B2 (en) * 2019-07-31 2022-01-11 Ricoh Company, Ltd. Image-based determination apparatus and image-based determination system
CN111405201B (zh) * 2020-04-13 2022-08-19 北京小鸟科技股份有限公司 多时间处理及显示系统、处理装置、显示设备
CN112637586A (zh) * 2020-12-15 2021-04-09 北京百度网讯科技有限公司 异常视频构造方法、检测方法、装置、设备、介质及产品
JP7480072B2 (ja) 2021-01-20 2024-05-09 株式会社東芝 情報処理装置、情報処理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008016898A (ja) * 2006-06-30 2008-01-24 Sony Corp 監視装置、監視システム及びフィルタ設定方法
JP2013253913A (ja) * 2012-06-08 2013-12-19 Fuji Mach Mfg Co Ltd 検査装置
JP5506989B1 (ja) * 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS556989B1 (ja) 1969-07-25 1980-02-21
JP4336506B2 (ja) * 2003-02-17 2009-09-30 キヤノン株式会社 変化検知表示システム、その表示処理方法、そのプログラム、記憶媒体
US20050104958A1 (en) * 2003-11-13 2005-05-19 Geoffrey Egnal Active camera video-based surveillance systems and methods
JP2006078381A (ja) 2004-09-10 2006-03-23 Keyence Corp 画像処理装置のディスプレイ表示方法。
JP4702598B2 (ja) * 2005-03-15 2011-06-15 オムロン株式会社 監視システム、監視装置および方法、記録媒体、並びにプログラム
WO2007119355A1 (ja) * 2006-03-15 2007-10-25 Omron Corporation 追尾装置、追尾方法、追尾装置の制御プログラム、およびコンピュータ読み取り可能な記録媒体
JP5980555B2 (ja) * 2012-04-23 2016-08-31 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
US8781293B2 (en) * 2012-08-20 2014-07-15 Gorilla Technology Inc. Correction method for object linking across video sequences in a multiple camera video surveillance system
US9197861B2 (en) * 2012-11-15 2015-11-24 Avo Usa Holding 2 Corporation Multi-dimensional virtual beam detection for video analytics
JP6114550B2 (ja) 2012-12-21 2017-04-12 日本放送協会 監視装置、監視方法及びプログラム
US9042674B2 (en) * 2013-03-15 2015-05-26 Digitalglobe, Inc. Automated geospatial image mosaic generation
JP6406246B2 (ja) * 2013-03-29 2018-10-17 日本電気株式会社 対象物特定装置、対象物特定方法および対象物特定プログラム
JP6474107B2 (ja) * 2013-06-28 2019-02-27 日本電気株式会社 映像監視システム、映像処理装置、映像処理方法および映像処理プログラム
JP5438861B1 (ja) 2013-07-11 2014-03-12 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP6459256B2 (ja) 2014-07-07 2019-01-30 株式会社リコー 画像記憶再生制御装置、画像記憶再生制御方法、画像記憶再生制御システム、及びプログラム
JP2016039496A (ja) 2014-08-07 2016-03-22 株式会社リコー 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP6554825B2 (ja) 2014-08-25 2019-08-07 株式会社リコー 画像処理装置、画像処理システム、画像処理方法およびプログラム
US9009805B1 (en) * 2014-09-30 2015-04-14 Google Inc. Method and system for provisioning an electronic device
WO2016125420A1 (ja) 2015-02-05 2016-08-11 株式会社リコー 画像処理装置、画像処理システム、画像処理方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008016898A (ja) * 2006-06-30 2008-01-24 Sony Corp 監視装置、監視システム及びフィルタ設定方法
JP2013253913A (ja) * 2012-06-08 2013-12-19 Fuji Mach Mfg Co Ltd 検査装置
JP5506989B1 (ja) * 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法

Also Published As

Publication number Publication date
WO2016125420A1 (ja) 2016-08-11
EP3255884A4 (en) 2018-05-30
US20170359546A1 (en) 2017-12-14
JP6597643B2 (ja) 2019-10-30
US10873719B2 (en) 2020-12-22
JP6816802B2 (ja) 2021-01-20
CN107211112B (zh) 2020-05-12
JPWO2016125420A1 (ja) 2017-08-31
CN107211112A (zh) 2017-09-26
EP3255884A1 (en) 2017-12-13

Similar Documents

Publication Publication Date Title
JP6816802B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP6390720B2 (ja) 画像処理装置、画像処理システムおよび画像処理方法
JP6733785B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
KR102242225B1 (ko) 인터랙티브 비디오 컨텐츠의 렌더링 검출 및 이에 대한 응답
CN111095939B (zh) 识别媒体项目的先前流传输部分以避免重复重放
KR100883066B1 (ko) 텍스트를 이용한 피사체 이동 경로 표시장치 및 방법
JP6756338B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
US20130077876A1 (en) Apparatus and method for identifying a still image contained in moving image contents
US20200204867A1 (en) Systems and methods for displaying subjects of a video portion of content
JP2018084443A (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
JP2021027579A (ja) 画像判定装置および画像判定システム
JP6828377B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP2016039496A (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP4454704B2 (ja) 画像処理装置
US11223802B2 (en) Image-based determination apparatus and image-based determination system
KR20130104027A (ko) 영상 재생 방법 및 장치
JP2022000970A (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
US20200204856A1 (en) Systems and methods for displaying subjects of an audio portion of content
JP3941808B2 (ja) 動画像の変化点検出方法及び装置
JPWO2007105560A1 (ja) 情報処理装置、情報処理方法及び情報処理用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201207

R151 Written notification of patent or utility model registration

Ref document number: 6816802

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151