以下に、図面を参照しながら本発明に係る画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラムの実施の形態を詳細に説明する。以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には当業者が容易に想到できるもの、実質的に同一のもの、及びいわゆる均等の範囲のものが含まれる。以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更、及び組み合わせを行うことができる。
Hereinafter, embodiments of an image processing apparatus, an image processing system, an image processing method, and an image processing program according to the present invention will be described in detail with reference to the drawings. The present invention is not limited by the following embodiments, and constituent elements in the following embodiments include those that can be easily conceived by those skilled in the art, those that are substantially the same, and those in the so-called equivalent range. included. Various omissions, substitutions, changes, and combinations of the components can be made without departing from the scope of the following embodiments.
（第１の実施の形態）
図１は、第１の実施の形態に係る画像処理システム１のハードウェア構成の例を示す図である。画像処理システム１は撮像装置２（撮像部）、情報処理装置３（画像処理装置）、及びネットワーク４を含む。
(First embodiment)
FIG. 1 is a diagram illustrating an example of a hardware configuration of an image processing system 1 according to the first embodiment. The image processing system 1 includes an imaging device 2 (imaging unit), an information processing device 3 (image processing device), and a network 4.
撮像装置２は被写体から照射（反射）された光を電気信号に変換することにより被写体を撮像し、複数のフレーム（静止画像データ）で構成される動画（例えば１０［ＦＰＳ］）の映像データを生成するビデオカメラである。例えば、撮像装置２は複数の製品を生産する生産設備、生産ライン等を撮像し、製造物であるワーク１１（検体）に対する異常を検知する正否判定を実行するための映像データを生成する。なお、本例においては１台の撮像装置２が示されているが、撮像装置２の数は複数であってもよい。
The imaging device 2 captures a subject by converting light emitted (reflected) from the subject into an electrical signal, and generates video data (for example, 10 [FPS]) composed of a plurality of frames (still image data). It is a video camera to generate. For example, the imaging device 2 images production equipment, production lines, and the like that produce a plurality of products, and generates video data for executing correct / incorrect determination to detect an abnormality with respect to the workpiece 11 (specimen) that is a product. In this example, one imaging device 2 is shown, but the number of imaging devices 2 may be plural.
情報処理装置３は撮像装置２によって生成された映像データに基づいてワーク１１の正否判定を実行する装置として機能するＰＣ（Personal Computer）、ワークステーション等である。情報処理装置３は生産設備等を構成する外部機器と、例えばフィールドバス規格による通信が可能となるように接続していてもよい。
The information processing device 3 is a PC (Personal Computer), a workstation, or the like that functions as a device that determines whether the workpiece 11 is correct based on video data generated by the imaging device 2. The information processing apparatus 3 may be connected to an external device constituting a production facility or the like so that communication according to, for example, a fieldbus standard is possible.
ネットワーク４は撮像装置２と情報処理装置３とを接続するための、例えばＥｔｈｅｒｎｅｔ（登録商標）規格のネットワークである。この場合、ネットワーク４ではＴＣＰ（Transmission Control Protocol）／ＩＰ（Internet Protocol）等のプロトコルによりデータ通信が行われる。この場合、撮像装置２及び情報処理装置３はＴＣＰ／ＩＰのプロトコルにより通信するためのＭＡＣ（Media Access Control）アドレスを有し、且つプライベートＩＰアドレス等のＩＰアドレスが割り当てられる。ネットワーク４の具体的構成の一例として、例えば複数のポートを有するスイッチングハブに撮像装置２及び情報処理装置３それぞれがＬＡＮ（Local Area Network）ケーブルによって接続されたスター配線形式が挙げられる。なお、ネットワーク４はＴＣＰ／ＩＰによるものに限定されるものではなく、例えば情報処理装置３側にＶＧＡ（Video Graphics Array）端子又はＵＳＢ（Universal Serial Bus）ポートを複数有し、複数の撮像装置２がＶＧＡケーブル又はＵＳＢケーブルで情報処理装置３に接続された形態等であってもよい。
The network 4 is, for example, an Ethernet (registered trademark) standard network for connecting the imaging device 2 and the information processing device 3. In this case, data communication is performed in the network 4 using a protocol such as TCP (Transmission Control Protocol) / IP (Internet Protocol). In this case, the imaging device 2 and the information processing device 3 have a MAC (Media Access Control) address for communication using the TCP / IP protocol, and an IP address such as a private IP address is assigned. As an example of a specific configuration of the network 4, for example, a star wiring format in which the imaging device 2 and the information processing device 3 are connected to a switching hub having a plurality of ports by LAN (Local Area Network) cables. The network 4 is not limited to the TCP / IP network. For example, the information processing apparatus 3 has a plurality of VGA (Video Graphics Array) terminals or USB (Universal Serial Bus) ports, and a plurality of imaging apparatuses 2. May be connected to the information processing apparatus 3 with a VGA cable or a USB cable.
図２は、第１の実施の形態に係る情報処理装置３のハードウェア構成の例を示す図である。情報処理装置３はＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、外部記憶装置１０４、ディスプレイ１０５（表示部）、ネットワークＩ／Ｆ１０６、キーボード１０７、マウス１０８、ＤＶＤ（Digital Versatile Disc）ドライブ１０９、外部機器Ｉ／Ｆ１１１、及びスピーカ１１２を含む。
FIG. 2 is a diagram illustrating an example of a hardware configuration of the information processing apparatus 3 according to the first embodiment. The information processing apparatus 3 includes a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, an external storage device 104, a display 105 (display unit), a network I / F 106, a keyboard 107, and a mouse. 108, a DVD (Digital Versatile Disc) drive 109, an external device I / F 111, and a speaker 112.
ＣＰＵ１０１は情報処理装置３全体の動作を制御する装置である。ＲＯＭ１０２は情報処理装置３用のプログラムを記憶している不揮発性記憶装置である。ＲＡＭ１０３はＣＰＵ１０１のワークエリアとして使用される揮発性記憶装置である。
The CPU 101 is a device that controls the operation of the entire information processing apparatus 3. The ROM 102 is a non-volatile storage device that stores a program for the information processing device 3. A RAM 103 is a volatile storage device used as a work area for the CPU 101.
外部記憶装置１０４は撮像装置２により撮像された映像データ、設定情報等の各種データを記憶するＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の記憶装置である。
The external storage device 104 is a storage device such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive) that stores various data such as video data captured by the imaging device 2 and setting information.
ディスプレイ１０５はカーソル、メニュー、ウィンドウ、文字、画像、正否判定を実行するアプリケーションの画面等を表示する表示装置である。ディスプレイ１０５は例えばＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬ（Electroluminescence）ディスプレイ等である。ディスプレイ１０５は例えば情報処理装置３の本体に対して、ＶＧＡケーブル、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ケーブル、Ｅｔｈｅｒｎｅｔケーブル等により接続される。ディスプレイ１０５はタッチパネル式の入力操作を可能にするための機構を備えていてもよい。
The display 105 is a display device that displays a cursor, a menu, a window, characters, an image, a screen of an application for executing correctness determination, and the like. The display 105 is, for example, a CRT (Cathode Ray Tube) display, a liquid crystal display, a plasma display, an organic EL (Electroluminescence) display, or the like. For example, the display 105 is connected to the main body of the information processing apparatus 3 by a VGA cable, an HDMI (registered trademark) (High-Definition Multimedia Interface) cable, an Ethernet cable, or the like. The display 105 may include a mechanism for enabling a touch panel type input operation.
ネットワークＩ／Ｆ１０６はネットワーク４に接続してデータ通信するためのインターフェースである。ネットワークＩ／Ｆ１０６は例えばＴＣＰ／ＩＰプロトコルによる通信を可能にするＮＩＣ（Network Interface Card）である。具体的には、情報処理装置３は撮像装置２からネットワーク４及びネットワークＩ／Ｆ１０６を介して、映像データを取得する。
The network I / F 106 is an interface for connecting to the network 4 and performing data communication. The network I / F 106 is a NIC (Network Interface Card) that enables communication using, for example, the TCP / IP protocol. Specifically, the information processing device 3 acquires video data from the imaging device 2 via the network 4 and the network I / F 106.
キーボード１０７は文字、数字、各種指示の選択、カーソルの移動、設定情報の設定等の入力を行う入力装置である。マウス１０８は各種指示の選択（実行）、処理対象の選択、カーソルの移動、設定情報の設定等を行うための入力装置である。
The keyboard 107 is an input device for inputting characters, numbers, various instructions, moving a cursor, setting setting information, and the like. The mouse 108 is an input device for selecting (executing) various instructions, selecting a processing target, moving a cursor, setting setting information, and the like.
ＤＶＤドライブ１０９は着脱自在な記憶媒体の一例としてのＤＶＤ１１０に対するデータの読み出し、書き込み、及び削除を制御する装置である。
The DVD drive 109 is a device that controls reading, writing, and deletion of data with respect to the DVD 110 as an example of a removable storage medium.
外部機器Ｉ／Ｆ１１１は外部機器と接続してデータ通信をするためのインターフェースである。外部機器Ｉ／Ｆ１１１は例えばフィールドバス規格による通信を可能にするインターフェースカードである。具体的には、情報処理装置３は外部機器と外部機器Ｉ／Ｆ１１１を介してデータ通信を行う。
The external device I / F 111 is an interface for connecting to an external device and performing data communication. The external device I / F 111 is, for example, an interface card that enables communication according to the fieldbus standard. Specifically, the information processing apparatus 3 performs data communication with an external device via the external device I / F 111.
スピーカ１１２はアプリケーションの動作に従って音声を出力する装置である。
The speaker 112 is a device that outputs sound according to the operation of the application.
上述のＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４、ディスプレイ１０５、ネットワークＩ／Ｆ１０６、キーボード１０７、マウス１０８、ＤＶＤドライブ１０９、外部機器Ｉ／Ｆ１１１、及びスピーカ１１２はアドレスバス、データバス等のバス１１３によって互いに通信可能に接続されている。ディスプレイ１０５はＥｔｈｅｒｎｅｔケーブルによって接続される場合にはネットワークＩ／Ｆ１０６に接続されることになり、この場合にはＴＣＰ／ＩＰ等のプロトコルによりデータ通信が行われる。
The above-described CPU 101, ROM 102, RAM 103, external storage device 104, display 105, network I / F 106, keyboard 107, mouse 108, DVD drive 109, external device I / F 111, and speaker 112 are buses 113 such as an address bus and a data bus. So that they can communicate with each other. When the display 105 is connected by an Ethernet cable, it is connected to the network I / F 106. In this case, data communication is performed using a protocol such as TCP / IP.
図３は、第１の実施の形態に係る情報処理装置３の機能的構成の例を示す図である。情報処理装置３は映像受信部２０１、記憶部２０２、入力部２０３、設定部２０４、変化点検出部２０５、及び出力部２０６を含む。変化点検出部２０５は取得部２１１、比較部２１２、補正部２１３、及び判定部２１４を含む。
FIG. 3 is a diagram illustrating an example of a functional configuration of the information processing apparatus 3 according to the first embodiment. The information processing apparatus 3 includes a video reception unit 201, a storage unit 202, an input unit 203, a setting unit 204, a change point detection unit 205, and an output unit 206. The change point detection unit 205 includes an acquisition unit 211, a comparison unit 212, a correction unit 213, and a determination unit 214.
映像受信部２０１はネットワーク４を介して撮像装置２とデータ通信を行い、撮像装置２から映像データを受信する部分である。映像受信部２０１は受信した映像データを記憶部２０２に記憶させる。映像受信部２０１は図２に示すネットワークＩ／Ｆ１０６等により実現される。
The video receiving unit 201 is a part that performs data communication with the imaging device 2 via the network 4 and receives video data from the imaging device 2. The video receiving unit 201 stores the received video data in the storage unit 202. The video receiving unit 201 is realized by the network I / F 106 shown in FIG.
記憶部２０２は映像受信部２０１により受信された映像データ、各種設定情報、時刻情報等を記憶する部分である。記憶部２０２は例えば図２に示す外部記憶装置１０４、ＤＶＤドライブ１０９、ＤＶＤ１１０等により実現される。
The storage unit 202 is a part that stores video data, various setting information, time information, and the like received by the video receiving unit 201. The storage unit 202 is realized by the external storage device 104, the DVD drive 109, the DVD 110, and the like shown in FIG.
入力部２０３は情報処理装置３が実行する正否判定及びその他の処理に関する操作入力を行う部分である。入力部２０３は図２に示すキーボード１０７、マウス１０８、タッチパネル機構等により実現される。
The input unit 203 is a part for performing an operation input regarding correctness determination and other processing executed by the information processing apparatus 3. The input unit 203 is realized by the keyboard 107, the mouse 108, the touch panel mechanism, and the like shown in FIG.
設定部２０４は入力部２０３に対する入力操作に応じて正否判定に関する設定を行う部分である。設定部２０４は例えば記憶部２０２に記憶されている映像データのうち、どの時刻の画像を基準画像として扱うか、どの時間範囲の画像を検知画像として扱うか、後述する画像閾値（第１の閾値）、後述する検知閾値（第２の閾値）等を設定する。基準画像は必ずしも映像データから抽出されなければならないものではなく、映像データ以外のデータから取得されてもよい。設定部２０４は図２に示すＣＰＵ１０１、ＲＡＭ１０３、外部記憶装置１０４、ＤＶＤドライブ１０９等により実現される。
The setting unit 204 is a part that performs settings related to correctness determination according to an input operation on the input unit 203. For example, the setting unit 204 determines which time of the image data stored in the storage unit 202 is treated as a reference image, which time range of an image is treated as a detected image, an image threshold (first threshold) described later. ), A detection threshold (second threshold) to be described later is set. The reference image does not necessarily have to be extracted from the video data, and may be acquired from data other than the video data. The setting unit 204 is realized by the CPU 101, the RAM 103, the external storage device 104, the DVD drive 109, and the like shown in FIG.
変化点検出部２０５はワーク１１に異常が認められた時点を示す変化点を検出する部分である。本実施の形態に係る変化点検出部２０６は以下に説明する取得部２１１、比較部２１２、補正部１３、及び判定部１４を含む。変化点検出部２０５はＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４、ＤＶＤドライブ１０９等により実現される。
The change point detection unit 205 is a part that detects a change point indicating a point in time when an abnormality is recognized in the workpiece 11. The change point detection unit 206 according to the present embodiment includes an acquisition unit 211, a comparison unit 212, a correction unit 13, and a determination unit 14 described below. The change point detection unit 205 is realized by the CPU 101, the ROM 102, the RAM 103, the external storage device 104, the DVD drive 109, and the like.
取得部２１１は記憶部２０２に記憶された映像データから基準画像データ及び検知画像データを取得する部分である。基準画像データは基準画像を示すデータである。検知画像データは検知画像を示すデータである。基準画像はワーク１１の正否判定の基準となる画像である。検知画像は正否判定の対象となるワーク１１を撮像した画像である。以降、表現の簡素化のため、「基準画像データ」を「基準画像」と表現し、「検知画像データ」を「検知画像」と表現する場合がある。例えば、「基準画像データを取得する」ことを「基準画像を取得する」と表現し、「検知画像データを取得する」ことを「検知画像を取得する」と表現する場合がある。
The acquisition unit 211 is a part that acquires reference image data and detected image data from video data stored in the storage unit 202. The reference image data is data indicating a reference image. The detected image data is data indicating a detected image. The reference image is an image serving as a reference for determining whether the workpiece 11 is correct. The detected image is an image obtained by capturing the workpiece 11 that is the object of the correctness determination. Hereinafter, in order to simplify the expression, “reference image data” may be expressed as “reference image” and “detection image data” may be expressed as “detection image”. For example, “acquiring reference image data” may be expressed as “acquiring reference image”, and “acquiring detected image data” may be expressed as “acquiring detected image”.
図４は、第１の実施の形態に係る基準画像５１の例を示す図である。図５は、第１の実施の形態に係る検知画像６１の例を示す図である。本例では、基準画像５１に含まれるワーク１１と検知画像６１に含まれるワーク１１とが大きく異なっている場合が示されている。
FIG. 4 is a diagram illustrating an example of the reference image 51 according to the first embodiment. FIG. 5 is a diagram illustrating an example of the detected image 61 according to the first embodiment. In this example, a case where the workpiece 11 included in the reference image 51 and the workpiece 11 included in the detection image 61 are greatly different is shown.
基準画像５１及び検知画像６１には、それぞれワーク１１が存在する部分を示すワーク領域１５と、ワーク１１が存在しない部分を示す空き領域１６とが含まれている。取得部２１１は設定部２０４により設定された設定値に基づいて基準画像５１及び検知画像６１を取得する。取得部２１１は例えば設定部２０４により設定された時刻に対応する１つの基準画像５１と、設定された時刻又は時間範囲に撮像された１つ以上の検知画像６１とを取得する。基準画像５１は映像データ以外のデータから取得されてもよい。取得部２１１はＣＰＵ１０１、ＲＡＭ１０３、外部記憶装置１０４、ＤＶＤドライブ１０９等により実現される。
Each of the reference image 51 and the detection image 61 includes a work area 15 indicating a part where the work 11 exists and a free area 16 indicating a part where the work 11 does not exist. The acquisition unit 211 acquires the reference image 51 and the detected image 61 based on the setting value set by the setting unit 204. The acquisition unit 211 acquires, for example, one reference image 51 corresponding to the time set by the setting unit 204 and one or more detection images 61 captured at the set time or time range. The reference image 51 may be acquired from data other than video data. The acquisition unit 211 is realized by the CPU 101, the RAM 103, the external storage device 104, the DVD drive 109, and the like.
比較部２１２は基準画像５１の基準画素値と検知画像６１の検知画素値とを比較する部分である。基準画素値とは、基準画像５１の画素毎の画素値、又は基準画像５１の所定の画素群毎の画素値である。検知画素値とは、検知画像６１の画素毎の画素値、又は検知画像６１の所定の画素群毎の画素値である。画素値とは、画像を構成する画素又は画素群の特徴を示す数値であり、例えば所定の色の明るさを示す値等であり得る。所定の画素群とは、互いに隣接する複数の画素からなる群、例えば２×２＝４個の画素からなる群、３×３＝９個の画素からなる群等であり得る。所定の画素群の画素値とは、画素群を構成する複数の画素の各画素値を代表する画素値であり、例えば複数の画素値の平均値、最大値、最小値等であり得る。比較部２１２はＣＰＵ１０１、ＲＡＭ１０３等により実現される。
The comparison unit 212 is a part that compares the reference pixel value of the reference image 51 with the detection pixel value of the detection image 61. The reference pixel value is a pixel value for each pixel of the reference image 51 or a pixel value for each predetermined pixel group of the reference image 51. The detected pixel value is a pixel value for each pixel of the detected image 61 or a pixel value for each predetermined pixel group of the detected image 61. The pixel value is a numerical value indicating the characteristics of the pixels or pixel groups constituting the image, and may be a value indicating the brightness of a predetermined color, for example. The predetermined pixel group may be a group composed of a plurality of adjacent pixels, for example, a group composed of 2 × 2 = 4 pixels, a group composed of 3 × 3 = 9 pixels, or the like. The pixel value of the predetermined pixel group is a pixel value representing each pixel value of a plurality of pixels constituting the pixel group, and may be, for example, an average value, a maximum value, a minimum value, or the like of the plurality of pixel values. The comparison unit 212 is realized by the CPU 101, the RAM 103, and the like.
補正部２１３は比較部２１２の比較結果及び設定部２０４による設定値（画素閾値）に基づいて検知画像６１を示す検知画像データを補正する部分である。以降、「検知画像データを補正する」ことを「検知画像を補正する」と表現する場合がある。補正部２０６は基準画素値と検知画素値との間の差分が所定の画素閾値未満である場合に、検知画素値を基準画素値に変換するように検知画像６１を補正する。補正部２１３はＣＰＵ１０１、ＲＡＭ１０３等により実現される。
The correction unit 213 is a part that corrects the detection image data indicating the detection image 61 based on the comparison result of the comparison unit 212 and the setting value (pixel threshold value) by the setting unit 204. Hereinafter, “correcting the detected image data” may be expressed as “correcting the detected image”. The correction unit 206 corrects the detected image 61 so as to convert the detected pixel value into the reference pixel value when the difference between the reference pixel value and the detected pixel value is less than a predetermined pixel threshold. The correction unit 213 is realized by the CPU 101, the RAM 103, and the like.
比較部２１２及び補正部２１３の機能について図６〜図８を参照して説明する。図６は、第１の実施の形態に係る基準画像５１の画素構成の例を模式的に示す図である。図７は、第１の実施の形態に係る補正前の検知画像６１Ａ及び補正後の検知画像６１Ｂの画素構成の第１の例を模式的に示す図である。図８は、第１の実施の形態に係る補正前の検知画像６１Ａ及び補正後の検知画像６１Ｂの画素構成の第２の例を模式的に示す図である。
Functions of the comparison unit 212 and the correction unit 213 will be described with reference to FIGS. FIG. 6 is a diagram schematically illustrating an example of the pixel configuration of the reference image 51 according to the first embodiment. FIG. 7 is a diagram schematically illustrating a first example of the pixel configuration of the detection image 61A before correction and the detection image 61B after correction according to the first embodiment. FIG. 8 is a diagram schematically illustrating a second example of the pixel configuration of the detection image 61A before correction and the detection image 61B after correction according to the first embodiment.
図６に示す例に係る基準画像５１は全体として３×３＝９個の画素５２を有し、各画素５２は基準画素値５３を有している。図５に示す例は比較部２１２及び補正部２１３の機能を説明するために簡略化されたものであり、実際の基準画像５１の画素構成は本例より大規模である。
The reference image 51 according to the example shown in FIG. 6 has 3 × 3 = 9 pixels 52 as a whole, and each pixel 52 has a reference pixel value 53. The example shown in FIG. 5 is simplified to explain the functions of the comparison unit 212 and the correction unit 213, and the actual pixel configuration of the reference image 51 is larger than that of this example.
図７及び図８には補正前の検知画像６１Ａ、補正後の検知画像６１Ｂ、及び画素値差分表７１が示されている。図７及び図８に示す例に係る補正前後の検知画像６１Ａ，６１Ｂは全体として３×３＝９個の画素６２を有し、各画素６２は検知画素値６３を有している。画素値差分表７１は基準画像５１の各基準画素値５３と補正前の検知画像６１Ａの各検知画素値６３との間の差分７２を示し、内部処理的に使用されるデータである。図７及び図８に示す例は比較部２１２及び補正部２１３の機能を説明するために簡略化されたものであり、実際の検知画像６１Ａ，６１Ｂ及び画素値差分表７１の画素構成は本例より大規模である。
7 and 8 show a detection image 61A before correction, a detection image 61B after correction, and a pixel value difference table 71. The detected images 61A and 61B before and after correction according to the example shown in FIGS. 7 and 8 have 3 × 3 = 9 pixels 62 as a whole, and each pixel 62 has a detected pixel value 63. The pixel value difference table 71 shows the difference 72 between each reference pixel value 53 of the reference image 51 and each detection pixel value 63 of the detection image 61A before correction, and is data used internally. The examples shown in FIGS. 7 and 8 are simplified to explain the functions of the comparison unit 212 and the correction unit 213, and the pixel configurations of the actual detected images 61A and 61B and the pixel value difference table 71 are the present example. It is larger.
図７及び図８に示す例は共に画素閾値Ｔ１を３０に設定した場合の例である。この３０の値は単なる例示であり、画素閾値Ｔ１は入力部２０３及び設定部２０４の機能により任意に設定可能なものである。
Both the examples shown in FIGS. 7 and 8 are examples in which the pixel threshold T1 is set to 30. The value of 30 is merely an example, and the pixel threshold T1 can be arbitrarily set by the functions of the input unit 203 and the setting unit 204.
図７に示す第１の例においては、図７の画素値差分表７１に示されるように、全ての差分７２の絶対値が３０未満となっている。このような場合、補正前の検知画像６１Ａの全ての検知画素値６３はそれぞれ対応する基準画素値５３に変換される。これにより、第１の例に係る補正後の検知画像６１Ｂは基準画素値５３と一致することとなる。
In the first example shown in FIG. 7, as shown in the pixel value difference table 71 of FIG. 7, the absolute values of all the differences 72 are less than 30. In such a case, all the detected pixel values 63 of the detected image 61A before correction are converted into corresponding reference pixel values 53, respectively. As a result, the corrected detected image 61B according to the first example matches the reference pixel value 53.
図８に示す第２の例においては、図８の画素値差分表７１に示されるように、４つの差分７２（３４，９２，５３，−５７）の絶対値が３０以上となっており、５つの差分７２（１０，１６，６，２０，１）の絶対値が３０未満となっている。このような場合、補正前の検知画像６１Ａの検知画素値６３のうち、差分７２の絶対値が３０以上である４つの検知画素値６３（１２３，１００，１２５，９０）はそのまま維持され、差分７２の絶対値が３０未満である５つの検知画素値６３（１５０，３７，１５９，２５，９１）はそれぞれ対応する基準画素値５３（１６０，５３，１６５，４５，９２）に変換される。
In the second example shown in FIG. 8, the absolute values of the four differences 72 (34, 92, 53, −57) are 30 or more as shown in the pixel value difference table 71 of FIG. The absolute values of the five differences 72 (10, 16, 6, 20, 1) are less than 30. In such a case, among the detection pixel values 63 of the detection image 61A before correction, the four detection pixel values 63 (123, 100, 125, 90) whose absolute value of the difference 72 is 30 or more are maintained as they are, and the difference is maintained. Five detection pixel values 63 (150, 37, 159, 25, 91) whose absolute value of 72 is less than 30 are converted into corresponding reference pixel values 53 (160, 53, 165, 45, 92), respectively.
判定部２１４（図３参照）は基準画像５１と補正後の検知画像６１Ｂとの間の画像的特徴の相違度に基づいてワーク１１の正否判定を行う部分である。画像的特徴としては、例えば所定の色の明るさを示す画素値のヒストグラム、画像の輪郭のヒストグラム、ローカルバイナリパターン等が挙げられるが、これらに限られるものではない。相違度は画像的特徴の相違の度合いを示す値であり、例えば基準画像５１のヒストグラムと補正後の検知画像６１Ｂのヒストグラムとの一致率、当該一致率の逆数である検知率（不一致率）等であり得る。なお、補正部２１３により補正が行われなかった場合（全ての差分７２が画素閾値Ｔ１以上である場合）には、基準画像５１と補正前の検知画像６１Ａとの間の相違度が検査される。判定部２１４は設定部２０４により設定された設定値（検知閾値）に基づいて正否判定を行う。相違度が検知率である場合、判定部２１４は相違度が検知閾値未満である場合にワーク１１は「正常」であると判定し、相違度が検知閾値以上である場合にワーク１１は「異常」であると判定する。判定部２１４はＣＰＵ１０１、ＲＡＭ１０３等により実現される。
The determination unit 214 (see FIG. 3) is a part that determines whether the workpiece 11 is correct based on the difference in image characteristics between the reference image 51 and the corrected detected image 61B. Examples of the image feature include, but are not limited to, a histogram of pixel values indicating brightness of a predetermined color, a histogram of image contours, a local binary pattern, and the like. The degree of difference is a value indicating the degree of difference in image characteristics. For example, the coincidence rate between the histogram of the reference image 51 and the histogram of the detected image 61B after correction, the detection rate (mismatch rate) that is the reciprocal of the coincidence rate, etc. It can be. When correction is not performed by the correction unit 213 (when all the differences 72 are equal to or greater than the pixel threshold T1), the degree of difference between the reference image 51 and the detected image 61A before correction is inspected. . The determination unit 214 determines correctness based on the setting value (detection threshold) set by the setting unit 204. When the difference is the detection rate, the determination unit 214 determines that the workpiece 11 is “normal” when the difference is less than the detection threshold, and when the difference is equal to or higher than the detection threshold, the workpiece 11 is “abnormal”. Is determined. The determination unit 214 is realized by the CPU 101, the RAM 103, and the like.
出力部２０６は判定部２１４の判定結果（変化点検出部２０５の検出結果）に基づいて正否判定の結果（変化点）を出力する部分である。正否判定の結果の出力方法は特に限定されるべきものではないが、例えば結果を示す画像をディスプレイ１０５に表示させたり、結果を示す音声をスピーカ１１２から出力させたり、結果を示すデータを外部の情報処理システムに出力したりすることが挙げられる。外部の情報処理システムは特に限定されるべきものではないが、例えばワーク１０を生産する生産設備、生産ライン等を制御するシステム等であり得る。本実施の形態に係る出力部２０６は正否判定の結果を示す結果表示画面だけでなく、設定部２０４による設定時に使用される設定画面等をディスプレイ１０５に表示する。設定画面は設定部２０４による設定時にグラフィックユーザインターフェースとして機能する画面である。出力部２０６は結果表示画面、設定画面等をディスプレイ１０５に表示するためのデータ、結果を示す音声をスピーカ１１２から出力するためのデータ、結果を外部の情報処理システムに伝達するためのデータ等を生成する。出力部２０６はＣＰＵ１０１、ＲＡＭ１０３、ディスプレイ１０５、スピーカ１１２、外部機器Ｉ／Ｆ１１１等により実現される。
The output unit 206 is a part that outputs a result of correct / incorrect determination (change point) based on the determination result of the determination unit 214 (detection result of the change point detection unit 205). The output method of the result of the correct / incorrect determination is not particularly limited. For example, an image indicating the result is displayed on the display 105, sound indicating the result is output from the speaker 112, or data indicating the result is externally transmitted. Output to an information processing system. The external information processing system is not particularly limited, and may be, for example, a production facility that produces the workpiece 10, a system that controls a production line, or the like. The output unit 206 according to the present embodiment displays not only a result display screen indicating the result of correctness determination but also a setting screen used at the time of setting by the setting unit 204 on the display 105. The setting screen is a screen that functions as a graphic user interface when setting by the setting unit 204. The output unit 206 includes data for displaying a result display screen, a setting screen, and the like on the display 105, data for outputting a sound indicating the result from the speaker 112, data for transmitting the result to an external information processing system, and the like. Generate. The output unit 206 is realized by the CPU 101, the RAM 103, the display 105, the speaker 112, the external device I / F 111, and the like.
図３に示した映像受信部２０１、記憶部２０２、入力部２０３、設定部２０４、変化点検出部２０５（取得部２１１、比較部２１２、補正部２１３、及び判定部２１４）、及び出力部２０６の一部又は全部は、ソフトウェア（プログラム）により制御されるＣＰＵ１０１ではなく、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェア回路によって実現されてもよい。
The video reception unit 201, storage unit 202, input unit 203, setting unit 204, change point detection unit 205 (acquisition unit 211, comparison unit 212, correction unit 213, and determination unit 214), and output unit 206 shown in FIG. A part or all of the above may be realized by a hardware circuit such as an application specific integrated circuit (ASIC) or a field-programmable gate array (FPGA) instead of the CPU 101 controlled by software (program).
図３に示した各機能部は機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図３で独立した機能部として図示した複数の機能部を１つの機能部として構成してもよい。図３の１つの機能部が有する機能を複数に分割し、複数の機能部として構成してもよい。
Each functional unit shown in FIG. 3 conceptually shows a function, and is not limited to such a configuration. For example, a plurality of functional units illustrated as independent functional units in FIG. 3 may be configured as one functional unit. 3 may be divided into a plurality of functions and configured as a plurality of function units.
図９は、第１の実施の形態に係る情報処理装置３における全体的な処理の流れの例を示すフローチャートである。先ず、設定部２０４は基準画像５１、検知画像６１（補正前の検知画像６１Ａ）、画素閾値Ｔ１、検知閾値等を設定する設定処理を行い、このとき出力部２０６は設定画面が表示されるようにディスプレイ１１２を制御する（Ｓ１０１）。
FIG. 9 is a flowchart illustrating an example of the overall processing flow in the information processing apparatus 3 according to the first embodiment. First, the setting unit 204 performs setting processing for setting the reference image 51, the detection image 61 (the detection image 61A before correction), the pixel threshold value T1, the detection threshold value, and the output unit 206 displays a setting screen. The display 112 is controlled (S101).
その後、取得部２１１は設定処理の結果に基づいて記憶部２０２から基準画像５１及び補正前の検知画像６１Ａを取得する取得処理を行う（Ｓ１０２）。
Thereafter, the acquisition unit 211 performs an acquisition process of acquiring the reference image 51 and the detection image 61A before correction from the storage unit 202 based on the result of the setting process (S102).
その後、比較部２１２は基準画像５１の画素毎又は画素群毎の基準画素値５３と補正前の検知画像６１Ａの画素毎又は画素群毎の検知画素値６３とを比較する比較処理を行う（Ｓ１０３）。
Thereafter, the comparison unit 212 performs comparison processing for comparing the reference pixel value 53 for each pixel or each pixel group of the reference image 51 with the detection pixel value 63 for each pixel or each pixel group of the detection image 61A before correction (S103). ).
その後、補正部２１３は比較処理の結果に基づいて、基準画素値５３と検知画素値６３との間の差分７２が画素閾値Ｔ１未満である検知画素値６３を基準画素値５３に変換するように、補正前の検知画像６１Ａを補正後の検知画像６１Ｂに補正する補正処理を行う（Ｓ１０４）。
Thereafter, the correction unit 213 converts the detected pixel value 63 in which the difference 72 between the reference pixel value 53 and the detected pixel value 63 is less than the pixel threshold T1 to the reference pixel value 53 based on the result of the comparison process. Then, a correction process for correcting the detection image 61A before correction to the detection image 61B after correction is performed (S104).
その後、判定部２１４は基準画像５１と補正後の検知画像６１Ｂとの間の画像的特徴の相違度に基づいてワーク１１の正否を判定する判定処理を行う（Ｓ１０５）。
Thereafter, the determination unit 214 performs determination processing for determining whether the workpiece 11 is correct based on the degree of difference in image characteristics between the reference image 51 and the corrected detection image 61B (S105).
その後、出力部２０６は判定処理の結果に基づいてワーク１１の正否判定の結果を出力する（Ｓ１０６）。
Thereafter, the output unit 206 outputs the result of the correctness determination of the workpiece 11 based on the result of the determination process (S106).
図１０は、第１の実施の形態に係る設定画面１５１の例を示す図である。本例に係る設定画面１５１は映像表示部１５２、表示モード設定部１５３、時刻調節部１５４、操作ボタン１５５、基準画像表示部１５６、検知画像表示部１５７、差分表示部１５８、判定方式設定部１５９、色成分設定部１６０、画素閾値設定部１６１、検知率設定部１６２、判定結果表示ボタン１６３、グラフ表示部１６４、結果表示部１６５、及び設定完了ボタン１６６を含む。
FIG. 10 is a diagram illustrating an example of the setting screen 151 according to the first embodiment. The setting screen 151 according to this example includes a video display unit 152, a display mode setting unit 153, a time adjustment unit 154, an operation button 155, a reference image display unit 156, a detected image display unit 157, a difference display unit 158, and a determination method setting unit 159. , A color component setting unit 160, a pixel threshold setting unit 161, a detection rate setting unit 162, a determination result display button 163, a graph display unit 164, a result display unit 165, and a setting completion button 166.
映像表示部１５２は撮像装置２により撮像された撮像映像１７１を表示する領域である。映像表示部１５２は記憶部２０２に記憶された映像データに基づいて撮像映像１７１を表示する。撮像映像１７１内には検知領域１７２及び日時表示１７３が含まれている。検知領域１７２は撮像映像１７１の一部であり、ワーク１１を含むように設定される。検知領域１７２内の画像が検知画像６１となる。ユーザが入力部２０３を操作することにより検知領域１７２の位置等を任意に設定できるようになされてもよい。日時表示１７３は撮像映像１７１（検知画像６１）が撮像された日時を示している。
The video display unit 152 is an area for displaying a captured video 171 captured by the imaging device 2. The video display unit 152 displays the captured video 171 based on the video data stored in the storage unit 202. The captured image 171 includes a detection area 172 and a date / time display 173. The detection area 172 is a part of the captured image 171 and is set to include the workpiece 11. An image in the detection area 172 becomes a detection image 61. The user may arbitrarily set the position and the like of the detection area 172 by operating the input unit 203. The date and time display 173 indicates the date and time when the captured video 171 (detected image 61) was captured.
撮像映像１７１は表示モード設定部１５３、時刻調節部１５４、及び操作ボタン１５５への操作により変化する。表示モード設定部１５３は「リアルタイム」又は「撮影済み」のいずれかのモードを選択するように構成されている。「リアルタイム」が選択されることにより、撮像装置２により撮像されている映像がリアルタイムに表示される。「撮影済み」が選択されることにより、撮像装置２により録画された（記憶部２０２に蓄積された）過去の映像が表示される。時刻調節部１５４はマウス操作等により時刻の調節を可能にする。操作ボタン１５５はマウス操作等により撮像映像１７１の再生、一時停止、コマ送り再生、倍速再生等の各種操作を可能にする。「撮影済み」のモードを選択した上で時刻調節部１５４及び操作ボタン１５５を操作することにより、過去に撮像された映像の中から任意の時刻又は時間範囲の撮像映像１７１を表示することが可能となる。
The captured image 171 changes according to operations on the display mode setting unit 153, the time adjustment unit 154, and the operation buttons 155. The display mode setting unit 153 is configured to select either “real time” or “photographed” mode. By selecting “real time”, the video imaged by the imaging device 2 is displayed in real time. By selecting “Captured”, past images recorded by the imaging device 2 (accumulated in the storage unit 202) are displayed. The time adjustment unit 154 enables time adjustment by a mouse operation or the like. The operation button 155 enables various operations such as reproduction, pause, frame advance reproduction, and double speed reproduction of the captured image 171 by operating the mouse. By selecting the “photographed” mode and operating the time adjustment unit 154 and the operation button 155, it is possible to display a captured image 171 of an arbitrary time or time range from images captured in the past. It becomes.
基準画像表示部１５６は基準画像５１を表示する領域である。基準画像５１の設定方法は特に限定されるべきものではないが、例えば特定の時刻の撮像映像１７１の一部を基準画像５１に設定する設定操作等を行うことにより基準画像５１を設定することができる。
The reference image display unit 156 is an area for displaying the reference image 51. The method for setting the reference image 51 is not particularly limited. For example, the reference image 51 may be set by performing a setting operation for setting a part of the captured video 171 at a specific time as the reference image 51. it can.
検知画像表示部１５７は検知画像６１を表示する領域である。映像表示部１５２に表示されている検知領域１７２内の画像が検知画像６１となる。検知画像６１は撮像映像１７１の変化、すなわち表示モード設定部１５３、時刻調節部１５４、及び操作ボタン１５５への操作に伴い変化する。
The detected image display unit 157 is an area for displaying the detected image 61. An image in the detection area 172 displayed on the video display unit 152 becomes the detection image 61. The detected image 61 changes in accordance with changes in the captured image 171, that is, operations on the display mode setting unit 153, time adjustment unit 154, and operation buttons 155.
差分表示部１５８は基準画像５１の基準画素値５３と検知画像６１の検知画素値６３との差分７２を視覚的に表現する画像を表示する領域である。図１１は、第１の実施の形態に係る差分表示部１５８に表示される差分表示画像８１の例を示す図である。図１２は、第１の実施の形態に係る補正推定画像８５の例を示す図である。
The difference display unit 158 is an area for displaying an image that visually represents the difference 72 between the reference pixel value 53 of the reference image 51 and the detection pixel value 63 of the detection image 61. FIG. 11 is a diagram illustrating an example of the difference display image 81 displayed on the difference display unit 158 according to the first embodiment. FIG. 12 is a diagram illustrating an example of the corrected estimated image 85 according to the first embodiment.
図１１に示す差分表示画像８１は基準画像５１と検知画像６１とを重複して表示し、差分７２の大きさを視覚的に把握できるように表示する画像である。差分表示画像８１には、基準画像５１及び検知画像６１と同様に、ワーク１１が存在する部分を示すワーク領域１５と、ワーク１１が存在しない部分を示す空き領域１６とが含まれている。差分表示画像８１におけるワーク領域１５は基準画像５１内のワーク１１が存在する部分と検知画像６１内のワーク１１が存在する部分とを合わせた領域である。
A difference display image 81 shown in FIG. 11 is an image that displays the reference image 51 and the detected image 61 in an overlapping manner so that the size of the difference 72 can be visually grasped. Similar to the reference image 51 and the detection image 61, the difference display image 81 includes a work area 15 indicating a part where the work 11 exists and a free area 16 indicating a part where the work 11 does not exist. The work area 15 in the difference display image 81 is an area obtained by combining a part where the work 11 exists in the reference image 51 and a part where the work 11 exists in the detection image 61.
本例に係る差分表示画像８１は第１の領域１４１、第２の領域１４２、第３の領域１４３、及び第４の領域１４４に分割されている。これらの４つの領域１４１〜１４４は差分７２の大きさの違いに基づいて決定される。ここではハッチ又は網掛けの種類によりこれらの４つの領域１４１〜１４４が表現されているが、実際の差分表示画像８１では、例えば色彩、輝度、透明度、明滅等の表示方式の違いによりこれらの４つの領域１４１〜１４４が表現され得る。本例では、第１の領域１４１における差分７２をΔＶ１、第２の領域１４２における差分７２をΔＶ２、第３の領域１４３における差分７２をΔＶ３、第４の領域における差分７２をΔＶ４とするとき、ΔＶ１＜ΔＶ２＜ΔＶ３＜ΔＶ４の関係が成り立つ。例えば、ΔＶ１＜１０、１０≦ΔＶ２＜３０、３０≦ΔＶ３＜５０、ΔＶ４≧５０のように設定することができる。このような差分表示画像８１を参照することにより、ユーザは基準画像５１と検知画像６１と間の相違が大きい領域又は小さい領域を、容易且つ的確に把握することが可能となる。
The difference display image 81 according to this example is divided into a first area 141, a second area 142, a third area 143, and a fourth area 144. These four areas 141 to 144 are determined based on the difference in the magnitude of the difference 72. Here, these four areas 141 to 144 are represented by the type of hatching or shading. However, in the actual difference display image 81, these four areas are represented by differences in display methods such as color, brightness, transparency, and blinking. Two regions 141-144 may be represented. In this example, when the difference 72 in the first area 141 is ΔV1, the difference 72 in the second area 142 is ΔV2, the difference 72 in the third area 143 is ΔV3, and the difference 72 in the fourth area is ΔV4. The relationship of ΔV1 <ΔV2 <ΔV3 <ΔV4 is established. For example, ΔV1 <10, 10 ≦ ΔV2 <30, 30 ≦ ΔV3 <50, and ΔV4 ≧ 50 can be set. By referring to such a difference display image 81, the user can easily and accurately grasp an area where the difference between the reference image 51 and the detected image 61 is large or small.
図１２に示す補正推定画像８５は検知画像６１の補正後の状態をシミュレーション的に示す画像である。本例の補正推定画像８５は検知画像６１（補正前の検知画像６１Ａ）のうち差分７２が３０以上の残留領域８７、すなわち第３の領域１４３及び第４の領域１４４に相当する領域のみを表示する画像である。画像閾値Ｔ１を３０に設定した場合、補正部２１３による補正処理において、補正推定画像８５内の残留領域８７に対応する検知画素値６３はそのまま維持されるが、残留領域８７以外の領域に対応する検知画素値６３は基準画素値５３に変換される。補正推定画像８５は検知画像６１内の補正される部分と残留する部分とを明確に示している。このような補正推定画像８５を参照することにより、ユーザは画像閾値Ｔ１の設定に応じて検知画像６１がどのように補正されるかを容易且つ的確に把握することが可能となる。
A corrected estimated image 85 shown in FIG. 12 is an image that shows the corrected state of the detected image 61 in a simulation manner. The corrected estimated image 85 of this example displays only the remaining area 87 having a difference 72 of 30 or more in the detected image 61 (detected image 61A before correction), that is, the area corresponding to the third area 143 and the fourth area 144. It is an image to be. When the image threshold T1 is set to 30, the detection pixel value 63 corresponding to the remaining area 87 in the corrected estimated image 85 is maintained as it is in the correction process by the correction unit 213, but it corresponds to an area other than the remaining area 87. The detected pixel value 63 is converted into a reference pixel value 53. The corrected estimated image 85 clearly shows a corrected portion and a remaining portion in the detected image 61. By referring to the corrected estimated image 85 as described above, the user can easily and accurately grasp how the detected image 61 is corrected according to the setting of the image threshold T1.
判定方式設定部１５９は判定部２１４によりワーク１１の正否判定を行う際の判定方式を設定する操作部である。換言すれば、判定方式設定部１５９はワーク１１の正否判定において基準となる画像的特徴を設定する。判定方式（基準となる画像的特徴）としては、画素値のヒストグラムを比較する「ヒストグラム」モード、ローカルバイナリパターンを比較する「ＬＢＰ」モード等が挙げられるが、これらに限られるものではない。
The determination method setting unit 159 is an operation unit that sets a determination method used when the determination unit 214 determines whether the workpiece 11 is correct. In other words, the determination method setting unit 159 sets an image characteristic that serves as a reference in determining whether the workpiece 11 is correct. Examples of the determination method (reference image characteristics) include a “histogram” mode for comparing histograms of pixel values, an “LBP” mode for comparing local binary patterns, and the like, but are not limited thereto.
色成分設定部１６０は判定方式設定部１５９により設定された判定方式に対応する色成分を設定する操作部である。例えば、判定方式設定部１５９により「ヒストグラム」モードが選択された場合には、基準となる色成分として、色相、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）、ユーザ設定色等が選択候補となり得る。色成分設定部１６０により選択される項目はこれらに限られるものではない。
The color component setting unit 160 is an operation unit that sets a color component corresponding to the determination method set by the determination method setting unit 159. For example, when the “histogram” mode is selected by the determination method setting unit 159, hue, R (red), G (green), B (blue), a user-set color, and the like are selected as reference color components. Can be a candidate. Items selected by the color component setting unit 160 are not limited to these.
画素閾値設定部１６１は比較部２１２の比較結果に基づいて補正部２１３により検知画像６１を補正する際に用いられる画素閾値Ｔ１を設定する操作部である。本例では画素閾値Ｔ１が５０に設定された状態が示されている。この場合、基準画素値５３と検知画素値６３との差分７２が５０未満である場合に、検知画素値６３が基準画素値５３に変換される。
The pixel threshold setting unit 161 is an operation unit that sets a pixel threshold T <b> 1 that is used when the correction unit 213 corrects the detected image 61 based on the comparison result of the comparison unit 212. In this example, a state in which the pixel threshold T1 is set to 50 is shown. In this case, when the difference 72 between the reference pixel value 53 and the detection pixel value 63 is less than 50, the detection pixel value 63 is converted into the reference pixel value 53.
検知率設定部１６２は判定部２１４による正否判定においてワーク１１が正常か異常かを判定する基準となる相違度（本例では検知率）である検知閾値を設定する操作部である。本例では検知閾値が２０％に設定された状態が示されている。この場合、検知率が２０％以下（一致率が８０％以上）である場合に、ワーク１１は正常であると判定される。
The detection rate setting unit 162 is an operation unit that sets a detection threshold that is a difference (detection rate in this example) that serves as a reference for determining whether the workpiece 11 is normal or abnormal in the determination of whether the determination unit 214 is correct. In this example, the detection threshold is set to 20%. In this case, when the detection rate is 20% or less (the coincidence rate is 80% or more), it is determined that the workpiece 11 is normal.
結果表示ボタン１６３は基準画像表示部１５６に表示されている基準画像５１、検知画像表示部１５７に表示されている検知画像６１、判定方式設定部１５９により設定された判定方式、色成分設定部１６０により設定された成分、画素閾値設定部１６１により設定された画素閾値、及び検知率設定部１６２により設定された検知率に基づいて処理を行った場合の結果を表示させる操作部である。マウス等により結果表示ボタン１６３を押す操作がなされると、当該結果がグラフ表示部１６４及び判定結果表示部１６５に表示される。
The result display button 163 includes a reference image 51 displayed on the reference image display unit 156, a detection image 61 displayed on the detection image display unit 157, a determination method set by the determination method setting unit 159, and a color component setting unit 160. 5 is an operation unit that displays a result when processing is performed based on the component set by the pixel threshold, the pixel threshold set by the pixel threshold setting unit 161, and the detection rate set by the detection rate setting unit 162. When the result display button 163 is pressed with a mouse or the like, the result is displayed on the graph display unit 164 and the determination result display unit 165.
本例では、グラフ表示部１６４に基準画像５１の色相に関するヒストグラムと検知画像６１（補正後の検知画像６１Ｂ）の色相に関するヒストグラムとが表示されている。また、判定結果表示部１６５には、検知率が３２．７％であり、ワーク１１が異常であることを示す「基準画像に対して変化あり」という情報が表示されている。グラフ表示部１６４及び判定結果表示部１６５の表示内容は、基準画像５１、検知画像６１、判定方式設定部１５９、色成分設定部１６０、画素閾値設定部１６１、又は検知率設定部１６２の設定内容の変更に応じて変更される。
In this example, a histogram relating to the hue of the reference image 51 and a histogram relating to the hue of the detected image 61 (corrected detected image 61B) are displayed on the graph display unit 164. The determination result display unit 165 displays information “there is a change with respect to the reference image” indicating that the detection rate is 32.7% and the workpiece 11 is abnormal. The display contents of the graph display unit 164 and the determination result display unit 165 include the setting contents of the reference image 51, the detection image 61, the determination method setting unit 159, the color component setting unit 160, the pixel threshold setting unit 161, or the detection rate setting unit 162. It is changed according to the change.
設定完了ボタン１６６は設定画面１５１により行われた設定の内容を確定させる操作部である。マウス等により設定完了ボタン１６６を押す操作がなされると、現在の設定内容が確定する。
The setting completion button 166 is an operation unit for confirming the content of the setting performed on the setting screen 151. When the setting completion button 166 is pressed with a mouse or the like, the current setting content is confirmed.
図１３は、第１の実施の形態に係る結果表示画面１８１の例を示す図である。本例に係る結果表示画面１８１は判定部２１４による判定結果を表示する画面であり、検知画像表示部１８２、ログ表示部１８５、日設定部１８６、及び表示設定部１８７を含む。
FIG. 13 is a diagram illustrating an example of a result display screen 181 according to the first embodiment. The result display screen 181 according to this example is a screen for displaying the determination result by the determination unit 214, and includes a detection image display unit 182, a log display unit 185, a day setting unit 186, and a display setting unit 187.
検知画像表示部１８２は正否判定の対象となるワーク１１を撮像した検知画像６１を表示する領域である。検知画像表示部１８２には設定画面１５１と同様に、時刻調節部１５４、操作ボタン１５５、及び日時表示１７３が含まれている。日時表示１７３は検知画像６１が撮像された日時を示している。時刻調節部１５４は表示される検知画像６１の時刻を調節する操作部である。操作ボタン１５５は検知画像６１の再生、一時停止、コマ送り再生、倍速再生等の各種操作を行う操作部である。
The detection image display unit 182 is an area for displaying a detection image 61 obtained by imaging the workpiece 11 that is a target of the correctness determination. Similarly to the setting screen 151, the detected image display unit 182 includes a time adjustment unit 154, operation buttons 155, and a date / time display 173. The date and time display 173 indicates the date and time when the detected image 61 was captured. The time adjustment unit 154 is an operation unit that adjusts the time of the detected image 61 to be displayed. The operation button 155 is an operation unit that performs various operations such as reproduction, pause, frame advance reproduction, and double speed reproduction of the detected image 61.
ログ表示部１８５はワーク１１の異常が認められた時点（変化発生点）とワーク１１の異常が認められなくなった時点（変化終了点）とを表示する領域である。本例のログ表示部１８５には時刻欄１９１、カメラＩＤ欄１９２、及び変化点欄１９３が含まれている。時刻欄１９１は変化発生点又は変化終了点に対応する時刻を示している。カメラＩＤ欄１９１は対象となるワーク１１（検知画像６１）を撮像した撮像装置２を特定する情報を示している。変化点欄１９３は変化点の種類（変化発生点又は変化終了点）を示している。
The log display unit 185 is an area for displaying a time point when the abnormality of the workpiece 11 is recognized (change occurrence point) and a time point when the abnormality of the workpiece 11 is no longer recognized (change end point). The log display unit 185 of this example includes a time field 191, a camera ID field 192, and a change point field 193. The time column 191 indicates the time corresponding to the change occurrence point or the change end point. The camera ID column 191 shows information for specifying the imaging device 2 that has captured the target workpiece 11 (detected image 61). The change point column 193 indicates the type of change point (change start point or change end point).
日設定部１８６はログ表示部１８５に表示される情報の日を設定する操作部である。本例では日設定部１８６により設定された１日分の情報がログ表示部１８５に表示されているが、日設定部１８６により複数の日数を指定し、当該日数分の情報が表示されてもよい。
The date setting unit 186 is an operation unit for setting the date of information displayed on the log display unit 185. In this example, information for one day set by the day setting unit 186 is displayed on the log display unit 185. However, even if a plurality of days are specified by the day setting unit 186 and information for the number of days is displayed, Good.
表示設定部１８７はログ表示部１８５に表示する変化点の種類を設定する操作部である。本例ではログ表示部１８５に変化発生点及び変化終了点の両方が表示されるように設定されているが、変化発生点又は変化終了点のどちらか一方のみが表示されるように設定されてもよい。
The display setting unit 187 is an operation unit that sets the type of change point displayed on the log display unit 185. In this example, the log display unit 185 is set so that both the change start point and the change end point are displayed. However, only one of the change start point or the change end point is set to be displayed. Also good.
図１４は、第１の実施の形態に係る情報処理装置３における具体的な処理の流れの例を示すフローチャートである。先ず、出力部２０６はディスプレイ１０５に設定画面１５１を表示させる（Ｓ２０１）。ユーザは設定画面１５１を通して基準画像５１、画素閾値Ｔ１、及び検知閾値Ｔ２を設定する（Ｓ２０２）。その後、取得部２１１は検知画像６１を取得する（Ｓ２０３）。
FIG. 14 is a flowchart illustrating an example of a specific processing flow in the information processing apparatus 3 according to the first embodiment. First, the output unit 206 displays the setting screen 151 on the display 105 (S201). The user sets the reference image 51, the pixel threshold T1, and the detection threshold T2 through the setting screen 151 (S202). Thereafter, the acquisition unit 211 acquires the detected image 61 (S203).
その後、比較部２１２は基準画像５１の基準画素値５３（Ｖｂ）と検知画像６１の検知画素値６３（Ｖｄ）とを順次比較し、画素毎又は画素群毎の差分７２（ΔＶ＝｜Ｖｂ−Ｖｄ｜）を算出する（Ｓ２０４）。
Thereafter, the comparison unit 212 sequentially compares the reference pixel value 53 (Vb) of the reference image 51 and the detection pixel value 63 (Vd) of the detection image 61, and a difference 72 (ΔV = | Vb−) for each pixel or pixel group. Vd |) is calculated (S204).
補正部２１３は比較部２１２により算出された各差分７２（ΔＶ）が画素閾値Ｔ１未満であるか否かを判定し、ΔＶ＜Ｔ１である場合（Ｓ２０５：Ｙｅｓ）、このΔＶに対応する検知画素値６３（Ｖｄ）を基準画素値５３（Ｖｂ）に変換し（Ｓ２０６）、全ての画素（又は画素群）について補正の要否を判定したか否かを判定する（Ｓ２０７）。一方、ΔＶ＜Ｔ１でない場合（Ｓ２０５：Ｎｏ）、検知画素値６３（Ｖｄ）を変換せずにステップＳ２０７を実行する。
The correction unit 213 determines whether or not each difference 72 (ΔV) calculated by the comparison unit 212 is less than the pixel threshold T1, and if ΔV <T1 (S205: Yes), the detection pixel corresponding to this ΔV. The value 63 (Vd) is converted to the reference pixel value 53 (Vb) (S206), and it is determined whether or not all pixels (or pixel groups) need to be corrected (S207). On the other hand, if ΔV <T1 is not satisfied (S205: No), step S207 is executed without converting the detected pixel value 63 (Vd).
全ての画素について補正の要否を判定していない場合（Ｓ２０７：Ｎｏ）、ステップＳ２０４に戻る。全ての画素について補正の要否を判定した場合（Ｓ２０７：Ｙｅｓ）、判定部２１４は基準画像５１と補正後の検知画像６１Ｂとの間で画像的特徴（例えばヒストグラム）を比較する（Ｓ２０８）。判定部２１４は画像的特徴の比較の結果、検知率Ｒが検知閾値Ｔ２以下である場合（Ｓ２０９：Ｙｅｓ）、ワーク１１は正常であると判定し（Ｓ２１０）、検知率ＲがＴ２以下でない場合（Ｓ２０９：Ｎｏ）、ワーク１１は異常であると判定する（Ｓ２１１）。その後、出力部２０６はステップＳ２１０，Ｓ２１１の結果に基づいて結果表示画面１８１をディスプレイ１０５に表示させる（Ｓ２１２）。
If it is not determined whether correction is necessary for all pixels (S207: No), the process returns to step S204. When it is determined whether or not correction is necessary for all pixels (S207: Yes), the determination unit 214 compares image characteristics (for example, a histogram) between the reference image 51 and the detected image 61B after correction (S208). The determination unit 214 determines that the workpiece 11 is normal (S210) when the detection rate R is equal to or lower than the detection threshold T2 as a result of the comparison of the image characteristics (S209: Yes), and the detection rate R is not lower than T2. (S209: No), it is determined that the workpiece 11 is abnormal (S211). Thereafter, the output unit 206 displays a result display screen 181 on the display 105 based on the results of steps S210 and S211 (S212).
上記第１の実施の形態に係る情報処理装置３の各種機能、すなわち映像受信部２０１、記憶部２０２、入力部２０３、設定部２０４、変化点検出部２０５（取得部２１１、比較部２１２、補正部２１３、及び判定部２１４）、及び出力部２０６の各機能の少なくとも一部がプログラムの実行によって実現される場合、プログラムはＲＯＭ等に予め組み込まれて提供される。また、プログラムはインストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供されてもよい。また、プログラムはインターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードさせることにより提供され得るように構成されてもよい。また、プログラムはインターネット等のネットワーク経由で提供又は配布され得るように構成されてもよい。また、プログラムは上述した各機能の少なくとも一部を含むモジュール構成となっていてもよい。
Various functions of the information processing apparatus 3 according to the first embodiment, that is, the video reception unit 201, the storage unit 202, the input unit 203, the setting unit 204, the change point detection unit 205 (the acquisition unit 211, the comparison unit 212, the correction) When at least some of the functions of the unit 213, the determination unit 214), and the output unit 206 are realized by executing a program, the program is provided by being incorporated in a ROM or the like in advance. The program may be provided as a file in an installable or executable format and recorded on a computer-readable recording medium such as a CD-ROM, a flexible disk (FD), a CD-R, or a DVD. The program may be stored on a computer connected to a network such as the Internet, and may be provided by being downloaded via the network. The program may be configured to be provided or distributed via a network such as the Internet. The program may have a module configuration including at least a part of each function described above.
以上のように、本実施の形態によれば、基準画像５１と検知画像６１とを比較して検体（ワーク１１）の正否判定を行う前に、基準画素値５３との差分７２が所定値より小さい検知画素値６３を基準画素値５３に一致させるように検知画像６１が補正される。これにより、検体の正否判定に実質的に影響しない僅かな画像的特徴の変化を排除することが可能となる。例えば、照明の影響等により検知画像６１内の空き領域１６に生じた変化等を排除することが可能となる。このように、本実施の形態によれば、検体以外の要因による画像的特徴の変化を排除し、検体の正否判定の精度を向上させることが可能となる。
As described above, according to the present embodiment, before the reference image 51 and the detection image 61 are compared to determine whether the specimen (work 11) is correct or not, the difference 72 from the reference pixel value 53 is greater than a predetermined value. The detected image 61 is corrected so that the small detected pixel value 63 matches the reference pixel value 53. As a result, it is possible to eliminate slight changes in image characteristics that do not substantially affect the correctness determination of the specimen. For example, it is possible to eliminate a change or the like generated in the empty area 16 in the detection image 61 due to the influence of illumination or the like. As described above, according to the present embodiment, it is possible to eliminate the change in image characteristics due to factors other than the specimen, and to improve the accuracy of the specimen correctness determination.
以下に、他の実施の形態について図面を参照して説明するが、第１の実施の形態と同一又は同様の作用効果を奏する箇所については同一の符号を付してその説明を省略する場合がある。
Other embodiments will be described below with reference to the drawings. However, the same or similar portions as those in the first embodiment may be denoted by the same reference numerals and the description thereof may be omitted. is there.
（第２の実施の形態）
図１５は、第２の実施の形態に係る画像処理システム２５１のハードウェア構成の例を示す図である。画像処理システム２５１は撮像装置２ａ〜２ｆ（撮像部）、情報処理装置２５３（画像処理装置）、ネットワーク４、及び外部機器２５５を含む。
(Second Embodiment)
FIG. 15 is a diagram illustrating an example of a hardware configuration of the image processing system 251 according to the second embodiment. The image processing system 251 includes imaging devices 2a to 2f (imaging units), an information processing device 253 (image processing device), a network 4, and an external device 255.
本実施の形態においては、複数（本例では６つ）の撮像装置２ａ〜２ｆが備えられている。各撮像装置２ａ〜２ｆは第１の実施の形態に係る撮像装置２と同様に、生産設備、生産ライン等を撮像し、検体の正否判定を実行するための映像データを生成する。
In the present embodiment, a plurality (six in this example) of imaging devices 2a to 2f are provided. As with the imaging device 2 according to the first embodiment, each of the imaging devices 2a to 2f images production facilities, production lines, and the like, and generates video data for executing a specimen correctness determination.
情報処理装置２５３は各撮像装置２ａ〜２ｆによって生成された各映像データに基づいてワーク１１の正否判定（変化点の検出）を実行する。情報処理装置２５３は生産設備等の外部機器２５５と、例えばフィールドバス規格による通信が可能となるように接続している。情報処理装置２５３のハードウェア構成は第１の実施の形態に係る情報処理装置３と同様に、図２に示す構成であり得る。
The information processing device 253 executes right / no-good determination (detection of a change point) of the work 11 based on the video data generated by the imaging devices 2a to 2f. The information processing device 253 is connected to an external device 255 such as a production facility so as to enable communication according to, for example, a fieldbus standard. The hardware configuration of the information processing device 253 may be the configuration illustrated in FIG. 2, as with the information processing device 3 according to the first embodiment.
図１６は、第２の実施の形態に係る情報処理装置２５３の機能的構成の例を示す図である。情報処理装置２５３は映像受信部３０１、記憶部３０２、入力部３０３、第１再生部３０４、トリガ領域指定部３０５、変化点検出部３０６、検知領域指定部３０７、設定部３０８、常時検知領域指定部３０９、映像振分部３１２、トリガ生成部３１３、検知領域判定部３１４、常時検知領域判定部３１５、第１制御部３１６、報知制御部３１７、第２再生部３１８、領域表示制御部３１９、リスト制御部３２０、第２制御部３２１、表示制御部３３１、外部出力部３３２、表示部３３３、及び報知部３３４を含む。本実施の形態に係る変化点検出部３０６は第１の実施の形態に係る変化点検出部２０５に対応する。
FIG. 16 is a diagram illustrating an example of a functional configuration of the information processing device 253 according to the second embodiment. The information processing device 253 includes a video reception unit 301, a storage unit 302, an input unit 303, a first reproduction unit 304, a trigger region designation unit 305, a change point detection unit 306, a detection region designation unit 307, a setting unit 308, and a constant detection region designation. Unit 309, video distribution unit 312, trigger generation unit 313, detection region determination unit 314, constant detection region determination unit 315, first control unit 316, notification control unit 317, second reproduction unit 318, region display control unit 319, A list control unit 320, a second control unit 321, a display control unit 331, an external output unit 332, a display unit 333, and a notification unit 334 are included. The change point detection unit 306 according to the present embodiment corresponds to the change point detection unit 205 according to the first embodiment.
映像受信部３０１はネットワーク４を介して各撮像装置２ａ〜２ｆとデータ通信を行い、各撮像装置２ａ〜２ｆから映像データを受信する部分である。映像受信部３０１は受信した映像データを記憶部３０２に記憶させる。映像受信部３０１は図２に示すネットワークＩ／Ｆ１０６等により実現される。
The video receiving unit 301 is a part that performs data communication with each of the imaging devices 2a to 2f via the network 4 and receives video data from each of the imaging devices 2a to 2f. The video receiving unit 301 stores the received video data in the storage unit 302. The video receiving unit 301 is realized by the network I / F 106 shown in FIG.
記憶部３０２は映像受信部３０１により受信された映像データ、各種設定情報、後述する時刻情報等を記憶する部分である。記憶部３０２は映像受信部３０１により受信された映像データがどの撮像装置２ａ〜２ｆにより生成された映像データであるかを識別して記憶する。記憶部３０２は例えば図２に示す外部記憶装置１０４、ＤＶＤドライブ１０９、ＤＶＤ１１０等により実現される。
The storage unit 302 is a part that stores the video data received by the video receiving unit 301, various setting information, time information to be described later, and the like. The storage unit 302 identifies and stores which imaging device 2a to 2f the video data received by the video reception unit 301 is the video data. The storage unit 302 is realized by the external storage device 104, the DVD drive 109, the DVD 110, etc. shown in FIG.
入力部３０３は情報処理装置２５３が実行する正否判定及びその他の処理に関する操作入力を行う部分である。入力部３０３は図２に示すキーボード１０７、マウス１０８等により実現される。
The input unit 303 is a part for performing an operation input regarding correctness determination and other processing executed by the information processing apparatus 253. The input unit 303 is realized by the keyboard 107, the mouse 108, and the like shown in FIG.
第１再生部３０４はユーザにより操作される入力部３０３からの操作信号に従って、記憶部３０２から取得した映像データを表示制御部３３１に送り、表示制御部３３１に対して撮像装置２ａ〜２ｆの撮像映像を表示部３３３に再生表示させる部分である。具体的には、第１再生部３０４は、図１９等で後述する、表示部３３３に表示される設定画面５００の設定用映像表示部５０２に各撮像装置２ａ〜２ｆの撮像映像を再生表示させる。第１再生部３０４は図２に示すＣＰＵ１０１等により実現される。
The first playback unit 304 sends the video data acquired from the storage unit 302 to the display control unit 331 in accordance with an operation signal from the input unit 303 operated by the user, and the imaging devices 2a to 2f capture the image with respect to the display control unit 331. This is a part for reproducing and displaying the video on the display unit 333. Specifically, the first reproduction unit 304 reproduces and displays the captured images of the imaging devices 2a to 2f on the setting image display unit 502 of the setting screen 500 displayed on the display unit 333, which will be described later with reference to FIG. . The first reproduction unit 304 is realized by the CPU 101 shown in FIG.
トリガ領域指定部３０５はユーザにより操作される入力部３０３からの操作信号に従って、表示部３３３における撮像映像の表示領域（図１９等で後述する設定用映像表示部５０２）においてトリガのタイミングを決定するトリガ領域を指定する部分である。トリガ領域指定部３０５は指定したトリガ領域の情報を撮像装置２ａ〜２ｆ毎に関連付けて記憶部３０２に記憶させる。トリガ領域の情報とは、例えば撮像映像の表示領域におけるトリガ領域の位置を示す座標、トリガ領域の形状等の情報である。トリガ領域指定部３０５により指定されたトリガ領域は後述する瞬間検知機能で使用される。トリガ領域指定部３０５は図２に示すＣＰＵ１０１等により実現される。
The trigger area designating unit 305 determines the trigger timing in the display area of the captured video on the display unit 333 (setting video display unit 502 described later in FIG. 19 and the like) in accordance with an operation signal from the input unit 303 operated by the user. This is the part that specifies the trigger area. The trigger area designating unit 305 stores information on the designated trigger area in the storage unit 302 in association with each of the imaging devices 2a to 2f. The trigger area information is information such as coordinates indicating the position of the trigger area in the display area of the captured image, the shape of the trigger area, and the like. The trigger area specified by the trigger area specifying unit 305 is used in an instantaneous detection function described later. The trigger area specifying unit 305 is realized by the CPU 101 shown in FIG.
変化点検出部３０６は第１の実施の形態に係る変化点検出部２０５に対応する部分であり、各撮像装置２ａ〜２ｆの映像データに基づいて変化点検出部２０５と同様の処理により検体の正否判定を行い、その判定結果に基づいて変化点を検出する部分である。すなわち、変化点検出部３０６は、第１の実施の形態に係る変化点検出部２０５と同様に、基準画像と検知画像とを取得する処理（取得部２１１に相当）、基準画素値と検知画素値とを比較する処理（比較部２１２に相当）、比較結果に基づいて各画素値の差分が所定値未満の検知画素値を基準画素値に変換するように検知画像を補正する処理（補正部２１３に相当）、及び基準画像と補正後の検知画像との間の画像的特徴の相違度に基づいて検体の正否判定を行う処理（判定部２１４に相当）を行う。変化点検出部３０６による検出結果は後述するトリガ生成部３１３、検知領域判定部３１４、及び常時検知領域判定部３１５における処理に利用される。
The change point detection unit 306 is a part corresponding to the change point detection unit 205 according to the first embodiment. Based on the video data of each of the imaging devices 2a to 2f, the change point detection unit 306 is processed by the same process as the change point detection unit 205. This is a part that performs correct / incorrect determination and detects a change point based on the determination result. That is, the change point detection unit 306, like the change point detection unit 205 according to the first embodiment, obtains a reference image and a detection image (corresponding to the acquisition unit 211), a reference pixel value, and a detection pixel. A process of comparing values (corresponding to the comparison unit 212), and a process of correcting the detection image so as to convert a detection pixel value having a difference between pixel values less than a predetermined value into a reference pixel value based on the comparison result (correction unit) 213) and a process (corresponding to the determination unit 214) for determining whether the specimen is correct or not based on the difference in image characteristics between the reference image and the detected image after correction. The detection result by the change point detection unit 306 is used for processing in a trigger generation unit 313, a detection region determination unit 314, and a constant detection region determination unit 315 described later.
本実施の形態に係る変化点検出部３０６はトリガ領域指定部３０５によりトリガ領域が指定された場合、指定された時点で第１再生部３０４が再生表示している撮像映像のフレームの時刻の前後の所定時間分のフレームを取得し、取得されたフレームの中から基準画像となるフレームと検知画像となるフレームとを設定する。その後、変化点検出部３０６は、第１の実施の形態に係る変化点検出部２０５と同様に、基準画像の各画素値（基準画素値）と検知画像の各画素値（検知画素値）とを比較し、各画素値の比較結果に基づいて検知画像を補正し、基準画像と補正後の検知画像との間の画像的特徴の相違度に基づいてトリガ領域内の検体の正否判定を行い、正否判定の結果に基づいてトリガ領域内の画像についての変化点を検出する。このとき、フレームがグレースケールの画像である場合、画素値は輝度値と一致するので、２つのフレームのトリガ領域における輝度値を比較してもよい。フレームがＲＧＢの画素値で構成された画像である場合、Ｒ、Ｇ、又はＢのいずれかの画素値を比較してもよい。フレームの画像におけるエッジ検出処理を行い、エッジ部分の合計を算出してもよい。変化点検出部３０６は図２に示すＣＰＵ１０１等により実現される。
When the trigger area is designated by the trigger area designation unit 305, the change point detection unit 306 according to the present embodiment is before and after the time of the frame of the captured video that the first reproduction unit 304 reproduces and displays at the designated time point. Frames for a predetermined time are acquired, and a frame to be a reference image and a frame to be a detection image are set from the acquired frames. After that, the change point detection unit 306, like the change point detection unit 205 according to the first embodiment, each pixel value (reference pixel value) of the reference image and each pixel value (detection pixel value) of the detection image. The detected image is corrected based on the comparison result of each pixel value, and the correctness of the specimen in the trigger region is determined based on the difference in image characteristics between the reference image and the corrected detected image. Based on the result of the correct / incorrect determination, a change point for the image in the trigger area is detected. At this time, if the frame is a grayscale image, the pixel value matches the luminance value, and therefore the luminance values in the trigger regions of the two frames may be compared. When the frame is an image composed of RGB pixel values, any one of R, G, or B pixel values may be compared. An edge detection process may be performed on the image of the frame to calculate the sum of the edge portions. The change point detection unit 306 is realized by the CPU 101 shown in FIG.
検知領域指定部３０７はユーザにより操作される入力部３０３からの操作信号に従って、表示部３３３における撮像映像の表示領域（設定用映像表示部５０２）において異常を検知する正否判定動作の対象となる検知領域を指定する部分である。検知領域指定部３０７は指定した検知領域の情報を撮像装置２ａ〜２ｆ毎に関連付けて記憶部３０２に記憶させる。検知領域の情報とは、例えば撮像映像の表示領域における検知領域の位置を示す座標、検知領域の形状等の情報である。検知領域指定部３０７は後述するように、撮像映像の表示領域において複数の検知領域を指定することができる。検知領域指定部３０７により指定された検知領域は後述する瞬間検知機能で使用される。検知領域指定部３０７は図２に示すＣＰＵ１０１等により実現される。
The detection area designating unit 307 is a detection target for correctness determination operation for detecting an abnormality in the display area of the captured video (setting video display section 502) on the display unit 333 in accordance with an operation signal from the input unit 303 operated by the user. This is the part that specifies the area. The detection area designating unit 307 stores information on the designated detection area in the storage unit 302 in association with each of the imaging devices 2a to 2f. The detection area information is information such as coordinates indicating the position of the detection area in the display area of the captured image, the shape of the detection area, and the like. As will be described later, the detection area designating unit 307 can designate a plurality of detection areas in the display area of the captured video. The detection area designated by the detection area designation unit 307 is used in an instantaneous detection function described later. The detection area designating unit 307 is realized by the CPU 101 shown in FIG.
設定部３０８はユーザにより操作される入力部３０３からの操作信号に従って、各種設定情報を設定して記憶部３０２に記憶させる部分である。設定部３０８は設定した設定情報のうち表示する必要がある情報を記憶部３０２から表示制御部３３１に送り、表示制御部３３１に対して設定情報を表示部３３３に表示させる。設定部３０８は図２に示すＣＰＵ１０１等により実現される。
The setting unit 308 is a part that sets various setting information according to an operation signal from the input unit 303 operated by the user and stores the setting information in the storage unit 302. The setting unit 308 sends information that needs to be displayed out of the set setting information from the storage unit 302 to the display control unit 331, and causes the display control unit 331 to display the setting information on the display unit 333. The setting unit 308 is realized by the CPU 101 shown in FIG.
常時検知領域指定部３０９はユーザにより操作される入力部３０３からの操作信号に従って、表示部３３３における撮像映像の表示領域（設定用映像表示部５０２）において、常時異常を検知する正否判定動作の対象となる常時検知領域を指定する部分である。常時検知領域指定部３０９は指定した常時検知領域の情報を撮像装置２ａ〜２ｆ毎に関連付けて記憶部３０２に記憶させる。常時検知領域の情報とは、例えば撮像映像の表示領域における常時検知領域の位置を示す座標、常時検知領域の形状等の情報である。常時検知領域指定部３０９により指定された常時検知領域は後述する常時検知機能で使用される。常時検知領域指定部３０９は図２に示すＣＰＵ１０１等により実現される。
The always-detection area designating unit 309 is a target of correctness determination operation that always detects an abnormality in the display region of the captured image (setting image display unit 502) in the display unit 333 in accordance with an operation signal from the input unit 303 operated by the user. This is the part that designates the always-on detection area. The always-detection area designating unit 309 stores the designated always-sensing area information in the storage unit 302 in association with each of the imaging devices 2a to 2f. The information on the always-detection area is information such as coordinates indicating the position of the always-detection area in the display area of the captured image, the shape of the always-detection area, and the like. The always-detection area designated by the always-sensing area designating unit 309 is used by the always-on detection function described later. The constant detection area designating unit 309 is realized by the CPU 101 shown in FIG.
映像振分部３１２はユーザにより操作される入力部３０３からの操作信号に従って、映像受信部３０１から取得したリアルタイムの映像データを表示制御部３３１に送り、表示制御部３３１に対して撮像映像を表示部３３３に表示させる部分である。具体的には、映像振分部３１２は図１８等で後述する、表示部３３３に表示されるウォッチャ画面４００の映像表示部４０１ａ〜４０１ｆに、対応する撮像映像を振り分けて表示させる。映像振分部３１２は映像表示部４０１に表示させる各映像データを記憶部３０２に記憶（録画）させる。映像振分部３１２は図２に示すＣＰＵ１０１等により実現される。
The video distribution unit 312 sends real-time video data acquired from the video receiving unit 301 to the display control unit 331 according to an operation signal from the input unit 303 operated by the user, and displays the captured video on the display control unit 331. This is a part to be displayed on the part 333. Specifically, the video distribution unit 312 distributes and displays the corresponding captured video on the video display units 401a to 401f of the watcher screen 400 displayed on the display unit 333, which will be described later with reference to FIG. The video distribution unit 312 stores (records) each video data to be displayed on the video display unit 401 in the storage unit 302. The video distribution unit 312 is realized by the CPU 101 shown in FIG.
トリガ生成部３１３は監視動作が開始された後、後述する図３０のウォッチャ画面４００の映像表示部４０１ａ〜４０１ｆにおけるトリガ領域において、差分画像と撮像映像のフレームのトリガ領域の画像とを比較して、トリガのタイミングでトリガ信号を生成する部分である。当該トリガ信号を生成するタイミングであるか否かの判定は上述した変化点検出部３０６による検出結果に基づいて行われる。トリガ生成部３１３は図２に示すＣＰＵ１０１等により実現される。
After the monitoring operation is started, the trigger generation unit 313 compares the difference image with the image of the trigger region of the frame of the captured video in the trigger region in the video display units 401a to 401f of the watcher screen 400 shown in FIG. This is the part that generates the trigger signal at the trigger timing. The determination as to whether or not it is the timing to generate the trigger signal is made based on the detection result by the change point detection unit 306 described above. The trigger generation unit 313 is realized by the CPU 101 shown in FIG.
検知領域判定部３１４はトリガ生成部３１３により生成されたトリガ信号を受け取ったときの設定時間前又は設定時間後に、上述の映像表示部４０１ａ〜４０１ｆにおける検知領域において、基準画像と撮像映像のフレームの検知領域の画像（検知画像）とを比較して、異常であるか否かの判定をする部分である。当該異常であるか否かの判定は上述した変化点検出部３０６による検出結果に基づいて行われる。検知領域判定部３１４は図２に示すＣＰＵ１０１等により実現される。
The detection area determination unit 314 receives the trigger signal generated by the trigger generation unit 313 before or after the set time in the detection area of the video display units 401a to 401f described above. This is a part for comparing with an image (detected image) in the detection area to determine whether or not there is an abnormality. The determination of whether or not the abnormality is present is made based on the detection result by the change point detection unit 306 described above. The detection area determination unit 314 is realized by the CPU 101 shown in FIG.
常時検知領域判定部３１５は監視動作が開始された後、後述する図３０のウォッチャ画面４００の映像表示部４０１ａ〜４０１ｆにおける常時検知領域において、基準画像と撮像映像データのフレームの常時検知領域の画像（検知画像）とを比較して、異常であるか否かの判定を常時実行する部分である。当該異常であるか否かの判定は上述した変化点検出部３０６による検出結果に基づいて行われる。常時検知領域判定部３１５は図２に示すＣＰＵ１０１等により実現される。
After the monitoring operation is started, the constant detection area determination unit 315 is an image of the constant detection area of the frame of the reference image and the captured video data in the constant detection area in the video display units 401a to 401f of the watcher screen 400 of FIG. (Detected image) is compared with the detected image to determine whether or not it is abnormal. The determination of whether or not the abnormality is present is made based on the detection result by the change point detection unit 306 described above. The constant detection area determination unit 315 is realized by the CPU 101 shown in FIG.
第１制御部３１６はユーザにより操作される入力部３０３からの操作信号に従って、後述する図３０のウォッチャ画面４００において監視動作の開始及び停止を行うことの他、ウォッチャ画面４００の動作全体を制御する部分である。第１制御部３１６は図２に示すＣＰＵ１０１等により実現される。
The first control unit 316 controls the overall operation of the watcher screen 400 in addition to starting and stopping the monitoring operation on the watcher screen 400 of FIG. 30 described later in accordance with an operation signal from the input unit 303 operated by the user. Part. The first control unit 316 is realized by the CPU 101 shown in FIG.
報知制御部３１７は検知領域判定部３１４による検知領域の判定の結果に基づいて報知部３３４に音声を出力させる部分である。報知制御部３１７は図２に示すＣＰＵ１０１等により実現される。
The notification control unit 317 is a part that causes the notification unit 334 to output a sound based on the detection region determination result by the detection region determination unit 314. The notification control unit 317 is realized by the CPU 101 shown in FIG.
第２再生部３１８はユーザにより操作される入力部３０３からの操作信号に従って、記憶部３０２から取得した映像データを表示制御部３３１に送り、表示制御部３３１に対して撮像映像を表示部３３３に再生表示させる部分である。具体的には、第２再生部３１８は図３９等で後述する、表示部３３３に表示されるビューワ画面７００の映像表示部７０１ａ〜７０１ｆに、対応する撮像映像を振り分けて再生表示させる。第２再生部３１８は図２に示すＣＰＵ１０１等により実現される。
The second playback unit 318 sends the video data acquired from the storage unit 302 to the display control unit 331 according to the operation signal from the input unit 303 operated by the user, and the captured video is displayed on the display unit 333 with respect to the display control unit 331. This is the part that is displayed for playback. Specifically, the second playback unit 318 distributes and plays back the corresponding captured video on the video display units 701a to 701f of the viewer screen 700 displayed on the display unit 333, which will be described later with reference to FIG. The second reproduction unit 318 is realized by the CPU 101 shown in FIG.
領域表示制御部３１９は記憶部３０３に記憶された各領域（トリガ領域、検知領域、及び常時検知領域）の検知時刻の情報（時刻情報）に基づいて、ビューワ画面７００の映像表示部７０１ａ〜７０１ｆに再生表示されている撮像映像のフレームに重畳して各領域の状態を表示する部分である。領域表示制御部３１９は図２に示すＣＰＵ１０１等により実現される。
The area display control unit 319 is based on the information (time information) of the detection time of each area (trigger area, detection area, and constant detection area) stored in the storage unit 303, and the video display units 701a to 701f of the viewer screen 700. This is a part for displaying the state of each region superimposed on the frame of the captured video being reproduced and displayed. The area display control unit 319 is realized by the CPU 101 shown in FIG.
リスト制御部３２０はビューワ画面７００で記憶部３０２に記憶されたマーカファイルを読み出し、マーカファイルの内容を表示させる図４１で後述するマーカリスト画面８００を表示する部分である。マーカファイルとは、常時検知機能により異常が検知された時刻、並びに瞬間検知機能によりトリガが発生した（トリガ信号が生成された）時刻及び異常が検知された時刻が時系列に記録されたファイルである。リスト制御部３２０は図２に示すＣＰＵ１０１等により実現される。
The list control unit 320 is a part that displays a marker list screen 800, which will be described later with reference to FIG. 41, that reads the marker file stored in the storage unit 302 on the viewer screen 700 and displays the contents of the marker file. A marker file is a file in which the time when an abnormality is detected by the constant detection function, the time when the trigger is generated (trigger signal is generated) and the time when the abnormality is detected are recorded in time series. is there. The list control unit 320 is realized by the CPU 101 shown in FIG.
第２制御部３２１はビューワ画面７００の動作全体を制御する部分である。第２制御部３２１は図２に示すＣＰＵ１０１等により実現される。
The second control unit 321 is a part that controls the entire operation of the viewer screen 700. The second control unit 321 is realized by the CPU 101 shown in FIG.
表示制御部３３１は表示部３３３の表示動作を制御する部分である。具体的には、表示制御部３３１は第１再生部３０４により取得された映像データ、設定部３０８により設定された設定情報、トリガ領域指定部３０５により指定されたトリガ領域、検知領域指定部３０７により指定された検知領域等を表示部３３３に表示させる。表示制御部３３１は図２に示すＣＰＵ１０１等により実現される。
The display control unit 331 is a part that controls the display operation of the display unit 333. Specifically, the display control unit 331 uses the video data acquired by the first playback unit 304, the setting information set by the setting unit 308, the trigger region specified by the trigger region specifying unit 305, and the detection region specifying unit 307. The designated detection area or the like is displayed on the display unit 333. The display control unit 331 is realized by the CPU 101 shown in FIG.
外部出力部３３２は検知領域判定部３１４又は常時検知領域判定部３１５により異常の判定がされた場合に異常信号を外部機器１０に出力する部分である。外部出力部３３２は図２に示す外部機器Ｉ／Ｆ１１１等により実現される。なお、外部出力部３３２は異常信号を出力するものとしているが、これに限定されるものではなく、メールで異常を通知するためのバッチファイルを外部機器１０に送信したり、ウォッチャ画面４００上に異常を報知（例えばランプアイコンで点滅表示）したりする処置を行うものとしてもよい。
The external output unit 332 is a part that outputs an abnormal signal to the external device 10 when an abnormality is determined by the detection region determination unit 314 or the constant detection region determination unit 315. The external output unit 332 is realized by the external device I / F 111 shown in FIG. Note that the external output unit 332 outputs an abnormality signal, but the present invention is not limited to this, and a batch file for notifying abnormality by e-mail is transmitted to the external device 10 or displayed on the watcher screen 400. It is good also as what performs alerting | reporting (for example, blinking display with a lamp icon).
表示部３３３は表示制御部３３１の制御に従って各種データを表示する部分である。表示部３３３は本実施の形態では特に図２に示すＣＰＵ１０１により実行されるプログラム（アプリケーション）により、後述するウォッチャ画面４００、設定画面５００、ビューワ画面７００等を表示する。表示部３３３は図２に示すディスプレイ１０５等により実現される。
The display unit 333 is a part that displays various data according to the control of the display control unit 331. In the present embodiment, the display unit 333 displays a watcher screen 400, a setting screen 500, a viewer screen 700, and the like, which will be described later, particularly by a program (application) executed by the CPU 101 shown in FIG. The display unit 333 is realized by the display 105 shown in FIG.
報知部３３４は報知制御部３１７の制御に従って音声を出力する部分である。報知部３３４は図２に示すスピーカ１１２等により実現される。
The notification unit 334 is a part that outputs sound in accordance with the control of the notification control unit 317. The notification unit 334 is realized by the speaker 112 shown in FIG.
図１６に示した第１再生部３０４、トリガ領域指定部３０５、変化点検出部３０６、検知領域指定部３０７、設定部３０８、常時検知領域指定部３０９、映像振分部３１２、トリガ生成部３１３、検知領域判定部３１４、常時検知領域判定部３１５、第１制御部３１６、報知制御部３１７、第２再生部３１８、領域表示制御部３１９、リスト制御部３２０、第２制御部３２１、及び表示制御部３３１の一部又は全部は、ソフトウェア（プログラム）により制御されるＣＰＵ１０１ではなく、ＡＳＩＣ、ＦＰＧＡ等のハードウェア回路によって実現されてもよい。
The first playback unit 304, trigger region designation unit 305, change point detection unit 306, detection region designation unit 307, setting unit 308, constant detection region designation unit 309, video distribution unit 312, and trigger generation unit 313 shown in FIG. , Detection region determination unit 314, constant detection region determination unit 315, first control unit 316, notification control unit 317, second reproduction unit 318, region display control unit 319, list control unit 320, second control unit 321 and display A part or all of the control unit 331 may be realized not by the CPU 101 controlled by software (program) but by a hardware circuit such as ASIC or FPGA.
図１６に示した各機能部は機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図１６で独立した機能部として図示した複数の機能部を１つの機能部として構成してもよい。図１６の１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
Each functional unit shown in FIG. 16 conceptually shows a function, and is not limited to such a configuration. For example, a plurality of functional units illustrated as independent functional units in FIG. 16 may be configured as one functional unit. 16 may be divided into a plurality of functions and configured as a plurality of function units.
（記憶部に記憶される情報のディレクトリ構造）
図１７は、第２の実施の形態に係る情報処理装置２５３において記憶部３０２に記憶される情報のディレクトリ構造の例を示す図である。図１７を参照しながら、記憶部３０２で情報を管理するためのディレクトリ構造について説明する。
(Directory structure of information stored in the storage unit)
FIG. 17 is a diagram illustrating an example of a directory structure of information stored in the storage unit 302 in the information processing device 253 according to the second embodiment. A directory structure for managing information in the storage unit 302 will be described with reference to FIG.
図１７に示すように、記憶部３０２はルートフォルダとして「Ｓｅｔｔｉｎｇ」フォルダと「Ｃｏｍｍｏｎ」フォルダとを形成している。「Ｓｅｔｔｉｎｇ」フォルダの中には、各撮像装置２ａ〜２ｆに関する情報を保存するための「ＣＡＭ１」〜「ＣＡＭ６」フォルダ（以下、単に「カメラフォルダ」と総称する）が形成されている。「ＣＡＭ１」〜「ＣＡＭ６」フォルダはそれぞれ撮像装置２ａ〜２ｆに関するフォルダに相当する。
As illustrated in FIG. 17, the storage unit 302 forms a “Setting” folder and a “Common” folder as root folders. In the “Setting” folder, “CAM1” to “CAM6” folders (hereinafter simply referred to as “camera folders”) for storing information on the imaging devices 2a to 2f are formed. The “CAM1” to “CAM6” folders correspond to folders related to the imaging devices 2a to 2f, respectively.
各カメラフォルダには領域情報ファイル、時刻情報ファイル、及び画像データが保存される。領域情報ファイルは対応する撮像装置２ａ〜２ｆについて設定された各領域の位置情報（位置を示す座標及び領域の形状等の情報）及び後述する属性情報を含むファイルである。時刻情報ファイルは対応する撮像装置２ａ〜２ｆについて監視動作が開始及び終了した時刻、各領域が指定（設定）された時刻、及び監視動作中に各領域が検知した時刻を含むファイルである。画像データは後述する基準画像、差分画像等のデータである。
Each camera folder stores an area information file, a time information file, and image data. The area information file is a file including position information (information such as coordinates indicating the position and shape of the area) of each area set for the corresponding imaging devices 2a to 2f and attribute information described later. The time information file is a file including the time when the monitoring operation is started and ended for the corresponding imaging devices 2a to 2f, the time when each area is designated (set), and the time detected by each area during the monitoring operation. The image data is data such as a reference image and a difference image described later.
「Ｃｏｍｍｏｎ」フォルダには上述のマーカファイルが保存される。
The above-described marker file is stored in the “Common” folder.
なお、図１７に示すディレクトリ構造は一例であり、これに限定されるものではなく、その他のデータ構造によって情報が管理されるものとしてもよい。図１７に示すフォルダの名称も一例であり、これらに限定されるものではない。
Note that the directory structure shown in FIG. 17 is an example, and the present invention is not limited to this, and information may be managed by other data structures. The name of the folder shown in FIG. 17 is also an example, and is not limited to these.
（ウォッチャ画面の構成）
図１８は、第２の実施の形態に係る情報処理装置２５３の表示部３３３に表示されるウォッチャ画面４００において複数のリアルタイムの撮像映像が表示される例を示す図である。図１８を参照しながら、ウォッチャ画面４００の構成及び複数のリアルタイムの撮像映像が表示される動作について説明する。
(Watcher screen configuration)
FIG. 18 is a diagram illustrating an example in which a plurality of real-time captured images are displayed on the watcher screen 400 displayed on the display unit 333 of the information processing device 253 according to the second embodiment. The configuration of the watcher screen 400 and the operation for displaying a plurality of real-time captured images will be described with reference to FIG.
ＣＰＵ１０１により実行されるプログラム（アプリケーション）により、図１８に示すウォッチャ画面４００が表示部３３３に表示される。ウォッチャ画面４００は複数の撮像装置２ａ〜２ｆが撮像している撮像映像をリアルタイムに表示し、正否判定が実行されている場合には、指定された各領域において正否判定が実行される画面である。具体的には、ウォッチャ画面４００では、監視動作が実行されている場合、トリガ領域指定部３０５により指定されたトリガ領域においてトリガ生成部３１３によりトリガのタイミングでトリガ信号が生成される。また、ウォッチャ画面４００では、検知領域判定部３１４によりトリガ信号を受け取ったときの設定時間前又は設定時間後に、検知領域指定部３０７により指定された検知領域においてワークの正否判定が行われる。また、ウォッチャ画面４００では、監視動作が実行されている場合、常時検知領域判定部３１５により、常時検知領域指定部３０９により指定された常時検知領域においてワークの正否判定が常時行われる。
A watcher screen 400 shown in FIG. 18 is displayed on the display unit 333 by a program (application) executed by the CPU 101. The watcher screen 400 is a screen that displays captured images captured by the plurality of imaging devices 2a to 2f in real time, and when correct / incorrect determination is performed, correct / incorrect determination is performed in each designated area. . Specifically, on the watcher screen 400, when a monitoring operation is being performed, a trigger signal is generated at the trigger timing by the trigger generation unit 313 in the trigger region specified by the trigger region specifying unit 305. On the watcher screen 400, whether the workpiece is correct or not is determined in the detection area designated by the detection area designation unit 307 before or after the set time when the trigger signal is received by the detection area judgment unit 314. On the watcher screen 400, when a monitoring operation is being performed, the always-detection area determination unit 315 always determines whether the workpiece is correct in the always-detection area designated by the always-detection area designating unit 309.
図１８に示すように、ウォッチャ画面４００は映像表示部４０１ａ〜４０１ｆ、監視開始ボタン４１１、監視停止ボタン４１２、監視設定ボタン４１３、及び状態表示部４２１ａ〜４２１ｆを含む。
As shown in FIG. 18, the watcher screen 400 includes video display units 401a to 401f, a monitoring start button 411, a monitoring stop button 412, a monitoring setting button 413, and status display units 421a to 421f.
映像表示部４０１ａ〜４０１ｆはユーザにより操作される入力部３０３からの操作信号に従って、映像振分部３１２により撮像装置２ａ〜２ｆから映像受信部３０１を介して取得されたリアルタイムの撮像映像がそれぞれ表示される表示部である。映像表示部４０１ａ〜４０１ｆはユーザによる入力部３０３の操作によって押下（例えば、マウス１０８のクリック操作等、以下同様）されると、選択状態にすることができる。なお、映像表示部４０１ａ〜４０１ｆを区別なく呼称する場合又は総称する場合、単に「映像表示部４０１」というものとする。
The video display units 401a to 401f display real-time captured video images acquired from the imaging devices 2a to 2f via the video reception unit 301 by the video distribution unit 312 according to an operation signal from the input unit 303 operated by the user. It is a display part. The video display units 401a to 401f can be in a selected state when pressed by an operation of the input unit 303 by the user (for example, click operation of the mouse 108, etc.). Note that the video display units 401a to 401f are simply referred to as the “video display unit 401” when referred to collectively or collectively.
監視開始ボタン４１１がユーザによる入力部３０３の操作によって押下されると、リアルタイムの撮像映像が表示されている選択状態の映像表示部４０１内のトリガ領域指定部３０５により指定されたトリガ領域において、トリガ生成部３１３によりトリガのタイミングでトリガ信号が生成され、検知領域判定部３１４によりトリガ信号を受け取ったときの設定時間前又は設定時間後に検知領域における異常の有無の判定が開始される。また、リアルタイムの撮像映像が表示されている選択状態の映像表示部４０１内の常時検知領域指定部３０９により指定された常時検知領域における異常の有無の判定が開始される。
When the monitoring start button 411 is pressed by an operation of the input unit 303 by the user, a trigger is triggered in the trigger region specified by the trigger region specifying unit 305 in the selected video display unit 401 where a real-time captured video is displayed. The generation unit 313 generates a trigger signal at the trigger timing, and the detection region determination unit 314 starts determining whether there is an abnormality in the detection region before or after the set time when the trigger signal is received. In addition, determination of the presence or absence of abnormality in the always-detection area designated by the always-detection area designating unit 309 in the video display unit 401 in the selected state where the real-time captured image is displayed is started.
監視停止ボタン４１２がユーザによる入力部３０３の操作によって押下されると、選択状態の映像表示部４０１内のトリガ生成部３１３によるトリガのタイミングでのトリガ信号の生成動作、検知領域判定部３１４による検知領域における異常の有無の判定動作、及び常時検知領域判定部３１５による常時検知領域における異常の有無の判定動作が停止する。
When the monitor stop button 412 is pressed by an operation of the input unit 303 by the user, a trigger signal generation operation at the trigger timing by the trigger generation unit 313 in the video display unit 401 in the selected state, and detection by the detection region determination unit 314 The operation for determining whether there is an abnormality in the region and the operation for determining whether there is an abnormality in the constantly detected region by the always detecting region determining unit 315 are stopped.
監視設定ボタン４１３がユーザによる入力部３０３の操作によって押下されると、各領域を設定するために、第１制御部３１６により後述の図１９等に示す設定画面５００が表示部３３３に表示される。
When the monitor setting button 413 is pressed by the operation of the input unit 303 by the user, a setting screen 500 shown in FIG. 19 and the like described later is displayed on the display unit 333 by the first control unit 316 in order to set each area. .
状態表示部４２１ａ〜４２１ｆは各映像表示部４０１に対応する撮像装置２ａ〜２ｆについての状態を示す表示部である。例えば、状態表示部４２１ａ〜４２１ｆには「未接続」、「未設定」、「設定完了」、「監視中」等の撮像装置２ａ〜２ｆについての状態を示す内容が表示される。「未接続」とは、映像表示部４０１に対応する撮像装置２ａ〜２ｆが画像処理システム２５１に接続されていない状態を示し、映像表示部４０１には撮像映像が表示されていない状態を示す。「未設定」とは、映像表示部４０１に表示されている撮像映像についてトリガ領域、検知領域、及び常時検知領域等の設定がなされていない状態を示す。「設定完了」とは、映像表示部４０１に表示されている撮像映像についてトリガ領域、検知領域、常時検知領域等の設定が完了している状態を示す。「監視中」とは、設定された各領域の情報に基づいて正否判定動作が実行中である状態を示す。なお、状態表示部４２１ａ〜４２１ｆを区別なく呼称する場合又は総称する場合、単に「状態表示部４２１」というものとする。
The status display units 421a to 421f are display units that indicate the status of the imaging devices 2a to 2f corresponding to the video display units 401. For example, the status display units 421a to 421f display the contents indicating the status of the imaging devices 2a to 2f such as “not connected”, “not set”, “setting completed”, and “monitoring”. “Not connected” indicates a state in which the imaging devices 2 a to 2 f corresponding to the video display unit 401 are not connected to the image processing system 251, and a state in which no captured video is displayed on the video display unit 401. “Not set” indicates a state in which a trigger area, a detection area, a constant detection area, and the like are not set for the captured video displayed on the video display unit 401. “Setting completed” indicates a state in which settings of a trigger area, a detection area, a constant detection area, and the like have been completed for the captured video displayed on the video display unit 401. “Monitoring” indicates a state in which the correctness determination operation is being executed based on the set information of each area. In addition, when calling the status display parts 421a-421f without distinction, or when referring generically, it shall only be called "the status display part 421."
（設定画面の構成）
図１９は、第２の実施の形態に係る情報処理装置２５３の表示部３３３に表示される設定画面５００で撮像映像が表示される状態の例を示す図である。図１９及び後述する図２１を参照しながら、設定画面５００の構成について説明する。
(Configuration of configuration screen)
FIG. 19 is a diagram illustrating an example of a state in which a captured image is displayed on the setting screen 500 displayed on the display unit 333 of the information processing device 253 according to the second embodiment. The configuration of the setting screen 500 will be described with reference to FIG. 19 and FIG.
設定画面５００はトリガ領域、検知領域、及び常時検知領域の指定、並びに検知領域及び常時検知領域における正否判定の感度及び閾値等を設定する画面である。図１９に示す設定画面５００は常時検知機能について設定するための画面であり、カメラ選択タブ５０１、設定用映像表示部５０２、再生ボタン５０３ａ、一時停止ボタン５０３ｂ、早送りボタン５０３ｃ、早戻しボタン５０３ｄ、停止ボタン５０３ｅ、シークバー５０４、スライダー５０５、時刻表示部５０６、設定読出ボタン５１１、設定書込ボタン５１２、設定反映ボタン５１３、閉じるボタン５１４、領域選択タブ５５１、常時検知領域情報部５６１、及び常時検知領域ボタン群５６２を含む。
The setting screen 500 is a screen for setting a trigger region, a detection region, and a constant detection region, and a sensitivity and a threshold value for determining whether the detection region and the constant detection region are correct. A setting screen 500 shown in FIG. 19 is a screen for setting the constant detection function. The camera selection tab 501, the setting video display unit 502, the play button 503 a, the pause button 503 b, the fast forward button 503 c, the fast reverse button 503 d, A stop button 503e, a seek bar 504, a slider 505, a time display unit 506, a setting read button 511, a setting write button 512, a setting reflection button 513, a close button 514, an area selection tab 551, a constant detection area information part 561, and a constant detection A region button group 562 is included.
カメラ選択タブ５０１はユーザがトリガ領域、検知領域、及び常時検知領域の指定を所望する撮像装置２ａ〜２ｆの撮像映像のうちいずれの撮像映像を設定用映像表示部５０２に表示させるのかを選択する操作部である。例えば、撮像装置２ａ〜２ｆによって撮像された撮像映像はそれぞれ「１」〜「６」に対応付けられており、図１９の例では「６」すなわち撮像装置２ｆの撮像映像が選択されている。
The camera selection tab 501 selects which captured image is to be displayed on the setting image display unit 502 from the captured images of the imaging devices 2a to 2f that the user desires to specify the trigger region, the detection region, and the constant detection region. It is an operation unit. For example, the captured images captured by the imaging devices 2a to 2f are associated with “1” to “6”, respectively, and “6”, that is, the captured image of the imaging device 2f is selected in the example of FIG.
設定用映像表示部５０２は第１再生部３０４によって、ユーザにより操作される入力部３０３からの操作信号に従って記憶部３０２から取得された撮像映像が再生表示される表示部である。図１９の例では、第１再生部３０４は「６」のカメラ選択タブ５０１が選択操作されたことにより、撮像装置２ｆにより撮像された撮像映像を設定用映像表示部５０２に再生表示させている。
The setting video display unit 502 is a display unit on which the first playback unit 304 plays back and displays the captured video acquired from the storage unit 302 in accordance with an operation signal from the input unit 303 operated by the user. In the example of FIG. 19, the first reproduction unit 304 reproduces and displays the captured image captured by the imaging device 2f on the setting image display unit 502 when the “6” camera selection tab 501 is selected. .
再生ボタン５０３ａがユーザによる入力部３０３の操作によって押下されると、第１再生部３０４により、設定用映像表示部５０２に表示された撮像映像の再生が開始される。一時停止ボタン５０３ｂがユーザによる入力部３０３の操作によって押下されると、第１再生部３０４により、設定用映像表示部５０２に再生表示されている撮像映像が一時停止される。早送りボタン５０３ｃがユーザによる入力部３０３の操作によって押下されると、第１再生部３０４により、設定用映像表示部５０２に再生表示されている撮像映像が早送り表示される。早戻しボタン５０３ｄがユーザによる入力部３０３の操作によって押下されると、第１再生部３０４により、設定用映像表示部５０２に再生表示されている撮像映像が早戻し表示される。停止ボタン５０３ｅがユーザによる入力部３０３の操作によって押下されると、第１再生部３０４により、設定用映像表示部５０２に再生表示されている撮像映像が停止される。
When the playback button 503a is pressed by the user operating the input unit 303, the first playback unit 304 starts playback of the captured video displayed on the setting video display unit 502. When the pause button 503b is pressed by an operation of the input unit 303 by the user, the first playback unit 304 pauses the captured video that is played back and displayed on the setting video display unit 502. When the fast forward button 503c is pressed by the operation of the input unit 303 by the user, the first playback unit 304 displays the captured video reproduced and displayed on the setting video display unit 502 in a fast forward manner. When the fast reverse button 503d is pressed by the user operating the input unit 303, the first playback unit 304 causes the captured video displayed on the setting video display unit 502 to be displayed fast reverse. When the stop button 503e is pressed by an operation of the input unit 303 by the user, the first playback unit 304 stops the captured video displayed on the setting video display unit 502.
シークバー５０４は、その上に配置されるスライダー５０５の位置により、設定用映像表示部５０２に再生表示されている映像データがどの時間のものなのかを示す棒状の形状体である。スライダー５０５は設定用映像表示部５０２に再生表示されている撮像映像の撮像時刻（表示されているフレームが撮像された時刻）に対応したシークバー５０４上の位置にスライドする形状体且つ操作部である。スライダー５０５がユーザによる入力部３０３の操作によってスライドされると、第１再生部３０４により、スライダー５０５が存在するシークバー５０４上の位置に対応した撮像時刻の撮像映像のフレームが設定用映像表示部５０２に表示される。
The seek bar 504 is a bar-shaped body that indicates which time the video data reproduced and displayed on the setting video display unit 502 is based on the position of the slider 505 disposed thereon. The slider 505 is a shape body and an operation unit that slides to a position on the seek bar 504 corresponding to the imaging time of the captured video that is reproduced and displayed on the setting video display unit 502 (the time at which the displayed frame is captured). . When the slider 505 is slid by the operation of the input unit 303 by the user, the first playback unit 304 causes the setting video display unit 502 to display a frame of the captured video at the imaging time corresponding to the position on the seek bar 504 where the slider 505 exists. Is displayed.
時刻表示部５０６は第１再生部３０４によって設定用映像表示部５０２に再生表示されている撮像映像の撮像日時を表示する表示部である。
The time display unit 506 is a display unit that displays the imaging date and time of the captured video that is reproduced and displayed on the setting video display unit 502 by the first reproduction unit 304.
設定読出ボタン５１１がユーザによる入力部３０３の操作によって押下されると、設定部３０８により、記憶部３０２に記憶された、カメラ選択タブ５０１で選択された撮像装置２ａ〜２ｆについてのトリガ領域、検知領域、及び常時検知領域の情報等が読み出され、設定画面５００の各表示部に表示される。設定書込ボタン５１２がユーザによる入力部３０３の操作によって押下されると、設定部３０８により、設定画面５００上で設定されたトリガ領域、検知領域、及び常時検知領域の情報等がカメラ選択タブ５０１で選択された撮像装置２ａ〜２ｆに関連付けられて記憶部３０２に記憶される。設定反映ボタン５１３がユーザによる入力部３０３の操作によって押下されると、設定部３０８により、設定画面５００上で設定されたトリガ領域、検知領域、及び常時検知領域の情報等がウォッチャ画面４００及び設定画面５００等のアプリケーションが閉じられるまで有効とされる（例えばＲＡＭ１０３に一時記憶される）。
When the setting read button 511 is pressed by an operation of the input unit 303 by the user, the trigger region and detection for the imaging devices 2a to 2f selected by the camera selection tab 501 stored in the storage unit 302 by the setting unit 308 are detected. The information of the area and the constant detection area is read out and displayed on each display unit of the setting screen 500. When the setting write button 512 is pressed by an operation of the input unit 303 by the user, information on a trigger area, a detection area, a constant detection area, and the like set on the setting screen 500 by the setting unit 308 are displayed on the camera selection tab 501. Are stored in the storage unit 302 in association with the imaging devices 2a to 2f selected in step. When the setting reflection button 513 is pressed by an operation of the input unit 303 by the user, the setting unit 308 displays information on the trigger area, detection area, and always-on detection area set on the setting screen 500, and the like. It is valid until the application such as the screen 500 is closed (for example, temporarily stored in the RAM 103).
閉じるボタン５１４がユーザによる入力部３０３の操作によって押下されると、設定部３０８により、設定画面５００が閉じられ、ウォッチャ画面４００が表示部３３３に表示される。
When the close button 514 is pressed by an operation of the input unit 303 by the user, the setting unit 500 closes the setting screen 500 and the watcher screen 400 is displayed on the display unit 333.
領域選択タブ５５１は常時検知機能に用いる常時検知領域を指定するためのタブと、瞬間検知機能に用いるトリガ領域及び検知領域を指定するためのタブとによって構成されている。例えば、図１９に示す設定画面５００はユーザによる入力部３０３の操作によって常時検知領域を指定するためのタブが選択された状態を示している。一方、後述する図２１に示す設定画面５００はユーザによる入力部３０３の操作によってトリガ領域及び検知領域を指定するためのタブが選択された状態を示している。
The area selection tab 551 includes a tab for designating a constant detection area used for the constant detection function, and a tab for designating a trigger area and a detection area used for the instantaneous detection function. For example, the setting screen 500 shown in FIG. 19 shows a state in which a tab for designating a constant detection area is selected by an operation of the input unit 303 by the user. On the other hand, a setting screen 500 shown in FIG. 21, which will be described later, shows a state where a tab for designating a trigger area and a detection area is selected by an operation of the input unit 303 by the user.
常時検知領域情報部５６１は常時検知領域指定部３０９により指定された常時検知領域の名称、感度、閾値、監視方法（図１９では「監視」と表記）、及びアクションの有無（図１９では「アクション」と表記）（以下、常時検知領域についてのこれらの情報を属性情報という）を表示する表示部且つ選択操作部である。
The always-detection area information unit 561 includes the name, sensitivity, threshold, monitoring method (indicated as “monitoring” in FIG. 19) of the always-detection area specified by the always-detection area specifying unit 309, and the presence / absence of an action (in FIG. ”(Hereinafter, these pieces of information about the constant detection region are referred to as attribute information) and a selection operation unit.
常時検知領域ボタン群５６２は常時検知領域指定部３０９により指定され、常時検知領域情報部５６１に表示された常時検知領域についての属性情報を編集するボタン群である。常時検知領域ボタン群５６２はアクションボタン５６２ａ、削除ボタン５６２ｃ、感度増加ボタン５６２ｅ、感度減少ボタン５６２ｆ、閾値増加ボタン５６２ｇ、及び閾値減少ボタン５６２ｈを含む。常時検知領域ボタン群５６２の各ボタンの機能については後述する。
The always-detection area button group 562 is a button group that is designated by the always-detection area designating unit 309 and edits attribute information about the always-detection area displayed in the always-detection area information unit 561. The constantly detecting area button group 562 includes an action button 562a, a delete button 562c, a sensitivity increase button 562e, a sensitivity decrease button 562f, a threshold increase button 562g, and a threshold decrease button 562h. The function of each button of the constantly detecting area button group 562 will be described later.
後述する図２１に示す設定画面５００は上述のように、領域選択タブ５５１でトリガ領域及び検知領域を指定するためのタブが選択された状態を示しており、トリガ領域情報部５０７、基準画像表示部５０８ａ、差分画像表示部５０８ｂ、検知領域情報部５０９、及び検知領域ボタン群５１０を有する。
A setting screen 500 shown in FIG. 21 to be described later shows a state where a tab for designating a trigger area and a detection area is selected on the area selection tab 551 as described above, and a trigger area information section 507, a reference image display, and the like. A section 508a, a difference image display section 508b, a detection area information section 509, and a detection area button group 510.
トリガ領域情報部５０７はトリガ領域指定部３０５により指定されたトリガ領域の名称、並びに変化点検出部３０６が上述の変化点を検出するための感度及び閾値を表示する表示部である。基準画像表示部５０８ａは変化点検出部３０６により抽出されたトリガ基準画像を表示する表示部である。差分画像表示部５０８ｂは変化点検出部３０６により抽出された差分画像（後述）を表示する表示部である。
The trigger region information unit 507 is a display unit that displays the name of the trigger region specified by the trigger region specifying unit 305, and the sensitivity and threshold value for the change point detection unit 306 to detect the above-described change point. The reference image display unit 508 a is a display unit that displays the trigger reference image extracted by the change point detection unit 306. The difference image display unit 508 b is a display unit that displays a difference image (described later) extracted by the change point detection unit 306.
検知領域情報部５０９は検知領域指定部３０７により指定された検知領域の名称、感度、閾値、検知遅延時間（図２１では「遅延時間」と表記）、監視方法（図２１では「監視」と表記）、アクションの有無（図２１では「アクション」と表記）、及び正否判定の方法（図２１では「画像判定」と表記）（以下、検知領域についてのこれらの情報を属性情報という）を表示する表示部且つ選択操作部である。
The detection area information unit 509 displays the name, sensitivity, threshold value, detection delay time (indicated as “delay time” in FIG. 21) of the detection area specified by the detection area specifying unit 307, and monitoring method (indicated as “monitoring” in FIG. 21). ), The presence / absence of an action (indicated as “action” in FIG. 21), and a method for determining correctness (indicated as “image determination” in FIG. 21) (hereinafter, these pieces of information about the detection area are referred to as attribute information). A display unit and a selection operation unit.
検知領域ボタン群５１０は検知領域指定部３０７により指定され、検知領域情報部５０９に表示された検知領域についての属性情報を編集するボタン群である。検知領域ボタン群５１０はアクションボタン５１０ａ、画像判定選択ボタン５１０ｂ、削除ボタン５１０ｃ、感度増加ボタン５１０ｅ、感度減少ボタン５１０ｆ、閾値増加ボタン５１０ｇ、及び閾値減少ボタン５１０ｈを含む。検知領域ボタン群５１０の各ボタンの機能については後述する。
The detection area button group 510 is a button group that is designated by the detection area designation unit 307 and edits attribute information about the detection area displayed in the detection area information unit 509. The detection area button group 510 includes an action button 510a, an image determination selection button 510b, a delete button 510c, a sensitivity increase button 510e, a sensitivity decrease button 510f, a threshold increase button 510g, and a threshold decrease button 510h. The function of each button of the detection area button group 510 will be described later.
（常時検知領域の指定）
図２０は、第２の実施の形態に係る情報処理装置２５３の表示部３３３に表示される設定画面５００において設定用映像表示部５０２に常時検知領域５７０を指定する例を示す図である。図２０を参照しながら、常時検知領域５７０の指定について説明する。
(Specify always detection area)
FIG. 20 is a diagram illustrating an example in which the constant detection area 570 is specified for the setting video display unit 502 on the setting screen 500 displayed on the display unit 333 of the information processing device 253 according to the second embodiment. The designation of the constant detection area 570 will be described with reference to FIG.
図２０に示す設定画面５００は第１再生部３０４により映像データが再生表示されている設定用映像表示部５０２において常時検知領域５７０が指定された状態を示している。具体的には、まず、設定用映像表示部５０２において撮像映像の再生表示中に常時検知機能の正否判定を所望する画像の部分が表示されているタイミングで、ユーザによる入力部３０３の操作によって一時停止ボタン５０３ｂが押下されると、第１再生部３０４は設定用映像表示部５０２に再生表示されている撮像映像を一時停止し、その時点のフレームの撮像日付及び撮像時刻を時刻表示部５０６に表示させる。次に、ユーザによる入力部３０３の操作によって領域選択タブ５５１の「常時」タブを選択操作されると、設定部３０８は常時検知領域についての情報を表示させる。
A setting screen 500 shown in FIG. 20 shows a state in which the constant detection area 570 is designated in the setting video display unit 502 in which video data is reproduced and displayed by the first reproduction unit 304. Specifically, first, when the portion of the image for which it is desired to determine whether the normal detection function is correct or not is displayed during playback display of the captured video on the setting video display unit 502, the user temporarily operates the input unit 303. When the stop button 503b is pressed, the first playback unit 304 pauses the captured video that is played back and displayed on the setting video display unit 502, and the imaging date and time of the current frame are displayed on the time display unit 506. Display. Next, when the “always” tab of the area selection tab 551 is selected by the operation of the input unit 303 by the user, the setting unit 308 displays information on the constantly detected area.
次に、ユーザによる入力部３０３の操作（例えばマウス１０８のドラッグ操作）によって、常時検知領域指定部３０９は設定用映像表示部５０２において常時検知領域５７０を指定して表示させる。
Next, when the user operates the input unit 303 (for example, dragging the mouse 108), the always-detection area designating unit 309 designates and displays the always-detection area 570 on the setting video display unit 502.
設定部３０８は常時検知領域５７０の属性情報として、常時検知領域指定部３０９により指定された常時検知領域５７０に命名した名前、並びにデフォルト値として、後述する正否判定で使用する所定の感度（例えば「５０」）、所定の閾値（例えば「２０％」）、監視方法（例えば「グレースケール」）、及びアクションの有無（例えば「なし」）を、常時検知領域情報部５６１に表示させる。設定部３０８は常時検知領域５７０の名前として、図２０に示すように、例えば「６」の撮像装置（撮像装置２ｆ）の撮像映像に対して指定された常時検知領域であるものとして、「Ａ６１」と命名する。常時検知領域指定部３０９はカメラ選択タブ５０１で選択された撮像装置２（図２０の例では、撮像装置２ｆ）に関連付けて、常時検知領域５７０を指定した時刻の設定用映像表示部５０２に表示されているフレーム（画像）における常時検知領域５７０内の画像を常時検知基準画像として抽出して記憶部３０２に記憶させ、指定した常時検知領域５７０の情報（位置及び形状等の位置情報、属性情報等）を記憶部３０２に記憶させる。常時検知領域指定部３０９はカメラ選択タブ５０１で選択された撮像装置２に関連付けて、常時検知領域５７０を指定した時刻の情報（時刻情報）を記憶部３０２に記憶させる。なお、上述と同様の方法で常時検知領域指定部３０９により複数の常時検知領域を指定することができる。
The setting unit 308 uses, as attribute information of the always-detection area 570, a name given to the always-detection area 570 designated by the always-detection area designating unit 309, and a default value as a predetermined sensitivity (for example, “ 50 ”), a predetermined threshold (for example,“ 20% ”), a monitoring method (for example,“ grayscale ”), and the presence / absence of an action (for example,“ none ”) are displayed on the detection area information unit 561 at all times. As shown in FIG. 20, the setting unit 308 assumes that the name of the constant detection area 570 is the constant detection area designated for the captured image of the imaging device (imaging device 2f) “6”, for example, “A61”. ". The constant detection area designation unit 309 displays the constant detection area 570 on the setting video display unit 502 at the designated time in association with the imaging device 2 selected in the camera selection tab 501 (the imaging device 2f in the example of FIG. 20). The image in the always-detection area 570 in the frame (image) that has been extracted is extracted as the always-detection reference image and stored in the storage unit 302, and information on the designated always-detection area 570 (position information such as position and shape, attribute information) And the like are stored in the storage unit 302. The constant detection area designating unit 309 causes the storage unit 302 to store time information (time information) designating the constant detection area 570 in association with the imaging device 2 selected on the camera selection tab 501. Note that a plurality of constant detection areas can be specified by the constant detection area specifying unit 309 in the same manner as described above.
図２０に示す設定画面５００で指定された常時検知領域５７０の属性情報は編集することができる。まず、ユーザによる入力部３０３の操作によって、常時検知領域情報部５６１に属性情報が表示された常時検知領域のいずれか（図２０では常時検知領域５７０の属性情報のみを表示）を選択すると、設定部３０８は選択された常時検知領域情報部５６１の常時検知領域の属性情報の表示部分を反転表示させる。以下、図２０に示した常時検知領域５７０（常時検知領域名「Ａ６１」）が選択されたものとして説明する。
The attribute information of the always-on detection area 570 designated on the setting screen 500 shown in FIG. 20 can be edited. First, when the user operates the input unit 303 to select one of the always-detected areas whose attribute information is displayed in the always-detected area information unit 561 (only the attribute information of the always-detected area 570 is displayed in FIG. 20), the setting is performed. The unit 308 reversely displays the display portion of the attribute information of the always-on detection area of the selected always-on detection area information unit 561. In the following description, it is assumed that the constant detection area 570 (always detection area name “A61”) shown in FIG. 20 is selected.
次に、例えば、ユーザによる入力部３０３の操作によってアクションボタン５６２ａを押下すると、設定部３０８は選択された常時検知領域５７０のアクションの有無の設定値を切り替える。例えば、常時検知領域５７０のアクションの有無が「なし」となっている場合、アクションボタン５６２ａが押下されると、設定部３０８は常時検知領域５７０のアクションの有無を「あり」に設定する。一方、常時検知領域５７０のアクションの有無が「あり」となっている場合、アクションボタン５６２ａが押下されると、設定部３０８は常時検知領域５７０のアクションの有無を「なし」に設定する。後述するように、アクションの有無が「あり」となっている場合には、常時検知領域判定部３１５によってその常時検知領域５７０における正否判定で異常と判定された場合に外部出力部３３２が異常信号を出力する。
Next, for example, when the user presses the action button 562a by operating the input unit 303, the setting unit 308 switches the set value of presence / absence of the action in the selected constant detection area 570. For example, when the presence / absence of an action in the constant detection area 570 is “none”, when the action button 562a is pressed, the setting unit 308 sets the presence / absence of an action in the constant detection area 570 to “present”. On the other hand, when the presence / absence of an action in the constant detection area 570 is “Yes”, when the action button 562a is pressed, the setting unit 308 sets the presence / absence of an action in the constant detection area 570 to “None”. As will be described later, when the presence / absence of an action is “Yes”, the external output unit 332 outputs an abnormal signal when the normal detection region determination unit 315 determines that there is an abnormality in the normal detection region 570. Is output.
例えば、ユーザによる入力部３０３の操作によって削除ボタン５６２ｃを押下すると、設定部３０８は常時検知領域情報部５６１に表示された常時検知領域５７０の属性情報を消去し、記憶部３０２に記憶された常時検知領域５７０の情報を削除する。常時検知領域指定部３０９は設定用映像表示部５０２に表示された常時検知領域５７０を消去し、記憶部３０２に記憶された常時検知基準画像を削除する。
For example, when the user presses the delete button 562 c by operating the input unit 303, the setting unit 308 deletes the attribute information of the always-on detection area 570 displayed on the always-on detection area information unit 561 and always stores the attribute information stored in the storage unit 302. The information in the detection area 570 is deleted. The constant detection area designating unit 309 deletes the constant detection area 570 displayed on the setting video display unit 502 and deletes the constant detection reference image stored in the storage unit 302.
例えば、ユーザによる入力部３０３の操作によって感度増加ボタン５６２ｅを押下すると、設定部３０８は選択された常時検知領域５７０の正否判定に用いられる感度の値を所定値だけ増加させる。一方、ユーザによる入力部３０３の操作によって感度減少ボタン５６２ｆを押下すると、設定部３０８は選択された常時検知領域５７０の正否判定に用いられる感度の値を所定値だけ減少させる。
For example, when the sensitivity increase button 562e is pressed by the user's operation of the input unit 303, the setting unit 308 increases the sensitivity value used for the correctness determination of the selected constant detection region 570 by a predetermined value. On the other hand, when the sensitivity reduction button 562f is pressed by the operation of the input unit 303 by the user, the setting unit 308 decreases the sensitivity value used for the correctness determination of the selected always-on detection area 570 by a predetermined value.
例えば、ユーザによる入力部３０３の操作によって閾値増加ボタン５６２ｇを押下すると、設定部３０８は選択された常時検知領域５７０の正否判定に用いられる閾値の値を所定値だけ増加させる。一方、ユーザによる入力部３０３の操作によって閾値減少ボタン５６２ｈを押下すると、設定部３０８は、選択された常時検知領域５７０の正否判定に用いられる閾値の値を所定値だけ減少させる。
For example, when the threshold increase button 562g is pressed by the user's operation of the input unit 303, the setting unit 308 increases the threshold value used to determine whether the selected constant detection area 570 is correct by a predetermined value. On the other hand, when the threshold value decrease button 562h is pressed by the operation of the input unit 303 by the user, the setting unit 308 decreases the threshold value used for the correctness determination of the selected constant detection area 570 by a predetermined value.
（トリガ領域の指定及び変化点の検出）
図２１は、第２の実施の形態に係る情報処理装置２５３の表示部３３３に表示される設定画面５００において設定用映像表示部５０２にトリガ領域５３０を指定する例を示す図である。図２２は、第２の実施の形態に係る情報処理装置２５３の表示部３３３に表示される設定画面５００においてトリガ領域５３０における変化点が見つかった場合のマーク表示の一例を示す図である。図２３は、第２の実施の形態に係る変化点検出部３０６が取得した複数のフレームの例を示す図である。図２４は、第２の実施の形態に係る各フレームの画像的特徴の相違度を示す値の時間的変化の例を示すグラフである。図２５は、第２の実施の形態に係る情報処理装置２５３の表示部３３３に表示される設定画面５００においてトリガ領域５３０における変化点が２点見つかった場合に表示されるダイアログの例を示す図である。図２６は、第２の実施の形態に係る情報処理装置２５３の表示部３３３に表示される設定画面５００においてトリガ領域５３０における変化点が見つからなかった場合に表示されるダイアログの例を示す図である。図２１〜２６を参照しながら、トリガ領域５３０の指定及び変化点の検出について説明する。
(Specify trigger area and detect change point)
FIG. 21 is a diagram illustrating an example in which the trigger region 530 is specified for the setting video display unit 502 on the setting screen 500 displayed on the display unit 333 of the information processing device 253 according to the second embodiment. FIG. 22 is a diagram illustrating an example of mark display when a change point in the trigger area 530 is found on the setting screen 500 displayed on the display unit 333 of the information processing device 253 according to the second embodiment. FIG. 23 is a diagram illustrating an example of a plurality of frames acquired by the change point detection unit 306 according to the second embodiment. FIG. 24 is a graph illustrating an example of a temporal change in a value indicating the degree of difference in image characteristics of each frame according to the second embodiment. FIG. 25 is a diagram illustrating an example of a dialog displayed when two change points in the trigger area 530 are found on the setting screen 500 displayed on the display unit 333 of the information processing device 253 according to the second embodiment. It is. FIG. 26 is a diagram illustrating an example of a dialog displayed when a change point in the trigger area 530 is not found on the setting screen 500 displayed on the display unit 333 of the information processing device 253 according to the second embodiment. is there. The specification of the trigger region 530 and the detection of the change point will be described with reference to FIGS.
図２１示す設定画面５００は第１再生部３０４により撮像映像が再生表示されている設定用映像表示部５０２においてトリガ領域５３０が指定された状態を示している。具体的には、まず、設定用映像表示部５０２において撮像映像の再生表示中にトリガの発生の基となる所望する画像の部分が表示されているタイミングで、ユーザによる入力部３０３の操作によって一時停止ボタン５０３ｂが押下されると、第１再生部３０４は設定用映像表示部５０２に再生表示されている映像データを一時停止し、その時点のフレームの撮像日付及び撮像時刻を時刻表示部５０６に表示させる。次に、ユーザによる入力部３０３の操作によって領域選択タブ５５１の「瞬間」タブを選択操作されると、設定部３０８はトリガ領域及び検知領域についての情報を表示させる。
A setting screen 500 shown in FIG. 21 shows a state in which the trigger area 530 is designated in the setting video display unit 502 in which the captured video is reproduced and displayed by the first reproduction unit 304. Specifically, first, at the timing when a desired image portion that is the basis of generation of a trigger is displayed during playback display of a captured image on the setting video display unit 502, the user temporarily operates the input unit 303. When the stop button 503b is pressed, the first playback unit 304 pauses the video data that is played back and displayed on the setting video display unit 502, and the time display unit 506 displays the imaging date and time of the current frame. Display. Next, when the “instant” tab of the area selection tab 551 is selected and operated by the user operating the input unit 303, the setting unit 308 displays information about the trigger area and the detection area.
次に、ユーザによる入力部３０３の操作（例えばマウス１０８のドラッグ操作）によって、トリガ領域指定部３０５は設定用映像表示部５０２においてトリガ領域５３０を指定して表示させる。
Next, when the user operates the input unit 303 (for example, a drag operation of the mouse 108), the trigger region designation unit 305 designates and displays the trigger region 530 on the setting video display unit 502.
図２２に示す設定画面５００は変化点検出部３０６によってトリガ領域指定部３０５により指定されたトリガ領域５３０において変化点が検出された場合の状態を示している。具体的には、変化点検出部３０６は、まず、トリガ領域指定部３０５によりトリガ領域５３０が指定された場合、指定された時点で第１再生部３０４が再生表示している撮像映像のフレームの撮像時刻の前後の所定時間（例えば前後２分間）分のフレームを取得し、トリガ領域５３０が指定された時刻のトリガ領域５３０内の画像をトリガ基準画像（第１基準画像）として抽出する。ここでの変化点はトリガ生成部３１３がトリガ信号を生成するタイミングの基準とするための、トリガ領域５３０内の画像の所定の変化を帯びた時点をいう。以下、変化点検出部３０６による具体的な変化点の検出方法について説明する。
A setting screen 500 shown in FIG. 22 shows a state when a change point is detected in the trigger area 530 specified by the trigger area specifying unit 305 by the change point detecting unit 306. Specifically, when the trigger region 530 is designated by the trigger region designation unit 305, the change point detection unit 306 first determines the frame of the captured video that the first reproduction unit 304 reproduces and displays at the designated time point. Frames for a predetermined time (for example, two minutes before and after the imaging time) are acquired, and an image in the trigger region 530 at the time when the trigger region 530 is designated is extracted as a trigger reference image (first reference image). The change point here refers to a point in time when a predetermined change in the image in the trigger region 530 is taken as a reference for the timing at which the trigger generation unit 313 generates the trigger signal. Hereinafter, a specific method for detecting change points by the change point detection unit 306 will be described.
変化点検出部３０６は、図２３に示すように、所定時間分のフレームとして１３個のフレーム（フレーム（０）〜フレーム（１２））を取得したものとする。この場合、変化点検出部３０６によって、フレーム（６）を真中としてその前後の所定時間分のフレームが取得されたことになる。説明を簡略にするため、各フレームにおけるトリガ領域５３０に対応する部分の画像についても、それぞれフレーム（０）〜フレーム（１２）と称するものとする。変化点検出部３０６はフレーム毎に直前のフレームとの間の画像的特徴の相違度を演算する。このとき、変化点検出部３０６はあるフレーム（例えばフレーム（６））を検知画像に設定した場合、その直前のフレーム（例えばフレーム（５））を基準画像に設定する。その後、変化点検出部３０６は上述した比較処理（基準画素値と検知画素値とを比較する処理）、補正処理（検知画像を補正する処理）、及び判定処理（基準画像と補正後の検知画像との比較に基づいて検体を正否判定する処理）を行う。
As illustrated in FIG. 23, the change point detection unit 306 acquires 13 frames (frame (0) to frame (12)) as frames for a predetermined time. In this case, the change point detection unit 306 has acquired frames for a predetermined time before and after the frame (6) in the middle. In order to simplify the description, the image of the portion corresponding to the trigger region 530 in each frame is also referred to as frame (0) to frame (12), respectively. The change point detection unit 306 calculates, for each frame, the degree of difference in image characteristics from the immediately preceding frame. At this time, when a certain frame (for example, the frame (6)) is set as the detected image, the change point detecting unit 306 sets the immediately preceding frame (for example, the frame (5)) as the reference image. Thereafter, the change point detection unit 306 performs the above-described comparison process (a process for comparing the reference pixel value and the detected pixel value), a correction process (a process for correcting the detected image), and a determination process (the reference image and the detected image after correction). And a process for determining whether the sample is correct or not) based on the comparison.
図２３は変化点検出部３０６が取得した１３個のフレームを例示し、図２４はフレーム毎の相違度を表している。本例は相違度が大きいほど基準画像と検知画像との間の画像的特徴の差が大きい場合の例である。すなわち、相違度が閾値より大きいフレームのトリガ領域５３０内の検体には変化が生じたと推定することができる。図２４において、例えばフレーム（１）の相違度はフレーム（１）とその直前のフレームであるフレーム（０）との間の相違度を示す。本例では、変化点としてのＩＮ点及びＯＵＴ点を次のように定義する。ＩＮ点とは、連続するフレームにおいて、トリガ領域５３０内の画像が変化し始めた時点とする。ＯＵＴ点とは、連続するフレームにおいて、トリガ領域５３０内の画像の変化がおさまり始めた時点とする。なお、ここでは検知画像となるフレームの直前のフレームを検知画像とする例を示したが、基準画像の設定の仕方はこれに限られるものではなく、例えば数フレーム前のフレーム、ユーザにより設定されたフレーム等であってもよい。
FIG. 23 illustrates 13 frames acquired by the change point detection unit 306, and FIG. 24 illustrates the degree of difference for each frame. In this example, the difference in image characteristics between the reference image and the detected image is larger as the degree of difference is larger. That is, it can be estimated that a change has occurred in the specimen in the trigger region 530 of a frame whose difference is greater than the threshold. In FIG. 24, for example, the degree of difference of the frame (1) indicates the degree of difference between the frame (1) and the frame (0) which is the immediately preceding frame. In this example, the IN point and OUT point as change points are defined as follows. The IN point is the time when the image in the trigger area 530 starts to change in successive frames. The OUT point is a point in time when a change in the image in the trigger area 530 starts to subside in successive frames. In this example, the detection image is the frame immediately before the detection image frame. However, the method of setting the reference image is not limited to this, and for example, a frame several frames before, which is set by the user. It may be a frame or the like.
変化点検出部３０６はフレーム毎に演算した相違度に基づいてＩＮ点の候補及びＯＵＴ点の候補を見つける。具体的には、変化点検出部３０６は相違度が２フレーム分以上連続して閾値以上となった場合に、最初に相違度が閾値以上となったフレームをＩＮ点の候補のフレームとする。図２４の例では、フレーム（１）の相違度は閾値未満、フレーム（２）の相違度は閾値以上、フレーム（３）の相違度は閾値以上となっているため、最初に相違度が閾値以上となったフレーム（２）がＩＮ点の候補のフレームとなる。同様に、フレーム（７）もＩＮ点の候補のフレームとなる。１フレーム分のみ相違度が閾値以上となった場合はノイズの可能性があるため、そのフレームはＩＮ点の候補のフレームとはしない。
The change point detection unit 306 finds an IN point candidate and an OUT point candidate based on the difference calculated for each frame. Specifically, when the dissimilarity is continuously equal to or greater than the threshold for two frames or more, the change point detection unit 306 first sets the frame whose dissimilarity is equal to or greater than the threshold as the IN point candidate frame. In the example of FIG. 24, the dissimilarity of frame (1) is less than the threshold, the dissimilarity of frame (2) is greater than or equal to the threshold, and the dissimilarity of frame (3) is greater than or equal to the threshold. The above frame (2) is a candidate frame for the IN point. Similarly, the frame (7) is a candidate frame for the IN point. When the degree of difference is equal to or greater than the threshold value for only one frame, there is a possibility of noise, so that frame is not a candidate frame for the IN point.
一方、変化点検出部３０６は相違度が２フレーム分以上連続して所定の閾値未満となった場合に、最初に相違度が閾値未満となったフレームをＯＵＴ点の候補のフレームとする。図２４の例では、フレーム（４）の相違度は閾値以上、フレーム（５）の相違度は閾値未満、フレーム（６）の相違度は閾値未満となっているため、最初に相違度が閾値未満となったフレーム（５）がＯＵＴ点の候補のフレームとなる。フレーム（１２）は相違度が閾値未満となっているが、後に続くフレーム（１３）は変化点検出部３０６が取得したフレーム以外のフレームであるため、ＯＵＴ点の候補のフレームとしない。１フレーム分のみの相違度が閾値未満となった場合はノイズの可能性があるため、そのフレームはＯＵＴ点の候補のフレームとはしない。
On the other hand, the change point detection unit 306 sets the first frame with the dissimilarity less than the threshold as the OUT point candidate frame when the dissimilarity continuously falls below the predetermined threshold for two frames or more. In the example of FIG. 24, the dissimilarity of the frame (4) is equal to or greater than the threshold, the dissimilarity of the frame (5) is less than the threshold, and the dissimilarity of the frame (6) is less than the threshold. The frame (5) that has become less than the frame is the OUT point candidate frame. Although the dissimilarity of the frame (12) is less than the threshold value, the subsequent frame (13) is a frame other than the frame acquired by the change point detection unit 306, and thus is not a candidate frame for the OUT point. If the difference for only one frame is less than the threshold, there is a possibility of noise, so that frame is not a candidate frame for the OUT point.
以上のように、変化点検出部３０６は、図２３及び図２４の例では、ＩＮ点の候補のフレームとしてフレーム（２）及び（７）を特定し、ＯＵＴ点の候補のフレームとしてフレーム（５）を特定する。このようにＩＮ点の候補のフレームが複数特定された場合、変化点検出部３０６は取得したフレームの真中のフレーム（６）に最も近いフレーム、すなわちフレーム（７）をＩＮ点のフレームに決定する。また、図２３及び図２４の例ではＯＵＴ点の候補のフレームとして１つのフレーム（フレーム（５））のみが特定されているが、ＩＮ点の候補と同様に、複数のフレームがＯＵＴ点の候補のフレームとして特定される場合もある。ＯＵＴ点の候補のフレームが複数特定された場合、変化点検出部３０６はＩＮ点の候補と同様に、取得したフレームの真中のフレーム（６）に最も近いフレームをＯＵＴ点のフレームに決定する。図２３及び図２４の例ではＯＵＴ点の候補のフレームはフレーム（５）のみであるため、変化点検出部３０６はフレーム（５）をＯＵＴ点のフレームに決定する。以上のように、変化点検出部３０６は取得した所定時間分のフレームから、ＩＮ点のフレーム及びＯＵＴ点のフレームを決定することにより、変化点（ＩＮ点及びＯＵＴ点）を検出する。
As described above, the change point detection unit 306 identifies the frames (2) and (7) as the IN point candidate frames and the frame (5) as the OUT point candidate frame in the examples of FIGS. ). When a plurality of IN point candidate frames are identified in this way, the change point detecting unit 306 determines the frame closest to the middle frame (6) of the acquired frames, that is, the frame (7) as the IN point frame. . In the example of FIGS. 23 and 24, only one frame (frame (5)) is specified as the OUT point candidate frame. However, as with the IN point candidate, a plurality of frames are candidates for the OUT point. It may be specified as a frame. When a plurality of OUT point candidate frames are specified, the change point detection unit 306 determines the frame closest to the middle frame (6) of the acquired frames as the OUT point frame, in the same manner as the IN point candidate. In the example of FIGS. 23 and 24, since the frame of the OUT point candidate is only the frame (5), the change point detection unit 306 determines the frame (5) as the frame of the OUT point. As described above, the change point detection unit 306 detects the change points (IN point and OUT point) by determining the IN point frame and the OUT point frame from the acquired frames for a predetermined time.
なお、変化点検出部３０６は変化点を検出した場合、変化点のフレームの前のフレーム若しくは後のフレーム、又は前後のフレームを用いて、トリガ領域５３０内の動体検知を行い、どの方向から動体（検体）が入ってきたのかを示すベクトル情報を記憶部３０２に記憶させるものとしてもよい。この場合、トリガ生成部３１３は記憶部３０２に記憶されたベクトル情報を用いて、動体がベクトル情報の示す方向と同一の方向から動いてきたか否かを確認し、その確認結果に基づいてトリガ信号を生成するものとしてもよい。
When the change point detection unit 306 detects the change point, the moving point detection in the trigger region 530 is performed using the frame before or after the frame of the change point, or the frame before and after the change point frame. Vector information indicating whether (specimen) has entered may be stored in the storage unit 302. In this case, the trigger generation unit 313 uses the vector information stored in the storage unit 302 to confirm whether or not the moving object has moved from the same direction as the vector information, and based on the confirmation result, the trigger signal It is good also as what produces | generates.
また、変化点検出部３０６によるトリガ領域５３０における変化点の検出方法は、上述の方法に限定されるものではなく、トリガを発生させるタイミングを規定する変化点であれば、どのように変化点を検出してもよい。
In addition, the method for detecting the change point in the trigger region 530 by the change point detection unit 306 is not limited to the above-described method, and if the change point defines the timing for generating the trigger, how the change point is determined. It may be detected.
また、上述のように、変化点検出部３０６は相違度が２フレーム分以上連続して閾値以上となった場合に、最初に相違度が閾値以上となったフレームをＩＮ点の候補のフレームとしているが、これに限定されるものではない。すなわち、相違度が連続して閾値以上となるべきフレームの数は２以外の数であってもよい。これは、ＯＵＴ点の候補のフレームを見つける場合についても同様である。
In addition, as described above, the change point detection unit 306, when the dissimilarity is continuously equal to or greater than the threshold for two frames or more, first determines the frame whose dissimilarity is equal to or greater than the threshold as the IN point candidate frame. However, it is not limited to this. That is, the number of frames whose dissimilarity should be continuously equal to or greater than the threshold may be a number other than two. The same applies to the case of finding a candidate frame for the OUT point.
また、図２３及び図２４では、ＩＮ点及びＯＵＴ点の双方のフレームが見つかる例を示したが、変化点検出部３０６はＩＮ点のフレームのみ又はＯＵＴ点のフレームのみを見つける場合もある。この場合、これらのＩＮ点又はＯＵＴ点が変化点として検出される。この場合、変化点検出部３０６は検出した変化点のフレームのトリガ領域５３０内の画像を差分画像として抽出する。変化点検出部３０６はカメラ選択タブ５０１で選択された撮像装置（本例では撮像装置２ｆ）に関連付けて、トリガ基準画像及び差分画像を記憶部３０２に記憶させ、トリガ基準画像を基準画像表示部５０８ａに表示させ、差分画像を差分画像表示部５０８ｂに表示させる。
23 and 24 show an example in which both the IN point and OUT point frames are found. However, the change point detection unit 306 may find only the IN point frame or only the OUT point frame. In this case, these IN points or OUT points are detected as change points. In this case, the change point detection unit 306 extracts an image in the trigger region 530 of the detected change point frame as a difference image. The change point detection unit 306 stores the trigger reference image and the difference image in the storage unit 302 in association with the imaging device selected in the camera selection tab 501 (in this example, the imaging device 2f), and the trigger reference image is a reference image display unit. The difference image is displayed on the difference image display unit 508b.
また、変化点検出部３０６はシークバー５０４において、検出した変化点のフレームの時刻に対応する部分にトリガマーク５４０を表示する。変化点検出部３０６により変化点が検出された場合、トリガ領域指定部３０５はカメラ選択タブ５０１で選択された撮像装置（本例では撮像装置２ｆ）に関連付けて、指定したトリガ領域５３０の情報（位置及び形状等の位置情報、属性情報等）を記憶部３０２に記憶させる。設定部３０８はトリガ領域５３０の属性情報として、トリガ領域指定部３０５により指定されたトリガ領域５３０に命名した名前、並びに変化点検出部３０６の変化点の検出に利用された所定の感度（例えば、「５０」）及び所定の閾値（例えば、「２０％」）（デフォルト値）を、トリガ領域情報部５０７に表示させる。設定部３０８はトリガ領域５３０の名前として、図２２に示すように、例えば「６」の撮像装置（撮像装置２ｆ）の映像データに対して指定されたトリガ領域であるものとして、「ＴＲ６」と命名する。トリガ領域指定部３０５はカメラ選択タブ５０１で選択された撮像装置（本例では撮像装置２ｆ）に関連付けて、トリガ領域５３０を指定した時刻の情報（時刻情報）を記憶部３０２に記憶させる。
In addition, the change point detection unit 306 displays a trigger mark 540 on the seek bar 504 at a portion corresponding to the time of the detected change point frame. When the change point is detected by the change point detection unit 306, the trigger area specifying unit 305 associates with the image pickup apparatus selected in the camera selection tab 501 (in this example, the image pickup apparatus 2f), and information on the specified trigger area 530 ( Position information such as position and shape, attribute information, etc.) is stored in the storage unit 302. The setting unit 308 uses, as attribute information of the trigger region 530, a name that is named for the trigger region 530 specified by the trigger region specifying unit 305, and a predetermined sensitivity (for example, the change point detection unit 306 that is used for detecting the change point). “50”) and a predetermined threshold (for example, “20%”) (default value) are displayed on the trigger area information unit 507. As illustrated in FIG. 22, the setting unit 308 sets “TR6” as the name of the trigger region 530, for example, as the trigger region designated for the video data of the imaging device “6” (imaging device 2f). Naming. The trigger area designating unit 305 causes the storage unit 302 to store time information (time information) designating the trigger area 530 in association with the imaging device selected in the camera selection tab 501 (the imaging device 2f in this example).
図２５に示す設定画面５００は変化点検出部３０６によって、トリガ領域指定部３０５により指定されたトリガ領域５３０において変化点が上述のように２つ（ＩＮ点及びＯＵＴ点）検出された場合に、変化点選択ダイアログ６００が表示された状態を示している。このように、変化点検出部３０６は変化点を２つ以上検出した場合、トリガ基準画像を抽出した時点に最も近い２つの変化点（ＩＮ点及びＯＵＴ点）のうちいずれをトリガの生成のために利用するかを選択するための変化点選択ダイアログ６００を表示部３３３に表示させる。変化点選択ダイアログ６００は、はいボタン６０１、いいえボタン６０２、及び閉じるボタン６０３を含む。閉じるボタン６０３は変化点選択ダイアログ６００を閉じるためのボタンである。
25, when the change point detection unit 306 detects two change points (IN point and OUT point) in the trigger region 530 specified by the trigger region specification unit 305 as described above, A change point selection dialog 600 is displayed. As described above, when the change point detection unit 306 detects two or more change points, one of the two change points (the IN point and the OUT point) closest to the time when the trigger reference image is extracted is used to generate a trigger. The display unit 333 displays a change point selection dialog 600 for selecting whether or not to use. The change point selection dialog 600 includes a yes button 601, a no button 602, and a close button 603. A close button 603 is a button for closing the change point selection dialog 600.
ユーザによる入力部３０３の操作によってはいボタン６０１を押下した場合、変化点検出部３０６はＩＮ点を変化点として検出し、ＩＮ点のフレームのトリガ領域５３０内の画像を差分画像として抽出する。変化点検出部３０６はカメラ選択タブ５０１で選択された撮像装置（本例では撮像装置２ｆ）に関連付けて、抽出したトリガ基準画像、及びＩＮ点のフレームにおける差分画像を記憶部３０２に記憶させ、トリガ基準画像を基準画像表示部５０８ａに表示させ、差分画像を差分画像表示部５０８ｂに表示させる。変化点検出部３０６はシークバー５０４において、検出したＩＮ点のフレームの時刻に対応する部分にトリガマーク５４０を表示する。
When the user presses the yes button 601 by operating the input unit 303, the change point detection unit 306 detects the IN point as a change point, and extracts an image in the trigger region 530 of the frame at the IN point as a difference image. The change point detection unit 306 stores the extracted trigger reference image and the difference image in the IN point frame in the storage unit 302 in association with the imaging device selected in the camera selection tab 501 (in this example, the imaging device 2f). The trigger reference image is displayed on the reference image display unit 508a, and the difference image is displayed on the difference image display unit 508b. The change point detection unit 306 displays a trigger mark 540 on the seek bar 504 at a portion corresponding to the detected time of the frame at the IN point.
一方、ユーザによる入力部３０３の操作によっていいえボタン６０２を押下した場合、変化点検出部３０６はＯＵＴ点を変化点として検出し、ＯＵＴ点のフレームのトリガ領域５３０内の画像を差分画像として抽出する。そして、変化点検出部３０６はカメラ選択タブ５０１で選択された撮像装置（本例では撮像装置２ｆ）に関連付けて、抽出したトリガ基準画像、及びＯＵＴ点のフレームにおける差分画像を記憶部３０２に記憶させ、トリガ基準画像を基準画像表示部５０８ａに表示させ、差分画像を差分画像表示部５０８ｂに表示させる。変化点検出部３０６はシークバー５０４において、検出したＯＵＴ点のフレームの時刻に対応する部分にトリガマーク５４０を表示する。その他の動作は、図２２を参照して上述した動作と同様である。
On the other hand, when the user presses the No button 602 by operating the input unit 303, the change point detection unit 306 detects the OUT point as a change point, and extracts an image in the trigger region 530 of the frame at the OUT point as a difference image. . Then, the change point detection unit 306 stores the extracted trigger reference image and the difference image in the frame at the OUT point in the storage unit 302 in association with the imaging device selected in the camera selection tab 501 (in this example, the imaging device 2f). The trigger reference image is displayed on the reference image display unit 508a, and the difference image is displayed on the difference image display unit 508b. The change point detection unit 306 displays a trigger mark 540 in a portion corresponding to the time of the frame of the detected OUT point on the seek bar 504. Other operations are the same as those described above with reference to FIG.
このように、変化点検出部３０６により変化点としてＩＮ点及びＯＵＴ点が検出され、ユーザにより２つの変化点のいずれかを選択できるようにすることにより、ユーザが真に指定を所望する変化点を選択させることができる。
In this way, the change point detection unit 306 detects the IN point and the OUT point as change points, and allows the user to select one of the two change points, thereby allowing the user to truly specify the change point. Can be selected.
図２６に示す設定画面５００は変化点検出部３０６によって、トリガ領域指定部３０５により指定されたトリガ領域５３０において変化点が見つからなかった場合に、変化点無し通知ダイアログ６１０が表示された状態を示している。変化点検出部３０６は上述の図２３を参照して説明した動作において、相違度が閾値以上とならず、変化点が検出できない場合がある。この場合、変化点検出部３０６は変化点が見つからなかった旨を示す変化点無し通知ダイアログ６１０を表示部３３３に表示させる。
The setting screen 500 shown in FIG. 26 shows a state in which the change point detection unit 306 displays a no change point notification dialog 610 when no change point is found in the trigger region 530 specified by the trigger region specifying unit 305. ing. In the operation described with reference to FIG. 23 described above, the change point detection unit 306 may not be able to detect a change point because the degree of difference does not exceed a threshold value. In this case, the change point detection unit 306 causes the display unit 333 to display a no change point notification dialog 610 indicating that no change point has been found.
変化点無し通知ダイアログ６１０はＯＫボタン６１１及び閉じるボタン６１２を含む。閉じるボタン６１２は変化点無し通知ダイアログ６１０を閉じるためのボタンである。ユーザによる入力部３０３の操作によってＯＫボタン６１１を押下した場合、変化点検出部３０６は記憶部３０２に何の情報も記憶せず、基準画像表示部５０８ａ及び差分画像表示部５０８ｂにも画像を表示させずに、変化点無し通知ダイアログ６１０を閉じる。
The no change point notification dialog 610 includes an OK button 611 and a close button 612. A close button 612 is a button for closing the no change point notification dialog 610. When the user presses the OK button 611 by operating the input unit 303, the change point detection unit 306 does not store any information in the storage unit 302 and displays an image on the reference image display unit 508 a and the difference image display unit 508 b. Without doing so, the no change point notification dialog 610 is closed.
（検知領域の指定及び検知領域の属性情報の設定）
図２７は、第２の実施の形態に係る情報処理装置２５３の表示部３３３に表示される設定画面５００において設定用映像表示部５０２に検知領域５３５を指定する例を示す図である。図２８は、第２の実施の形態に係る情報処理装置２５３の表示部３３３に表示される設定画面５００において設定用映像表示部５０２に２つ目の検知領域５３６を指定する例を示す図である。図２９は、第２の実施の形態に係る情報処理装置２５３の表示部３３３に表示される設定画面５００において設定用映像表示部５０２で指定した検知領域５３５，５３６の属性情報を設定する例を示す図である。図２７〜２９を参照しながら、検知領域５３５，５３６の指定及び検知領域５３５，５３６の属性情報等の設定について説明する。
(Specifying detection area and setting attribute information of detection area)
FIG. 27 is a diagram illustrating an example in which the detection area 535 is specified on the setting video display unit 502 on the setting screen 500 displayed on the display unit 333 of the information processing device 253 according to the second embodiment. FIG. 28 is a diagram illustrating an example in which the second detection area 536 is designated on the setting video display unit 502 on the setting screen 500 displayed on the display unit 333 of the information processing device 253 according to the second embodiment. is there. FIG. 29 shows an example of setting the attribute information of the detection areas 535 and 536 designated by the setting video display unit 502 on the setting screen 500 displayed on the display unit 333 of the information processing device 253 according to the second embodiment. FIG. With reference to FIGS. 27 to 29, the specification of the detection areas 535 and 536 and the setting of the attribute information and the like of the detection areas 535 and 536 will be described.
図２７に示す設定画面５００は第１再生部３０４により撮像映像が再生表示されている設定用映像表示部５０２において検知領域５３５が指定された状態を示している。具体的には、まず、設定用映像表示部５０２において撮像映像の再生表示中に瞬間検知機能の正否判定を所望する画像の部分が表示されているタイミングで、ユーザによる入力部３０３の操作によって一時停止ボタン５０３ｂが押下されると、第１再生部３０４は設定用映像表示部５０２に再生表示されている撮像映像を一時停止し、その時点のフレームの撮像日付及び撮像時刻を時刻表示部５０６に表示させる。
A setting screen 500 shown in FIG. 27 shows a state in which the detection area 535 is designated in the setting video display unit 502 in which the captured video is reproduced and displayed by the first reproduction unit 304. Specifically, first, at the timing when the image portion desired to determine whether the instantaneous detection function is correct or not is displayed during playback display of the captured video on the setting video display unit 502, the user temporarily operates the input unit 303. When the stop button 503b is pressed, the first playback unit 304 pauses the captured video that is played back and displayed on the setting video display unit 502, and the imaging date and time of the current frame are displayed on the time display unit 506. Display.
次に、ユーザによる入力部３０３の操作（例えばマウス１０８のドラッグ操作）によって、検知領域指定部３０７は設定用映像表示部５０２において検知領域５３５を指定して表示させる。ただし、検知領域指定部３０７が検知領域５３５を指定するためには、トリガ領域情報部５０７において、トリガ領域指定部３０５により指定されたトリガ領域が選択（図１３の例では「ＴＲ６」）されている必要がある。すなわち、検知領域指定部３０７により指定された検知領域５３５はトリガ領域情報部５０７において選択されたトリガ領域と関連付けられる。
Next, when the user operates the input unit 303 (for example, a drag operation of the mouse 108), the detection region designation unit 307 designates and displays the detection region 535 on the setting video display unit 502. However, in order for the detection region specifying unit 307 to specify the detection region 535, the trigger region specified by the trigger region specifying unit 305 is selected in the trigger region information unit 507 (“TR6” in the example of FIG. 13). Need to be. That is, the detection area 535 designated by the detection area designation unit 307 is associated with the trigger area selected in the trigger area information unit 507.
設定部３０８は検知領域５３５の属性情報として、検知領域指定部３０７により指定された検知領域５３５に命名した名前、並びにデフォルト値として、後述する正否判定で使用する所定の感度（例えば「５０」）、所定の閾値（例えば「２０％」）、監視方法（例えば「グレースケール」）、アクションの有無（例えば「なし」）、及び正否判定の方法（例えば「一致」）を、検知領域情報部５０９に表示させる。設定部３０８は検知領域５３５の名前として、図２７に示すように、例えばトリガ領域「ＴＲ６」に関連付けられた１番目の領域であるものとして、「Ｋ６１」と命名する。設定部３０８は変化点検出部３０６によって検出された変化点の時刻に対して、検知領域指定部３０７により検知領域５３５が指定された時点のフレームの時刻の遅延時間（図１３の例では「２．１４」）を属性情報として算出し、検知領域情報部５０９に表示させる。すなわち、この場合、「Ｋ６１」と命名された検知領域５３５では、トリガのタイミングから「２．１４」秒後に正否判定が行われるように設定されたことになる。
The setting unit 308 uses, as attribute information of the detection region 535, a name named for the detection region 535 designated by the detection region designating unit 307, and a default value as a predetermined sensitivity (for example, “50”) used in correctness determination described later. The detection area information unit 509 indicates a predetermined threshold (for example, “20%”), a monitoring method (for example, “grayscale”), the presence / absence of an action (for example, “none”), and a determination method for correctness (for example, “match”). To display. As shown in FIG. 27, the setting unit 308 names “K61” as the name of the detection region 535, for example, as the first region associated with the trigger region “TR6”. The setting unit 308 delays the time of the frame at the time when the detection region 535 is specified by the detection region specifying unit 307 with respect to the time of the change point detected by the change point detection unit 306 (in the example of FIG. .14 ”) as attribute information and displayed on the detection area information unit 509. In other words, in this case, the detection area 535 named “K61” is set so that the correctness determination is performed after “2.14” seconds from the trigger timing.
検知領域指定部３０７はカメラ選択タブ５０１で選択された撮像装置（図２７の例では撮像装置２ｆ）に関連付けて、検知領域５３５を指定した時刻の検知領域５３５内の画像を基準画像（第２基準画像）として抽出して記憶部３０２に記憶させ、指定した検知領域５３５の情報（位置、形状等の位置情報、及び属性情報等）を記憶部３０２に記憶させる。検知領域指定部３０７はカメラ選択タブ５０１で選択された撮像装置（図２７の例では撮像装置２ｆ）に関連付けて、検知領域５３５を指定した時刻の情報（時刻情報）を記憶部３０２に記憶させる。
The detection area designating unit 307 associates the image in the detection area 535 at the time when the detection area 535 is designated with the reference image (second image) in association with the imaging device selected in the camera selection tab 501 (the imaging device 2f in the example of FIG. 27). (Reference image) is extracted and stored in the storage unit 302, and information (position information such as position and shape, and attribute information) of the designated detection area 535 is stored in the storage unit 302. The detection area designating unit 307 causes the storage unit 302 to store information on time (time information) designating the detection area 535 in association with the imaging device selected in the camera selection tab 501 (the imaging device 2f in the example of FIG. 27). .
図２８に示す設定画面５００は第１再生部３０４により撮像映像が再生表示されている設定用映像表示部５０２において２つ目の検知領域である検知領域５３６が指定された状態を示している。具体的には、まず、設定用映像表示部５０２において撮像映像の再生表示（一時停止）中にユーザによる入力部３０３の操作によってシークバー５０４のスライダー５０５をスライドさせて、瞬間検知機能の正否判定を所望する画像の部分が表示されているタイミングに調整する。第１再生部３０４は設定用映像表示部５０２に一時停止されている撮像映像のフレームの撮像日付及び撮像時刻を時刻表示部５０６に表示させる。
A setting screen 500 shown in FIG. 28 shows a state in which the detection area 536 as the second detection area is designated in the setting video display section 502 where the captured video is reproduced and displayed by the first playback section 304. Specifically, first, the slider 505 of the seek bar 504 is slid by the operation of the input unit 303 by the user during the reproduction display (pause) of the captured image on the setting image display unit 502, and the correctness determination of the instantaneous detection function is performed. The timing is adjusted so that the desired image portion is displayed. The first playback unit 304 causes the time display unit 506 to display the imaging date and the imaging time of the frame of the captured video that is temporarily stopped on the setting video display unit 502.
次に、ユーザによる入力部３０３の操作（例えばマウス１０８のドラッグ操作）によって、検知領域指定部３０７は設定用映像表示部５０２において２つ目の検知領域である検知領域５３６を指定して表示させる。ただし、検知領域指定部３０７が検知領域５３６を指定するためには、検知領域５３５の指定の場合と同様に、トリガ領域情報部５０７において、トリガ領域指定部３０５により指定されたトリガ領域が選択（図２８の例では「ＴＲ６」）されている必要がある。すなわち、検知領域指定部３０７により指定された検知領域５３６はトリガ領域情報部５０７において選択されたトリガ領域と関連付けられる。
Next, when the user operates the input unit 303 (for example, dragging the mouse 108), the detection region designating unit 307 designates and displays the detection region 536 that is the second detection region on the setting video display unit 502. . However, in order for the detection area designating unit 307 to designate the detection area 536, the trigger area designated by the trigger area designating unit 305 is selected in the trigger area information unit 507 as in the case of designating the detection area 535 ( In the example of FIG. 28, “TR6” is required. That is, the detection area 536 designated by the detection area designation unit 307 is associated with the trigger area selected in the trigger area information unit 507.
設定部３０８は検知領域５３６の属性情報として、検知領域指定部３０７により指定された検知領域５３６に命名した名前、並びにデフォルト値として、後述する正否判定で使用する所定の感度（例えば「５０」）、所定の閾値（例えば「２０％」）、監視方法（例えば「グレースケール」）、アクションの有無（例えば「なし」）、及び正否判定の方法（例えば「一致」）を、検知領域情報部５０９に表示させる。設定部３０８は検知領域５３６の名前として、図２８に示すように、例えばトリガ領域「ＴＲ６」に関連付けられた２番目の領域であるものとして、「Ｋ６２」と命名する。設定部３０８は変化点検出部３０６によって検出された変化点の時刻に対して、検知領域指定部３０７により検知領域５３６が指定された時点のフレームの時刻の遅延時間（図２８の例では「−１．８６」）を属性情報として算出し、検知領域情報部５０９に表示させる。すなわち、この場合、「Ｋ６２」と命名された検知領域５３６では、トリガのタイミングから「１．８６」秒前に正否判定が行われるように設定されたことになる。
The setting unit 308 uses, as attribute information of the detection region 536, a name named for the detection region 536 designated by the detection region designation unit 307, and a predetermined sensitivity (for example, “50”) used for correctness determination described later as a default value. The detection area information unit 509 indicates a predetermined threshold (for example, “20%”), a monitoring method (for example, “grayscale”), the presence / absence of an action (for example, “none”), and a determination method for correctness (for example, “match”). To display. As shown in FIG. 28, the setting unit 308 names “K62” as the name of the detection region 536, for example, as the second region associated with the trigger region “TR6”. The setting unit 308 delays the time of the frame at the time when the detection region 536 is specified by the detection region specifying unit 307 with respect to the time of the change point detected by the change point detection unit 306 (in the example of FIG. 28, “− 1.86 ") is calculated as attribute information and displayed on the detection area information unit 509. In other words, in this case, the detection area 536 named “K62” is set so that the correctness determination is performed “1.86” seconds before the trigger timing.
検知領域指定部３０７はカメラ選択タブ５０１で選択された撮像装置（図２８の例では撮像装置２ｆ）に関連付けて、検知領域５３６を指定した時刻の検知領域５３６内の画像を基準画像として抽出して記憶部３０２に記憶させ、指定した検知領域５３６の情報（位置、形状等の位置情報、及び属性情報等）を記憶部３０２に記憶させる。検知領域指定部３０７はカメラ選択タブ５０１で選択された撮像装置（図２８の例では撮像装置２ｆ）に関連付けて、検知領域５３６を指定した時刻の情報（時刻情報）を記憶部３０２に記憶させる。なお、上述と同様の方法で、検知領域指定部３０７によりさらに別の検知領域を指定することができる。
The detection area designation unit 307 extracts an image in the detection area 536 at the time at which the detection area 536 is designated as a reference image in association with the imaging device selected in the camera selection tab 501 (the imaging device 2f in the example of FIG. 28). Information in the designated detection area 536 (position information such as position and shape, and attribute information) is stored in the storage unit 302. The detection area designating unit 307 causes the storage unit 302 to store information on time (time information) designating the detection area 536 in association with the imaging device selected in the camera selection tab 501 (the imaging device 2f in the example of FIG. 28). . Note that another detection region can be specified by the detection region specifying unit 307 in the same manner as described above.
図２９に示す設定画面５００は検知領域情報部５０９に属性情報が表示された検知領域「Ｋ６１」（検知領域５３５）、「Ｋ６２」（検知領域５３６）のうち「Ｋ６２」が選択された状態を示している。図２９を参照しながら、検知領域の属性情報の編集について説明する。
The setting screen 500 shown in FIG. 29 shows a state in which “K62” is selected from the detection areas “K61” (detection area 535) and “K62” (detection area 536) whose attribute information is displayed in the detection area information section 509. Show. The editing of the attribute information of the detection area will be described with reference to FIG.
まず、図２９に示すように、ユーザによる入力部３０３の操作によって、検知領域情報部５０９に属性情報が表示された検知領域のいずれかを選択すると、設定部３０８は選択された検知領域情報部５０９の検知領域の属性情報の表示部分を反転表示させる。以下、図２９に示すように検知領域５３６（検知領域名「Ｋ６２」）が選択されたものとして説明する。
First, as shown in FIG. 29, when one of the detection areas whose attribute information is displayed in the detection area information section 509 is selected by the user's operation of the input section 303, the setting section 308 selects the selected detection area information section. The display part of the attribute information of the detection area 509 is displayed in reverse video. In the following description, it is assumed that the detection area 536 (detection area name “K62”) is selected as shown in FIG.
次に、例えば、ユーザによる入力部３０３の操作によってアクションボタン５１０ａを押下すると、設定部３０８は選択された検知領域５３６のアクションの有無の設定値を切り替える。例えば、検知領域５３６のアクションの有無が「なし」となっている場合、アクションボタン５１０ａが押下されると、設定部３０８は検知領域５３６のアクションの有無を「あり」に設定する。一方、検知領域５３６のアクションの有無が「あり」となっている場合、アクションボタン５１０ａが押下されると、設定部３０８は検知領域５３６のアクションの有無を「なし」に設定する。後述するように、アクションの有無が「あり」となっている場合、検知領域判定部３１４によってその検知領域５３６における正否判定で異常と判定された場合、外部出力部３３２が異常信号を出力する。
Next, for example, when the user presses the action button 510 a by operating the input unit 303, the setting unit 308 switches the set value of presence / absence of the action in the selected detection area 536. For example, when the presence / absence of an action in the detection area 536 is “none”, when the action button 510a is pressed, the setting unit 308 sets the presence / absence of an action in the detection area 536 to “present”. On the other hand, when the presence / absence of an action in the detection area 536 is “Yes”, when the action button 510 a is pressed, the setting unit 308 sets the presence / absence of an action in the detection area 536 to “No”. As will be described later, when the presence / absence of an action is “Yes”, the external output unit 332 outputs an abnormal signal when the detection region determination unit 314 determines that the detection region 536 has an abnormality.
例えば、ユーザによる入力部３０３の操作によって画像判定選択ボタン５１０ｂを押下すると、設定部３０８は選択された検知領域５３６の正否判定の方法の設定値を切り替える。例えば、検知領域５３６の正否判定の方法が「一致」となっている場合、画像判定選択ボタン５１０ｂが押下されると、設定部３０８は検知領域５３６の正否判定の方法を「不一致」に設定する。一方、検知領域５３６の正否判定の方法が「不一致」となっている場合、画像判定選択ボタン５１０ｂが押下されると、設定部３０８は検知領域５３６の正否判定の方法を「一致」に設定する。
For example, when the image determination selection button 510b is pressed by the user operating the input unit 303, the setting unit 308 switches the setting value of the method for determining whether the selected detection area 536 is correct. For example, when the determination method of the detection area 536 is “match”, when the image determination selection button 510b is pressed, the setting unit 308 sets the determination method of the detection area 536 to “mismatch”. . On the other hand, when the determination method of the detection area 536 is “mismatch”, when the image determination selection button 510b is pressed, the setting unit 308 sets the determination method of the detection area 536 to “match”. .
後述するように、正否判定の方法が「一致」となっている場合、検知領域判定部３１４は抽出した画像（検知画像）と基準画像との間の画像的特徴の相違度が属性情報の閾値以上の場合に異常と判定する。このように、正否判定の方法を「一致」とする場合の例としては、ワーク（検体）に部品を挿入する設備において、部品がワークに正常に挿入されている状態の画像を基準画像とし、ワークへの部品の挿入動作が終了したタイミングの画像を検知画像としてワークの正否判定を行う場合が挙げられる。この場合、ワークへの部品の挿入動作が失敗し、正常に部品が挿入されていない状態で検知領域判定部３１４により正否判定が実行されると、基準画像と検知画像との間の画像的特徴の相違度が属性情報の閾値以上となり、異常と判定されることになる。
As will be described later, when the correctness determination method is “match”, the detection area determination unit 314 determines that the difference in image characteristics between the extracted image (detected image) and the reference image is the threshold value of the attribute information. In the above case, it is determined as abnormal. In this way, as an example of a case where the correctness determination method is “match”, in the facility for inserting a part into a workpiece (specimen), an image in a state where the part is normally inserted into the workpiece is used as a reference image. A case where the correctness of the workpiece is determined using an image at a timing when the operation of inserting the component into the workpiece is completed as a detected image can be mentioned. In this case, when the detection operation of the detection area determination unit 314 determines whether or not the part is correctly inserted by the detection region determination unit 314 in a state where the part insertion operation to the workpiece has failed and the part has not been normally inserted, an image characteristic between the reference image and the detection image. Is different from the threshold value of the attribute information and is determined to be abnormal.
一方、正否判定の方法が「不一致」となっている場合、検知領域判定部３１４は抽出した画像（検知画像）と基準画像との間の画像的特徴の相違度が属性情報の閾値未満の場合に異常と判定する。このように、正否判定の方法を「不一致」とする場合の例としては、ワークに部品を挿入する設備において、部品がワークに正常に挿入されていない状態の画像を基準画像とし、ワークへの部品の挿入動作が終了したタイミングの画像を検知画像としてワークの正否判定を行う場合が挙げられる。この場合、ワークへの部品の挿入動作が失敗し、正常に部品が挿入されていない状態で検知領域判定部３１４により正否判定が実行されると、基準画像と検知画像との間の画像的特徴の相違度が属性情報の閾値未満となり、異常と判定されることになる。なお、部品がワークに挿入されていない状態の画像を基準画像とする事情としては、完成品としての部品が挿入されたワークを準備するのが困難である場合等が挙げられる。
On the other hand, when the correct / incorrect determination method is “mismatch”, the detection area determination unit 314 determines that the difference in image characteristics between the extracted image (detected image) and the reference image is less than the threshold value of the attribute information. Is determined to be abnormal. In this way, as an example of a case where the correctness determination method is “mismatched”, in the equipment for inserting a part into a work, an image in which the part is not normally inserted into the work is used as a reference image, A case where the correctness of the workpiece is determined using an image at the timing when the component insertion operation is completed as a detected image can be mentioned. In this case, when the detection operation of the detection area determination unit 314 determines whether or not the part is correctly inserted by the detection region determination unit 314 in a state where the part insertion operation to the workpiece has failed and the part has not been normally inserted, an image characteristic between the reference image and the detection image. Is less than the threshold value of the attribute information, and is determined to be abnormal. Note that, as a situation where an image in a state in which no part is inserted into a workpiece is used as a reference image, there is a case where it is difficult to prepare a workpiece in which a component as a finished product is inserted.
例えば、ユーザによる入力部３０３の操作によって削除ボタン５１０ｃを押下すると、設定部３０８は検知領域情報部５０９に表示された検知領域５３６の属性情報を消去し、記憶部３０２に記憶された検知領域５３６の情報を削除する。検知領域指定部３０７は設定用映像表示部５０２に表示された検知領域５３６を消去し、記憶部３０２に記憶された検知基準画像を削除する。
For example, when the user presses the delete button 510 c by operating the input unit 303, the setting unit 308 deletes the attribute information of the detection region 536 displayed in the detection region information unit 509 and detects the detection region 536 stored in the storage unit 302. Delete the information. The detection area designating unit 307 deletes the detection area 536 displayed on the setting video display unit 502 and deletes the detection reference image stored in the storage unit 302.
例えば、ユーザによる入力部３０３の操作によって感度増加ボタン５１０ｅを押下すると、設定部３０８は選択された検知領域５３６における正否判定に用いられる感度の値を所定値だけ増加させる。一方、ユーザによる入力部３０３の操作によって感度減少ボタン５１０ｆを押下すると、設定部３０８は選択された検知領域５３６における正否判定に用いられる感度の値を所定値だけ減少させる。
For example, when the sensitivity increase button 510e is pressed by the operation of the input unit 303 by the user, the setting unit 308 increases the sensitivity value used for correctness determination in the selected detection region 536 by a predetermined value. On the other hand, when the sensitivity reduction button 510f is pressed by the operation of the input unit 303 by the user, the setting unit 308 decreases the sensitivity value used for the correctness determination in the selected detection region 536 by a predetermined value.
例えば、ユーザによる入力部３０３の操作によって閾値増加ボタン５１０ｇを押下すると、設定部３０８は選択された検知領域５３６における正否判定に用いられる閾値の値を所定値だけ増加させる。一方、ユーザによる入力部３０３の操作によって閾値減少ボタン５１０ｈを押下すると、設定部３０８は、選択された検知領域５３６における正否判定に用いられる閾値の値を所定値だけ減少させる。
For example, when the threshold increase button 510g is pressed by the user operating the input unit 303, the setting unit 308 increases the threshold value used for the right / no-go determination in the selected detection area 536 by a predetermined value. On the other hand, when the threshold value decrease button 510h is pressed by the operation of the input unit 303 by the user, the setting unit 308 decreases the threshold value used for correctness determination in the selected detection region 536 by a predetermined value.
（ウォッチャ画面における正否判定動作）
図３０は、第２の実施の形態に係る情報処理装置２５３の表示部３３３に表示されるウォッチャ画面４００で監視動作が実行される状態の例を示す図である。図３１は、第２の実施の形態に係る情報処理装置２５３の表示部３３３に表示されるウォッチャ画面４００で実行される監視動作でトリガが発生する前の状態の例を示す図である。図３２は、第２の実施の形態に係る情報処理装置２５３の表示領域に表示されるウォッチャ画面４００で実行される監視動作でトリガが発生した状態の例を示す図である。図３３〜３８は、第２の実施の形態に係る情報処理装置２５３の表示部３３３に表示されるウォッチャ画面４００で実行される監視動作において検知領域５３５〜５３８で正否判定が行われた状態の例を示す図である。
(Performance judgment operation on the watcher screen)
FIG. 30 is a diagram illustrating an example of a state in which a monitoring operation is performed on the watcher screen 400 displayed on the display unit 333 of the information processing device 253 according to the second embodiment. FIG. 31 is a diagram illustrating an example of a state before a trigger is generated in the monitoring operation executed on the watcher screen 400 displayed on the display unit 333 of the information processing device 253 according to the second embodiment. FIG. 32 is a diagram illustrating an example of a state in which a trigger is generated in the monitoring operation executed on the watcher screen 400 displayed in the display area of the information processing device 253 according to the second embodiment. 33 to 38 show a state in which the correctness determination is performed in the detection areas 535 to 538 in the monitoring operation executed on the watcher screen 400 displayed on the display unit 333 of the information processing device 253 according to the second embodiment. It is a figure which shows an example.
まず、図３０を参照しながら、ウォッチャ画面４００における正否判定動作の概要について説明する。図３０に示すウォッチャ画面４００は複数の撮像装置２ａ〜２ｆから受信した撮像映像をリアルタイムに表示し、映像表示部４０１ｆで常時検知領域「Ａ６１」、トリガ領域「ＴＲ６」、並びに検知領域「Ｋ６１」、「Ｋ６２」、「Ｋ６３」、及び「Ｋ６４」が指定された状態を示している。ただし、ウォッチャ画面４００における正否判定動作においては、複数の機能（本実施の形態の場合、常時検知機能及び瞬間検知機能）が実行されるので、外観の煩雑さを回避するため、映像表示部４０１に表示される各領域５３０，５３５〜５３８，５７０の名称の表示は省略するものとしている。常時検知機能とは、監視動作中に常時検知領域５７０について正否判定を常時実行する機能である。瞬間検知機能とは、トリガが生成された場合に予め設定された条件に基づいて各検知領域５３５〜５３８について正否判定を行う機能である。具体的には、瞬間検知機能はトリガ領域５３０で検知されたトリガのタイミングから設定時間前又は設定時間後のタイミングで、各検知領域５３５〜５３８について正否判定を実行する機能である。第１制御部３１６は設定画面５００からウォッチャ画面４００に遷移した後、映像表示部４０１ｆについて各領域５３０，５３５〜５３８，５７０の設定が完了していれば、状態表示部４２１ｆに「設定完了」と表示させる。
First, an outline of the correctness determination operation on the watcher screen 400 will be described with reference to FIG. The watcher screen 400 shown in FIG. 30 displays captured images received from the plurality of imaging devices 2a to 2f in real time, and the video display unit 401f displays a constant detection area “A61”, a trigger area “TR6”, and a detection area “K61”. , “K62”, “K63”, and “K64” are designated. However, in the correctness determination operation on the watcher screen 400, a plurality of functions (in the case of this embodiment, a constant detection function and an instantaneous detection function) are executed. The display of the names of the respective areas 530, 535 to 538, and 570 displayed in FIG. The constant detection function is a function that always performs correct / incorrect determination on the constant detection area 570 during the monitoring operation. The instantaneous detection function is a function for determining whether each detection region 535 to 538 is correct based on a preset condition when a trigger is generated. Specifically, the instantaneous detection function is a function for executing a right / no-go determination for each of the detection areas 535 to 538 at a timing before or after the set time from the trigger timing detected in the trigger area 530. After the transition from the setting screen 500 to the watcher screen 400, the first control unit 316 displays “setting complete” in the status display unit 421f if the settings of the areas 530, 535 to 538, and 570 are completed for the video display unit 401f. Is displayed.
次に、ユーザは入力部３０３を操作し、正否判定動作を開始させたい撮像装置２ａ〜２ｆに対応する映像表示部４０１ａ〜４０１ｆを押下することにより、所望の映像表示部４０１ａ〜４０１ｆを選択状態にする。図３０に示す例では、映像表示部４０１ｆが押下されて選択状態になった状態が示されている。第１制御部３１６はユーザによる入力部３０３の操作によって監視開始ボタン４１１が押下されると、映像表示部４０１ｆに表示される撮像装置２ｆのリアルタイムの撮像映像について正否判定動作を開始する。このとき、第１制御部３１６は図３０に示すように、撮像装置２ｆについて正否判定動作が実行中である旨を示すために、状態表示部４２１ｆに「監視中」と表示させる。第１制御部３１６は選択状態になっている映像表示部４０１ｆに対応する撮像装置２ｆに関連付けて、正否判定動作を開始した時刻の情報を記憶部３０２に記憶させる。第１制御部３１６はユーザによる入力部３０３の操作によって監視停止ボタン４１２が押下された場合に、選択状態の映像表示部４０１についての正否判定動作を停止し、その映像表示部４０１に対応する撮像装置２ｆに関連付けて、正否判定動作を停止した時刻の情報を記憶部３０２に記憶させる。
Next, the user operates the input unit 303 to select the desired video display units 401a to 401f by pressing down the video display units 401a to 401f corresponding to the imaging devices 2a to 2f for which the correctness determination operation is to be started. To. In the example illustrated in FIG. 30, a state in which the video display unit 401 f is pressed to be in a selected state is illustrated. When the monitoring start button 411 is pressed by the operation of the input unit 303 by the user, the first control unit 316 starts a correctness determination operation for the real-time captured video of the imaging device 2f displayed on the video display unit 401f. At this time, as shown in FIG. 30, the first control unit 316 causes the status display unit 421f to display “monitoring” in order to indicate that the correctness determination operation is being executed for the imaging device 2f. The first control unit 316 causes the storage unit 302 to store information on the time when the correctness determination operation is started in association with the imaging device 2f corresponding to the video display unit 401f in the selected state. When the monitoring stop button 412 is pressed by an operation of the input unit 303 by the user, the first control unit 316 stops the correctness determination operation for the selected video display unit 401 and performs imaging corresponding to the video display unit 401. In association with the device 2 f, information on the time when the correctness determination operation is stopped is stored in the storage unit 302.
具体的なウォッチャ画面４００における正否判定動作では、まず、映像振分部３１２が映像受信部３０１から取得したリアルタイムの撮像映像を映像表示部４０１ａ〜４０１ｆに振り分けて表示させる。トリガ生成部３１３は記憶部３０２から変化点検出部３０６により検出された変化点のフレームにおける差分画像を取得する。トリガ生成部３１３は映像表示部４０１ｆで指定されているトリガ領域「ＴＲ６」において、差分画像と撮像映像のフレームのトリガ領域の画像とを比較する。トリガ生成部３１３は撮像映像のフレームのトリガ領域の画像が、変化点のフレームにおける差分画像と比較して、画像的特徴の相違度が閾値未満となったタイミングでトリガ信号を生成（以下、「トリガを検知」するともいう場合がある）する。トリガ生成部３１３は正否判定動作でトリガ信号を生成した時刻の情報を、正否判定動作を実行している撮像装置２ｆに関連付けて記憶部３０２に記憶させる。トリガ生成部３１３は正否判定動作でトリガ信号を生成した時刻の情報を、正否判定動作を実行している撮像装置２ｆに関連付けて記憶部３０２のマーカファイルに書き込む。
In the correctness determination operation on the specific watcher screen 400, first, the video distribution unit 312 distributes and displays the real-time captured video acquired from the video reception unit 301 on the video display units 401a to 401f. The trigger generation unit 313 acquires a difference image in the frame of the change point detected by the change point detection unit 306 from the storage unit 302. The trigger generation unit 313 compares the difference image with the image of the trigger region of the frame of the captured video in the trigger region “TR6” specified by the video display unit 401f. The trigger generation unit 313 generates a trigger signal at the timing when the image of the trigger region of the captured video frame is less than the threshold value compared to the difference image in the frame of the change point (hereinafter, “ It may also be called “detecting a trigger”). The trigger generation unit 313 causes the storage unit 302 to store information on the time when the trigger signal is generated by the correctness determination operation in association with the imaging device 2f that is executing the correctness determination operation. The trigger generation unit 313 writes the information on the time when the trigger signal is generated by the correctness determination operation in association with the imaging device 2f that is executing the correctness determination operation in the marker file of the storage unit 302.
検知領域５３５〜５３８（Ｋ６１、Ｋ６２、Ｋ６３、及びＫ６４）の属性情報のうち、検知遅延時間がそれぞれ「１．０」秒、「２．２」秒、「２．５」秒、「４．０」秒に設定されているものとする。検知領域判定部３１４は記憶部３０２から、指定された検知領域５３５〜５３８の属性情報を取得する。検知領域判定部３１４はトリガ生成部３１３により生成されたトリガ信号を受け取ったときの設定時間前又は設定時間後に、指定された検知領域５３５〜５３８において基準画像と撮像映像のフレームの検知領域の画像（検知画像）とを比較して正否判定を行う。
Among the attribute information of the detection areas 535 to 538 (K61, K62, K63, and K64), the detection delay times are “1.0” seconds, “2.2” seconds, “2.5” seconds, and “4. Assume that it is set to 0 seconds. The detection area determination unit 314 acquires attribute information of the designated detection areas 535 to 538 from the storage unit 302. The detection area determination unit 314 receives the trigger signal generated by the trigger generation unit 313 before or after the set time, and in the designated detection areas 535 to 538, the image of the detection area of the reference image and the captured video frame. A correct / incorrect determination is made by comparing (detected image).
具体的には、検知領域判定部３１４はトリガ生成部３１３によりトリガ領域５３０（ＴＲ６）に対応するトリガ信号を受け取った時点から、検知領域５３５（Ｋ６１）に対応する検知遅延時間「１．０」秒後の撮像映像のフレームの検知領域の画像（検知画像）と基準画像とを比較して正否判定を行う。このとき、正否判定として、検知領域判定部３１４は基準画像と検知画像との間の画像的特徴の相違度が閾値以上となった場合に、検知領域５３５内のワークは異常であると判定する。検知領域判定部３１４は正否判定動作で正常検知又は異常検知をした検知時刻の情報を、正否判定動作を実行している撮像装置２ｆに関連付けて記憶部３０２に記憶させる。検知領域判定部３１４は正否判定動作で異常検知をした検知時刻の情報を、正否判定動作を実行している撮像装置２ｆに関連付けて記憶部３０２のマーカファイルに書き込む。
Specifically, the detection region determination unit 314 receives the trigger signal corresponding to the trigger region 530 (TR6) from the trigger generation unit 313 and detects the detection delay time “1.0” corresponding to the detection region 535 (K61). A correct / incorrect determination is made by comparing the image (detected image) in the detection area of the frame of the captured video after 2 seconds with the reference image. At this time, as a correct / incorrect determination, the detection area determination unit 314 determines that the workpiece in the detection area 535 is abnormal when the degree of difference in image characteristics between the reference image and the detection image is equal to or greater than a threshold value. . The detection area determination unit 314 stores information on the detection time at which normal detection or abnormality detection was performed in the correct / incorrect determination operation in the storage unit 302 in association with the imaging device 2f that is executing the correct / incorrect determination operation. The detection area determination unit 314 writes information on the detection time at which abnormality was detected in the correctness determination operation in association with the imaging device 2f that is executing the correctness determination operation in the marker file of the storage unit 302.
このように、検知領域判定部３１４がトリガ信号を受け取った時点から先のタイミングで正否判定する場合の例としては、圧入機等の設備において、圧入動作開始のタイミングをトリガとして、圧入後の圧入状態を正否判定する場合が挙げられる。具体的には、トリガ生成部３１３は圧入機がワークに対して圧入部品を圧入する動作を開始するタイミングをトリガとしてトリガ信号を生成する。その後、圧入機はワークに圧入部品を圧入し、圧入動作終了後、圧入機の各アクチュエータは原点位置に戻る。検知領域判定部３１４は圧入後のワークの圧入状態に対して正否判定を行う。この検知領域判定部３１４による正否判定のタイミングが、トリガ生成部３１３からトリガ信号を受けてから検知遅延時間で設定された時間後のタイミングとなる。トリガ信号が生成される圧入動作の開始から圧入後の圧入状態の正否判定が実行されるまでの時間は、圧入機による自動動作により固定時間となり、トリガのタイミングから正否判定をするまでの検知遅延時間を固定の時間として設定できることになる。
As described above, as an example of whether the detection area determination unit 314 determines whether the trigger signal is correct or not at the previous timing, in the equipment such as a press-fitting machine, the press-fitting operation after the press-fitting operation is used as a trigger. A case where the correctness of the state is determined is mentioned. Specifically, the trigger generation unit 313 generates a trigger signal with a timing at which the press-fitting machine starts an operation of press-fitting a press-fitting part into the work. Thereafter, the press-fitting machine press-fits the press-fitting parts into the work, and after the press-fitting operation, each actuator of the press-fitting machine returns to the origin position. The detection area determination unit 314 determines whether the workpiece is press-fitted after press-fitting. The timing of the correctness determination by the detection area determination unit 314 is the timing after the time set by the detection delay time after receiving the trigger signal from the trigger generation unit 313. The time from the start of the press-fitting operation at which the trigger signal is generated until the correctness determination of the press-fitted state after press-fitting is a fixed time due to the automatic operation by the press-fitting machine, and the detection delay from the trigger timing to the correctness determination The time can be set as a fixed time.
検知領域判定部３１４は検知領域５３５〜５３８に対応するそれぞれの検知遅延時間後の撮像映像のフレームの画像（検知画像）と、各検知領域５３５〜５３８の基準画像とをそれぞれ比較して正否判定をする。正否判定の方法は上述の検知領域「Ｋ６１」の場合と同様である。
The detection area determination unit 314 compares the images (detected images) of the captured video frames after the detection delay times corresponding to the detection areas 535 to 538 with the reference images of the detection areas 535 to 538, respectively, to determine whether they are correct. do. The correctness determination method is the same as that in the detection region “K61” described above.
外部出力部３３２は検知領域判定部３１４により異常の判定がなされた場合に異常信号を外部機器１０に出力する。
The external output unit 332 outputs an abnormal signal to the external device 10 when the detection region determination unit 314 determines abnormality.
常時検知領域判定部３１５は記憶部３０２から、指定された常時検知領域５７０の属性情報を取得する。常時検知領域判定部３１５は監視動作が実行されている間、指定された常時検知領域５７０において基準画像と撮像映像のフレームの常時検知領域の画像（検知画像）とを比較して異常であるか否かの正否判定を常時実行する。
The constant detection area determination unit 315 acquires attribute information of the designated continuous detection area 570 from the storage unit 302. While the monitoring operation is being executed, the always-detection area determination unit 315 compares the reference image with the image in the always-detection area (detected image) of the frame of the captured video in the designated always-detection area 570 to determine whether it is abnormal. Whether or not right or wrong is always executed.
具体的には、常時検知領域判定部３１５は常時検知領域５７０（Ａ６１）に対応する撮像映像のフレームの画像（検知画像）と検知領域とを比較して正否判定を行う。このとき、正否判定として、常時検知領域判定部３１５は常時検知の基準画像と常時検知領域の画像（検知画像）との間の画像的特徴の相違度が閾値以上となった場合に、常時検知領域５７０内のワークは異常であると判定する。常時検知領域判定部３１５は正否判定動作で異常検知をした検知時刻の情報を、正否判定動作を実行している撮像装置２ｆに関連付けて記憶部３０２に記憶させる。常時検知領域判定部３１５は正否判定動作で異常検知をした検知時刻の情報を、正否判定動作を実行している撮像装置２ｆに関連付けて記憶部３０２のマーカファイルに書き込む。
Specifically, the constant detection area determination unit 315 compares the image (detected image) of the frame of the captured video corresponding to the constant detection area 570 (A61) with the detection area to determine whether it is correct. At this time, as a correct / incorrect determination, the always-detection area determination unit 315 always detects when the difference in image features between the always-detected reference image and the always-detection area image (detected image) is equal to or greater than a threshold value. It is determined that the work in the area 570 is abnormal. The constant detection area determination unit 315 stores the information of the detection time when abnormality is detected in the correctness determination operation in the storage unit 302 in association with the imaging device 2f that is executing the correctness determination operation. The constant detection region determination unit 315 writes the information of the detection time at which abnormality is detected in the correctness determination operation in association with the imaging device 2f that is executing the correctness determination operation in the marker file of the storage unit 302.
外部出力部３３２は常時検知領域判定部３１５により異常の判定がなされた場合に異常信号を外部機器１０に出力する。
The external output unit 332 outputs an abnormality signal to the external device 10 when abnormality is determined by the constant detection region determination unit 315.
次に、図３１〜３８を参照しながら、ウォッチャ画面４００における映像表示部４０１ｆを例にして、瞬間検知機能に基づく撮像映像に対する正否判定動作の詳細について説明する。まず、第１制御部３１６は映像表示部４０１ｆについて正否判定動作が開始されると、設定画面５００で指定された各領域を示す枠を映像表示部４０１ｆの撮像映像に重畳させて表示させる。具体的には、図３１に示すように、映像表示部４０１ｆにはトリガ領域５３０、検知領域５３５〜５３８、及び常時検知領域５７０が表示される。この際、第１制御部３１６は通常状態（各領域５３０，５３５〜５３８，５７０で検知がなされていない状態）の各領域５３０，５３５〜５３８，５７０を示す枠を別々の色によって表示させる。例えば、第１制御部３１６はトリガ領域５３０を示す枠を「白色」で、検知領域５３５〜５３８を示す枠を「黄色」で、常時検知領域５７０を示す枠を「緑色」で表示させる。
Next, with reference to FIGS. 31 to 38, the details of the correctness determination operation for the captured image based on the instantaneous detection function will be described using the image display unit 401 f on the watcher screen 400 as an example. First, when the correctness determination operation is started for the video display unit 401f, the first control unit 316 superimposes and displays a frame indicating each region specified on the setting screen 500 on the captured video of the video display unit 401f. Specifically, as shown in FIG. 31, a trigger area 530, detection areas 535 to 538, and a constant detection area 570 are displayed on the video display unit 401f. At this time, the first control unit 316 displays the frames indicating the areas 530, 535-538, and 570 in the normal state (states in which the areas 530, 535 to 538, and 570 are not detected) with different colors. For example, the first control unit 316 displays a frame indicating the trigger area 530 as “white”, a frame indicating the detection areas 535 to 538 as “yellow”, and a frame indicating the constant detection area 570 as “green”.
次に、図３２に示すように、第１制御部３１６はトリガ生成部３１３がトリガを検知した場合、トリガ領域５３０を示す枠を通常状態の色とは異なる色で、且つ通常状態の枠よりも太く表示（以下、単に「太く表示」という場合がある）させる。例えば、第１制御部３１６はトリガ領域５３０を示す枠を「青色」且つ太く表示させ、この表示状態を１秒間継続させる。第１制御部３１６は１秒後にトリガ領域５３０を示す枠の表示を通常状態の枠の表示に戻す。
Next, as illustrated in FIG. 32, when the trigger generation unit 313 detects the trigger, the first control unit 316 uses a color different from the normal state color for the frame indicating the trigger region 530 and the normal state frame. Are also displayed thickly (hereinafter simply referred to as “thick display”). For example, the first control unit 316 displays the frame indicating the trigger region 530 as “blue” and thick, and continues this display state for 1 second. The first control unit 316 returns the display of the frame indicating the trigger area 530 to the display of the frame in the normal state after 1 second.
次に、検知領域判定部３１４はトリガ生成部３１３からトリガ信号を受け取ってから検知領域５３５について設定された検知遅延時間である「１．０」秒後に、検知領域５３５で正否判定をする。この判定の結果、正常検知となった場合、図３３に示すように、第１制御部３１６は検知領域５３５を示す枠を通常状態の色とは異なる色で、且つ通常状態の枠よりも太く表示させる。例えば、第１制御部３１６は正常検知を示すために検知領域５３５を示す枠を「青色」且つ太く表示させ、この表示状態を１秒間継続させる。第１制御部３１６は１秒後に検知領域５３５を示す枠の表示を通常状態の枠の表示に戻す。
Next, the detection region determination unit 314 determines whether the detection region 535 is correct or not after “1.0” seconds, which is the detection delay time set for the detection region 535, after receiving the trigger signal from the trigger generation unit 313. If the result of this determination is normal detection, as shown in FIG. 33, the first control unit 316 has a frame indicating the detection area 535 in a color different from the color in the normal state and thicker than the frame in the normal state. Display. For example, the first control unit 316 displays the frame indicating the detection region 535 “blue” and thickly to indicate normal detection, and continues this display state for one second. The first control unit 316 returns the display of the frame indicating the detection area 535 to the display of the frame in the normal state after 1 second.
次に、検知領域判定部３１４はトリガ生成部３１３からトリガ信号を受け取ってから検知領域５３６について設定された検知遅延時間である「２．２」秒後に、検知領域５３６で正否判定をする。検知領域判定部３１４はトリガ生成部３１３からトリガ信号を受け取ってから検知領域５３７について設定された検知遅延時間である「２．５」秒後に、検知領域５３７で正否判定をする。この判定の結果、それぞれ正常検知となった場合、図３４に示すように、第１制御部３１６は検知領域５３６、５３７を示すそれぞれの枠を通常状態の色とは異なる色で、且つ通常状態の枠よりも太く表示させる。例えば、第１制御部３１６は正常検知を示すために検知領域５３６、５３７を示す枠をそれぞれ「青色」且つ太く表示させ、この表示状態を１秒間継続させる。第１制御部３１６は１秒後に検知領域５３６、５３７を示すそれぞれの枠の表示を通常状態の枠の表示に戻す。
Next, after receiving the trigger signal from the trigger generation unit 313, the detection region determination unit 314 determines whether the detection region 536 is correct or not after “2.2” seconds, which is the detection delay time set for the detection region 536. After receiving the trigger signal from the trigger generation unit 313, the detection area determination unit 314 determines whether or not the detection area 537 is correct after “2.5” seconds, which is the detection delay time set for the detection area 537. As a result of the determination, if each is normal detection, as shown in FIG. 34, the first control unit 316 displays the frames indicating the detection areas 536 and 537 in colors different from the colors in the normal state and in the normal state. Display thicker than the frame. For example, the first control unit 316 displays the frames indicating the detection areas 536 and 537 in “blue” and thick to indicate normal detection, and continues this display state for one second. The first control unit 316 returns the display of the frames indicating the detection areas 536 and 537 to the display of the frames in the normal state after 1 second.
検知領域判定部３１４はトリガ生成部３１３からトリガ信号を受け取ってから検知領域５３８について設定された検知遅延時間である「４．０」秒後に、検知領域５３８で正否判定をする。この判定の結果、正常検知となった場合、図３５に示すように、第１制御部３１６は検知領域５３８を示す枠を通常状態の色とは異なる色で、且つ通常状態の枠よりも太く表示させる。例えば、第１制御部３１６は正常検知を示すために検知領域５３８を示す枠を「青色」且つ太く表示させ、この表示状態を１秒間継続させる。第１制御部３１６は１秒後に検知領域５３８を示す枠の表示を通常状態の枠の表示に戻す。報知制御部３１７は検知領域判定部３１４によりトリガ生成部３１３のトリガに伴う検知領域の正否判定がすべて終了したタイミング（すなわち、検知領域５３８の正否判定が終了したタイミング）で、報知部３３４に検知領域の正否判定の終了を示す判定終了音（図３５では「ピッ」と表記）を所定時間（例えば０．２秒）出力させる。以上のように、図３３〜３５では、検知領域５３５〜５３８の正否判定ですべて正常検知された場合について説明した。次に、検知領域５３５〜５３８のいずれかで異常検知がなされた場合について説明する。
After receiving the trigger signal from the trigger generation unit 313, the detection region determination unit 314 determines whether the detection region 538 is correct or not after “4.0” seconds, which is the detection delay time set for the detection region 538. If the result of this determination is normal detection, as shown in FIG. 35, the first control unit 316 has a frame indicating the detection area 538 in a color different from the color in the normal state and thicker than the frame in the normal state. Display. For example, the first control unit 316 displays a frame indicating the detection area 538 in “blue” and thick to indicate normal detection, and continues this display state for one second. The first control unit 316 returns the display of the frame indicating the detection area 538 to the display of the frame in the normal state after 1 second. The notification control unit 317 detects by the notification unit 334 at the timing when the detection region determination unit 314 finishes all the detection region correctness determinations associated with the trigger of the trigger generation unit 313 (that is, when the detection region 538 correctness determination ends). A determination end sound (indicated as “beep” in FIG. 35) indicating the end of the correct / incorrect determination of the area is output for a predetermined time (for example, 0.2 seconds). As described above, in FIGS. 33 to 35, the case has been described in which all of the detection areas 535 to 538 are normally detected in the correctness determination. Next, a case where an abnormality is detected in any of the detection areas 535 to 538 will be described.
図３２で示したように、トリガ生成部３１３がトリガを検知してから、再びトリガ検知をした後の動作について説明する。検知領域判定部３１４はトリガ生成部３１３からトリガ信号を受け取ってから検知領域５３５について設定された検知遅延時間である「１．０」秒後に、検知領域５３５で正否判定をする。この判定の結果、正常検知となった場合、図３６に示すように、第１制御部３１６は検知領域５３５を示す枠を通常状態の色とは異なる色で、且つ通常状態の枠よりも太く表示させる。例えば、第１制御部３１６は正常検知を示すために検知領域５３５を示す枠を「青色」且つ太く表示させ、この表示状態を１秒間継続させる。第１制御部３１６は１秒後に検知領域５３５を示す枠の表示を通常状態の枠の表示に戻す。
As shown in FIG. 32, the operation after the trigger generation unit 313 detects the trigger and then performs the trigger detection again will be described. After receiving the trigger signal from the trigger generation unit 313, the detection area determination unit 314 determines whether or not the detection area 535 is correct after “1.0” seconds, which is the detection delay time set for the detection area 535. If the result of this determination is normal detection, as shown in FIG. 36, the first control unit 316 makes the frame indicating the detection region 535 different from the color in the normal state and thicker than the frame in the normal state. Display. For example, the first control unit 316 displays the frame indicating the detection region 535 “blue” and thickly to indicate normal detection, and continues this display state for one second. The first control unit 316 returns the display of the frame indicating the detection area 535 to the display of the frame in the normal state after 1 second.
次に、検知領域判定部３１４はトリガ生成部３１３からトリガ信号を受け取ってから検知領域５３６について設定された検知遅延時間である「２．２」秒後に、検知領域５３６で正否判定をする。検知領域判定部３１４はトリガ生成部３１３からトリガ信号を受け取ってから検知領域５３７について設定された検知遅延時間である「２．５」秒後に、検知領域５３７で正否判定をする。この判定の結果、検知領域５３６において正常検知となった場合、図３７に示すように、第１制御部３１６は検知領域５３６を示す枠を通常状態の色とは異なる色で、且つ通常状態の枠よりも太く表示させる。例えば、第１制御部３１６は正常検知を示すために検知領域５３６を示す枠を「青色」且つ太く表示させ、この表示状態を１秒間継続させる。第１制御部３１６は１秒後に検知領域５３６を示す枠の表示を通常状態の枠の表示に戻す。一方、上述の判定の結果、検知領域５３７において異常検知となった場合、図３７に示すように、第１制御部３１６は検知領域５３７を示す枠を通常状態の色とは異なる色で、且つ通常状態の枠よりも太く表示させる。例えば、第１制御部３１６は異常検知を示すために検知領域５３７を示す枠を「赤色」且つ太く表示させ、この表示状態を１秒間継続させる。このとき、報知制御部３１７は検知領域判定部３１４により検知領域５３７において異常検知がされたタイミングで、報知部３３４に異常検知を報知する異常検知音（図３７では「ブー」と表記）を所定時間（例えば１秒）出力させる。第１制御部３１６は１秒後に検知領域５３７を示す枠の表示を通常状態の枠の表示に戻す。
Next, after receiving the trigger signal from the trigger generation unit 313, the detection region determination unit 314 determines whether the detection region 536 is correct or not after “2.2” seconds, which is the detection delay time set for the detection region 536. After receiving the trigger signal from the trigger generation unit 313, the detection area determination unit 314 determines whether or not the detection area 537 is correct after “2.5” seconds, which is the detection delay time set for the detection area 537. As a result of this determination, when normal detection is detected in the detection area 536, as shown in FIG. 37, the first control unit 316 sets the frame indicating the detection area 536 in a color different from the color in the normal state and in the normal state. Display thicker than the frame. For example, the first control unit 316 displays a frame indicating the detection region 536 as “blue” and thick to indicate normal detection, and continues this display state for one second. The first control unit 316 returns the display of the frame indicating the detection area 536 to the display of the frame in the normal state after 1 second. On the other hand, if an abnormality is detected in the detection area 537 as a result of the above determination, as shown in FIG. 37, the first control unit 316 uses a color different from the color in the normal state for the frame indicating the detection area 537, and Display thicker than the normal frame. For example, the first control unit 316 displays a frame indicating the detection region 537 as “red” and thick to indicate abnormality detection, and continues this display state for one second. At this time, the notification control unit 317 provides a predetermined abnormality detection sound (indicated as “boo” in FIG. 37) to notify the notification unit 334 of the abnormality detection at the timing when the detection region determination unit 314 detects the abnormality in the detection region 537. Output time (for example, 1 second). The first control unit 316 returns the display of the frame indicating the detection area 537 to the display of the frame in the normal state after 1 second.
検知領域判定部３１４はトリガ生成部３１３からトリガ信号を受け取ってから検知領域５３８について設定された検知遅延時間である「４．０」秒後に、検知領域５３８で正否判定をする。この判定の結果、異常検知となった場合、図３８に示すように、第１制御部３１６は検知領域５３８を示す枠を通常状態の色とは異なる色で、且つ通常状態の枠よりも太く表示させる。例えば、第１制御部３１６は異常検知を示すために検知領域５３８を示す枠を「赤色」且つ太く表示させ、この表示状態を１秒間継続させる。このとき、報知制御部３１７は検知領域判定部３１４により検知領域５３８において異常検知がされたタイミングで、報知部３３４に異常検知を報知する異常検知音（図３８では「ブー」と表記）を所定時間（例えば１秒）出力させる。第１制御部３１６は１秒後に検知領域５３８を示す枠の表示を通常状態の枠の表示に戻す。報知制御部３１７は検知領域判定部３１４によりトリガ生成部３１３のトリガに伴う検知領域の正否判定がすべて終了したタイミング（すなわち、検知領域５３８の正否判定が終了したタイミング）で、報知部３３４に検知領域の正否判定の終了を示す判定終了音（図３８では「ピッ」と表記）を所定時間（例えば０．２秒）出力させる。この場合、検知領域５３８の正否判定によって、報知部３３４により異常検知音と判定終了音とが重畳して出力されるが、異なる音（例えば異なる音階、波形、又はメロディの音）にしているので、ユーザはいずれの音も区別して聞き取ることができる。以上のように、図３６〜３８では、検知領域５３５〜５３８の正否判定のいずれかで異常検知がなされる場合について説明した。
After receiving the trigger signal from the trigger generation unit 313, the detection region determination unit 314 determines whether the detection region 538 is correct or not after “4.0” seconds, which is the detection delay time set for the detection region 538. If the result of this determination is that an abnormality has been detected, as shown in FIG. 38, the first control unit 316 has a frame indicating the detection area 538 in a color different from the color in the normal state and thicker than the frame in the normal state. Display. For example, the first control unit 316 displays a frame indicating the detection area 538 “red” and thickly to indicate abnormality detection, and continues this display state for one second. At this time, the notification control unit 317 provides a predetermined abnormality detection sound (indicated as “boo” in FIG. 38) to notify the notification unit 334 of abnormality detection at the timing when the detection region determination unit 314 detects abnormality in the detection region 538. Output time (for example, 1 second). The first control unit 316 returns the display of the frame indicating the detection area 538 to the display of the frame in the normal state after 1 second. The notification control unit 317 detects by the notification unit 334 at the timing when the detection region determination unit 314 finishes all the detection region correctness determinations associated with the trigger of the trigger generation unit 313 (that is, when the detection region 538 correctness determination ends). A determination end sound (indicated as “beep” in FIG. 38) indicating the end of the correct / incorrect determination of the area is output for a predetermined time (for example, 0.2 seconds). In this case, the abnormality detection sound and the determination end sound are superimposed and output by the notification unit 334 depending on whether the detection area 538 is correct or not, but are different sounds (for example, different scales, waveforms, or melody sounds). The user can distinguish and listen to any sound. As described above, in FIGS. 36 to 38, the case has been described in which abnormality detection is performed in any of the determinations of whether the detection areas 535 to 538 are correct.
なお、上述では、瞬間検知機能に基づく撮像映像に対する正否判定動作における各領域（トリガ領域５３０及び検知領域５３５〜５３８）の枠の表示動作について説明したが、常時検知機能に基づく正否判定動作での常時検知領域５７０の枠の表示動作も同様である。例えば、常時検知領域判定部３１５によって常時実行される正否判定の結果、常時検知領域５７０において異常検知となった場合、第１制御部３１６は常時検知領域５７０を示す枠を通常状態の色とは異なる色で、且つ通常状態の枠よりも太く表示させる。例えば、第１制御部３１６は異常検知を示すために常時検知領域５７０を示す枠を「赤色」且つ太く表示させ、この異常検知している間、この表示状態を継続させる。第１制御部３１６は常時検知領域５７０の画像が正常の状態に戻った場合、常時検知領域５７０を示す枠の表示を通常状態の枠の表示に戻す。報知制御部３１７は常時検知領域判定部３１５により常時検知領域５７０において異常検知がされた場合、報知部３３４に異常検知を報知する異常検知音を出力させるものとしてもよい。
In the above description, the frame display operation of each region (the trigger region 530 and the detection regions 535 to 538) in the correctness determination operation for the captured image based on the instantaneous detection function has been described, but in the correctness determination operation based on the constant detection function. The display operation of the frame of the constant detection area 570 is the same. For example, when an abnormality detection is detected in the constant detection area 570 as a result of the correctness determination always performed by the constant detection area determination unit 315, the first control unit 316 defines a frame indicating the constant detection area 570 as a color in the normal state. It is displayed in a different color and thicker than the frame in the normal state. For example, the first control unit 316 displays the frame indicating the detection region 570 “red” and thickly to indicate abnormality detection, and continues this display state while detecting the abnormality. When the image of the constant detection area 570 returns to the normal state, the first control unit 316 returns the display of the frame indicating the constant detection area 570 to the display of the normal state frame. The notification control unit 317 may cause the notification unit 334 to output an abnormality detection sound that notifies the abnormality detection when the abnormality is detected in the constant detection region 570 by the constant detection region determination unit 315.
以上のように、第１制御部３１６は各領域５３０，５３５〜５３８，５７０を示す枠を別々の色で表示させ、且つ各領域５３０，５３５〜５３８，５７０において各検知（トリガの検知、正常検知、又は異常検知）がなされた場合、それぞれ異なる色及び枠の太さで表示して区別できるようにしている。これによって、ユーザはどの機能の正否判定動作が行われているのか及び各検知のタイミングを視覚的に把握することができる。さらに、検知領域において異常検知がなされた場合、及び同一のトリガに伴うすべての検知領域の正否判定が終了した場合に、音を出力するものとしている。これによって、ユーザは聴覚的にも異常検知及び正否判定終了のタイミングを把握することができる。
As described above, the first control unit 316 displays the frames indicating the respective regions 530, 535 to 538, and 570 in different colors, and detects each of the regions 530, 535 to 538, and 570 (detection of trigger, normal). When detection or abnormality detection is performed, the colors are displayed in different colors and frame thicknesses so that they can be distinguished. Thereby, the user can visually grasp which function is being judged and whether each detection is performed. Furthermore, a sound is output when an abnormality is detected in the detection region and when the correctness determination of all detection regions associated with the same trigger is completed. Thereby, the user can grasp the timing of the abnormality detection and the right / no-judgment end by hearing.
なお、図３０に示すウォッチャ画面４００の例の場合、映像表示部４０１ａ〜４０１ｆの６つの表示領域で監視動作が行われ得るので、各映像表示部４０１で判定終了音の音階、波形、又はメロディ等を変えることが望ましい。例えば、報知制御部３１７は各映像表示部４０１での判定終了音として、音階である「ドレミファソラ」をそれぞれ割り当てて、報知部３３４に出力させる。これによって、いずれの映像表示部４０１での監視動作の判定終了音であるのかを区別することができる。上述の映像表示部４０１ｆでの正否判定動作での判定終了音は、この場合「ラ」の音が割り当てられる。
In the case of the example of the watcher screen 400 shown in FIG. 30, since the monitoring operation can be performed in the six display areas of the video display units 401a to 401f, the scale, waveform, or melody of the judgment end sound in each video display unit 401. Etc. are desirable. For example, the notification control unit 317 assigns “Doremifasora”, which is a scale, as the determination end sound in each video display unit 401, and causes the notification unit 334 to output it. Thereby, it is possible to distinguish which video display unit 401 is the monitoring operation determination end sound. In this case, the sound “ra” is assigned as the determination end sound in the correctness determination operation in the video display unit 401f.
また、各領域５３０，５３５〜５３８，５７０を示す枠の色等の表示態様、判定終了音及び異常検知音の種類、メロディ、音階等は、設定により変更が可能であってもよい。
Further, the display mode such as the color of the frame indicating each of the areas 530, 535 to 538, 570, the type of determination end sound and abnormality detection sound, melody, scale, etc. may be changeable by setting.
（ビューワ画面における正否判定再現動作）
図３９は、第２の実施の形態に係る情報処理装置２５３の表示部３３３に表示されるビューワ画面７００で録画された映像が再生表示される状態の例を示す図である。図４０は、第２の実施の形態に係る情報処理装置２５３の表示部３３３に表示されるビューワ画面で再生表示される映像に対して正否判定の状態が再現される状態の例を示す図である。図３９及び図４０を参照しながら、ビューワ画面７００の構成、及び録画された複数の映像が表示される動作について説明する。
(Accuracy judgment reproduction operation on the viewer screen)
FIG. 39 is a diagram illustrating an example of a state in which a video recorded on the viewer screen 700 displayed on the display unit 333 of the information processing device 253 according to the second embodiment is reproduced and displayed. FIG. 40 is a diagram illustrating an example of a state in which the correctness determination state is reproduced with respect to the video reproduced and displayed on the viewer screen displayed on the display unit 333 of the information processing device 253 according to the second embodiment. is there. The configuration of the viewer screen 700 and the operation for displaying a plurality of recorded videos will be described with reference to FIGS. 39 and 40. FIG.
ＣＰＵ１０１により実行されるプログラム（アプリケーション）により、図３９に示すビューワ画面７００が表示部３３３に表示される。ビューワ画面７００は第２再生部３１８によって複数の撮像装置２ａ〜２ｆから受信した撮像映像であって、映像振分部３１２により記憶部３０２に記憶された過去の撮像映像が表示され、指定された各領域５３０，５３５〜５３８，５７０において正否判定の状態を再現する画面である。
A viewer screen 700 shown in FIG. 39 is displayed on the display unit 333 by a program (application) executed by the CPU 101. The viewer screen 700 is captured images received from the plurality of imaging devices 2a to 2f by the second reproduction unit 318, and past captured images stored in the storage unit 302 by the video distribution unit 312 are displayed and designated. It is a screen that reproduces the correct / incorrect state in each of the areas 530, 535 to 538, and 570.
ビューワ画面７００は図４０に示すように、映像表示部７０１ａ〜７０１ｆ、再生ボタン７０３ａ、一時停止ボタン７０３ｂ、早送りボタン７０３ｃ、早戻しボタン７０３ｄ、停止ボタン７０３ｅ、シークバー７０４、スライダー７０５、時刻表示部７０６、及びマーカリストボタン７０７を含む。
As shown in FIG. 40, the viewer screen 700 includes video display units 701a to 701f, a playback button 703a, a pause button 703b, a fast forward button 703c, a fast reverse button 703d, a stop button 703e, a seek bar 704, a slider 705, and a time display unit 706. , And a marker list button 707.
映像表示部７０１ａ〜７０１ｆはユーザにより操作される入力部３０３からの操作信号に従って、映像振分部３１２に記憶された各撮像装置２ａ〜２ｆの過去の撮像映像がそれぞれ表示される部分である。ここでは、映像表示部７０１ａ〜７０１ｆは同じ日付・時刻の撮像映像を表示するものとする。映像表示部７０１ａ〜７０１ｆはユーザによる入力部３０３の操作によって押下（例えばマウス１０８のクリック操作等、以下同様）されると、選択状態にすることができる。なお、映像表示部７０１ａ〜７０１ｆを区別なく呼称する場合、または総称する場合、単に「映像表示部７０１」というものとする。
The video display units 701a to 701f are portions where past captured video images of the imaging devices 2a to 2f stored in the video distribution unit 312 are displayed in accordance with an operation signal from the input unit 303 operated by the user. Here, it is assumed that the video display units 701a to 701f display captured video images having the same date and time. The video display units 701a to 701f can be selected when pressed by the user through the input unit 303 (for example, the click operation of the mouse 108, etc.). Note that the video display units 701a to 701f are simply referred to as the “video display unit 701” when referred to without distinction or collectively.
再生ボタン７０３ａがユーザによる入力部３０３の操作によって押下されると、第２再生部３１８によって、映像表示部７０１に表示された撮像映像が再生開始される。一時停止ボタン７０３ｂがユーザによる入力部３０３の操作によって押下されると、第２再生部３１８によって、映像表示部７０１に再生表示されている撮像映像が一時停止される。早送りボタン７０３ｃがユーザによる入力部３０３の操作によって押下されると、第２再生部３１８によって、映像表示部７０１に再生表示されている撮像映像が早送り表示される。早戻しボタン７０３ｄがユーザによる入力部３０３の操作によって押下されると、第２再生部３１８によって、映像表示部７０１に再生表示されている撮像映像が早戻し表示される。停止ボタン７０３ｅがユーザによる入力部３０３の操作によって押下されると、第２再生部３１８によって、映像表示部７０１に再生表示されている撮像映像が停止される。
When the playback button 703a is pressed by the user operating the input unit 303, the second playback unit 318 starts playback of the captured video displayed on the video display unit 701. When the pause button 703b is pressed by the user operating the input unit 303, the second playback unit 318 pauses the captured video that is played back and displayed on the video display unit 701. When the fast forward button 703c is pressed by an operation of the input unit 303 by the user, the second playback unit 318 displays the captured video displayed on the video display unit 701 in a fast forward manner. When the fast reverse button 703d is pressed by the user operating the input unit 303, the second playback unit 318 causes the captured video displayed on the video display unit 701 to be displayed in fast reverse. When the stop button 703e is pressed by an operation of the input unit 303 by the user, the captured image displayed on the video display unit 701 is stopped by the second playback unit 318.
シークバー７０４はその上に配置されるスライダー７０５の位置により、映像表示部７０１に再生表示されている撮像映像がどの時間のものなのかを示す棒状の形状体である。スライダー７０５は映像表示部７０１に再生表示されている撮像映像の撮像時刻（表示されているフレームが撮像された時刻）に対応したシークバー７０４上の位置にスライドする形状体且つ操作部である。スライダー７０５がユーザによる入力部３０３の操作によってスライドされると、第２再生部３１８によって、スライダー７０５が存在するシークバー７０４上の位置に対応した撮像時刻の撮像映像のフレームが映像表示部７０１に表示される。
The seek bar 704 is a bar-shaped body that indicates which time the captured image reproduced and displayed on the image display unit 701 is based on the position of the slider 705 disposed thereon. The slider 705 is a shape body and operation unit that slides to a position on the seek bar 704 corresponding to the imaging time of the captured video that is reproduced and displayed on the video display unit 701 (the time at which the displayed frame is captured). When the slider 705 is slid by the operation of the input unit 303 by the user, the second playback unit 318 displays on the video display unit 701 the frame of the captured video at the imaging time corresponding to the position on the seek bar 704 where the slider 705 exists. Is done.
時刻表示部７０６は第２再生部３１８によって映像表示部７０１に再生表示されている撮像映像の撮像日付及び撮像時刻を表示する表示部である。
The time display unit 706 is a display unit that displays an imaging date and an imaging time of a captured video that is reproduced and displayed on the video display unit 701 by the second reproduction unit 318.
マーカリストボタン７０７がユーザによる入力部３０３の操作によって押下されると、リスト制御部３２０により、記憶部３０２に記憶されたマーカファイルが読み出され、マーカファイルの内容を表示させる図４１で後述するマーカリスト画面８００が表示される。
When the marker list button 707 is pressed by the user operating the input unit 303, the list control unit 320 reads the marker file stored in the storage unit 302 and displays the contents of the marker file, which will be described later with reference to FIG. A marker list screen 800 is displayed.
ビューワ画面７００の映像表示部７０１において、第２再生部３１８により、記憶部３０２に記憶された過去の撮像映像が表示されると、領域表示制御部３１９は記憶部３０２に記憶された、正否判定動作が開始及び終了された時刻の情報、各領域５３０，５３５〜５３８，５７０が指定された時刻の情報、及び各領域５３０，５３５〜５３８，５７０で検知された時刻の情報を読み出す。領域表示制御部３１９は図３９に示すように、これらの時刻情報に基づいて、各領域５３０，５３５〜５３８，５７０を示す枠を映像表示部７０１に再生表示されている過去の撮像映像に重畳させて表示させる。例えば、領域表示制御部３１９は時刻情報から正否判定動作が開始された時刻よりも各領域５３０，５３５〜５３８，５７０が指定された時刻が前であれば、正否判定動作の開始時刻から指定された各領域５３０，５３５〜５３８，５７０を示す枠を表示させる。領域表示制御部３１９は映像表示部７０１に再生表示されている撮像映像の時刻が時刻情報における正否判定動作の終了時刻になった時点で、表示していた各領域５３０，５３５〜５３８，５７０を示す枠を消去する。
In the video display unit 701 of the viewer screen 700, when the past captured video stored in the storage unit 302 is displayed by the second playback unit 318, the area display control unit 319 determines whether the storage unit 302 stores the correct / incorrect Information on the time at which the operation is started and ended, information on the time at which each area 530, 535-538, 570 is designated, and information on the time detected at each area 530, 535-538, 570 are read. As shown in FIG. 39, the area display control unit 319 superimposes frames indicating the respective areas 530, 535 to 538, and 570 on the past captured video that is reproduced and displayed on the video display unit 701 based on the time information. To display. For example, the region display control unit 319 is designated from the start time of the correctness determination operation if the time at which each of the regions 530, 535 to 538, and 570 is specified is earlier than the time when the correctness determination operation is started from the time information. A frame indicating each of the areas 530, 535-538, 570 is displayed. The area display control unit 319 displays the displayed areas 530, 535 to 538, and 570 when the time of the captured video reproduced and displayed on the video display unit 701 becomes the end time of the correctness determination operation in the time information. Erase the indicated frame.
領域表示制御部３１９は図４０に示すように、映像表示部７０１に再生表示されている撮像映像の時刻が時刻情報における特定の検知領域５３５〜５３８のトリガの検知時刻又は正常検知時刻になった時点で、その検知領域５３５〜５３８を示す枠を通常状態の色とは異なる色、且つ通常状態の枠よりも太く表示させる。具体的には、領域表示制御部３１９はウォッチャ画面４００において表示される各検知領域５３５〜５３８を示す枠と同様に、例えば「青色」且つ太く表示させる。
As shown in FIG. 40, the area display control unit 319 causes the time of the captured video reproduced and displayed on the video display unit 701 to become the trigger detection time or the normal detection time of the specific detection areas 535 to 538 in the time information. At that time, the frame indicating the detection areas 535 to 538 is displayed in a color different from the color in the normal state and thicker than the frame in the normal state. Specifically, the area display control unit 319 displays “blue” and thick, for example, in the same manner as the frames indicating the detection areas 535 to 538 displayed on the watcher screen 400.
領域表示制御部３１９は図４０に示すように、映像表示部７０１に再生表示されている撮像映像の時刻が時刻情報における特定の検知領域５３５〜５３８の異常検知時刻になった時点で、その検知領域５３５〜５３８を示す枠を通常状態の色とは異なる色、且つ通常状態の枠よりも太く表示させる。具体的には、領域表示制御部３１９はウォッチャ画面４００において表示される各検知領域５３５〜５３８を示す枠と同様に、例えば「赤色」且つ太く表示させる。
As shown in FIG. 40, the area display control unit 319 detects the time when the time of the captured video reproduced and displayed on the video display unit 701 becomes the abnormality detection time of the specific detection areas 535 to 538 in the time information. A frame indicating the regions 535 to 538 is displayed in a color different from the color in the normal state and thicker than the frame in the normal state. Specifically, the area display control unit 319 displays “red” and thick, for example, in the same manner as the frames indicating the detection areas 535 to 538 displayed on the watcher screen 400.
図４０に示すビューワ画面７００の例では、映像表示部７０１ａの１つの常時検知領域５７０で異常検知されたことが、枠の表示によって示されている。映像表示部７０１ｆでは、検知領域５３６、５３７に相当する検知領域でそれぞれ正常検知及び異常検知されたことが、枠の表示によって示されている。
In the example of the viewer screen 700 shown in FIG. 40, the display of a frame indicates that an abnormality has been detected in one continuous detection area 570 of the video display unit 701a. In the video display unit 701f, it is indicated by a frame display that normal detection and abnormal detection are detected in the detection areas corresponding to the detection areas 536 and 537, respectively.
以上のように、領域表示制御部３１９により、記憶部３０２に記憶された各時刻情報に基いて各検知領域５３５〜５３８の枠の表示状態を制御することによって、ビューワ画面７００における正否判定動作の状態を過去の撮像映像で再現することができる。これにより、ユーザはリアルタイムの映像ではなく、過去の映像についてどのような正否判定動作が行われていたかを確認することができる。
As described above, the region display control unit 319 controls the display state of the frames of the detection regions 535 to 538 on the basis of the time information stored in the storage unit 302, so that the correctness determination operation on the viewer screen 700 is performed. The state can be reproduced with past captured images. Thereby, the user can confirm what correctness determination operation was performed about the past image instead of the real-time image.
なお、映像表示部７０１ａ〜７０１ｆは同じ日付・時刻の映像データを表示するものとしているが、これに限定されるものではなく、例えば映像表示部７０１それぞれにシークバー及び操作ボタン等を有するものとし、各映像表示部７０１で異なる日付・時刻の映像データを表示できるものとしてもよい。
The video display units 701a to 701f display video data of the same date and time. However, the video display units 701a to 701f are not limited to this. For example, the video display units 701 each have a seek bar and operation buttons. Each video display unit 701 may be able to display video data with different dates and times.
また、ビューワ画面７００における正否判定動作の再現時においても、時刻情報に基づいて、ウォッチャ画面４００の正否判定動作と同様に、常時検知領域５７０で異常検知されたタイミング、及び瞬間検知機能に基づく特定のトリガ領域５３０に対応する検知領域５３５〜５３８のすべてで判定が終了したタイミングで、それぞれ異常検知音及び判定終了音を出力するものとしてもよい。
Further, even when reproducing the correctness determination operation on the viewer screen 700, based on the time information, as with the correctness determination operation of the watcher screen 400, the timing at which an abnormality is detected in the constant detection area 570 and the identification based on the instantaneous detection function The abnormality detection sound and the determination end sound may be output at the timing when the determination is completed in all of the detection areas 535 to 538 corresponding to the trigger area 530, respectively.
図４１は、第２の実施の形態に係る情報処理装置２５３の表示部３３３に表示されるビューワ画面７００でマーカリスト画面８００が表示された状態の例を示す図である。図４１に示すように、リスト制御部３２０はユーザによる入力部３０３の操作によってマーカリストボタン７０７が押下されると、記憶部３０２に記憶されたマーカファイルを読み出し、マーカファイルの内容を示すマーカリスト画面８００を表示させる。図４１に示すように、マーカリスト画面８００は検知選択部８０１及び検知履歴表示部８０２を含む。
FIG. 41 is a diagram illustrating an example of a state in which the marker list screen 800 is displayed on the viewer screen 700 displayed on the display unit 333 of the information processing device 253 according to the second embodiment. As shown in FIG. 41, when the marker list button 707 is pressed by the user operating the input unit 303, the list control unit 320 reads the marker file stored in the storage unit 302 and displays the marker file contents. A screen 800 is displayed. As shown in FIG. 41, the marker list screen 800 includes a detection selection unit 801 and a detection history display unit 802.
検知選択部８０１は常時検知機能に基づいて常時検知領域５７０における正否判定において異常検知がされた日付・時刻のリスト、又は瞬間検知機能に基づいてトリガ検知領域における正否判定において異常検知がされた日付・時刻のリストのいずれかの表示を選択するための選択操作部である。
The detection selection unit 801 is a list of dates / times when abnormality is detected in the right / no-go determination in the normal detection area 570 based on the normal detection function, or the date when abnormality is detected in the correct / incorrect determination in the trigger detection area based on the instantaneous detection function. A selection operation unit for selecting any display of the time list.
検知履歴表示部８０２は検知選択部８０１で選択された常時検知機能に基づく検知の日付・時刻のリスト又は瞬間検知機能に基づく検知の日付・時刻のリストの表示部である。図４１に示す検知履歴表示部８０２は検知選択部８０１で瞬間検知機能が選択された状態を示しており、瞬間検知機能に基づく検知の日付・時刻のリストを表示している。具体的には、検知履歴表示部８０２には瞬間検知機能に基づくトリガ領域５３０及び検知領域５３５〜５３８を示す領域名、検知された日付・時刻、及び対応する撮像装置２ａ〜２ｆを識別する名称が表示されている。
The detection history display unit 802 is a display unit for a list of detection dates / times based on the constant detection function selected by the detection selection unit 801 or a list of detection dates / times based on the instantaneous detection function. A detection history display unit 802 shown in FIG. 41 shows a state in which the instantaneous detection function is selected by the detection selection unit 801, and displays a list of detection dates and times based on the instantaneous detection function. Specifically, the detection history display unit 802 has a region name indicating the trigger region 530 and the detection regions 535 to 538 based on the instantaneous detection function, a detected date / time, and a name for identifying the corresponding imaging devices 2a to 2f. Is displayed.
リスト制御部３２０はユーザによる入力部３０３の操作によって検知履歴表示部８０２のいずれかの領域５３０，５３５〜５３８，５７０を示すレコードを押下されると、第２再生部３１８にそのレコードが示す日付・時刻の撮像映像を映像表示部７０１に表示させる。
When the list control unit 320 presses a record indicating any of the areas 530, 535 to 538, and 570 of the detection history display unit 802 by the operation of the input unit 303 by the user, the date indicated by the record in the second playback unit 318 The time-captured video is displayed on the video display unit 701.
このように、図４１に示すマーカリスト画面８００を表示させることによって、各領域５３０，５３５〜５３８，５７０での検知の日付・時刻をリスト表示することによって、不具合の発生のタイミング、傾向、異常発生の原因等の特定を容易にすることができる。
In this way, by displaying the marker list screen 800 shown in FIG. 41 and displaying a list of detection dates and times in the areas 530, 535 to 538, and 570, the occurrence timing, tendency, and abnormality of the malfunctions are displayed. It is possible to easily identify the cause of the occurrence.
（ウォッチャ画面における正否判定動作の全体的な流れ）
図４２は、第２の実施の形態に係る情報処理装置２５３の表示部３３３に表示されるウォッチャ画面４００での監視動作の例を示すフローチャートである。図４２を参照しながら、ウォッチャ画面４００での正否判定動作の流れについて総括的に説明する。なお、図４２では、瞬間検知機能に基づく正否判定動作を例にして説明する。
(Overall flow of correctness judgment operation on the watcher screen)
FIG. 42 is a flowchart illustrating an example of a monitoring operation on the watcher screen 400 displayed on the display unit 333 of the information processing device 253 according to the second embodiment. With reference to FIG. 42, the flow of the correct / incorrect determination operation on the watcher screen 400 will be generally described. In FIG. 42, the correct / incorrect determination operation based on the instantaneous detection function will be described as an example.
＜ステップＳ３１１＞
映像振分部３１２はユーザにより操作される入力部３０３からの操作信号に従って、映像受信部３０１から取得したリアルタイムの撮像映像を、表示部３３３に表示されるウォッチャ画面４００の映像表示部４０１ａ〜４０１ｆに振り分けて表示させる。映像振分部３１２は映像表示部４０１に表示させる各映像データを記憶部３０２に記憶（録画）させる。その後、ステップＳ３１２へ移行する。
<Step S311>
The video distribution unit 312 displays the real-time captured video acquired from the video reception unit 301 according to the operation signal from the input unit 303 operated by the user, and the video display units 401 a to 401 f of the watcher screen 400 displayed on the display unit 333. Sort and display. The video distribution unit 312 stores (records) each video data to be displayed on the video display unit 401 in the storage unit 302. Thereafter, the process proceeds to step S312.
＜ステップＳ３１２＞
ユーザは入力部３０３の操作によって正否判定動作を開始させたい撮像装置２ａ〜２ｆに対応する映像表示部４０１ａ〜４０１ｆを押下して選択状態にする。第１制御部３１６はユーザによる入力部３０３の操作によって監視開始ボタン４１１が押下されると、選択状態の映像表示部４０１ａ〜４０１ｆに表示される撮像装置２ａ〜２ｆのリアルタイムの撮像映像について正否判定動作を開始する。第１制御部３１６は映像表示部４０１ａ〜４０１ｆについて正否判定動作が開始されると、設定画面５００で指定された各領域５３０，５３５〜５３８，５７０を示す枠を映像表示部４０１の撮像映像に重畳させて表示させる。この際、第１制御部３１６は通常状態（各領域５３０，５３５〜５３８，５７０で検知がなされていない状態）の各領域５３０，５３５〜５３８，５７０を示す枠を別々の色によって表示させる。例えば、第１制御部３１６はトリガ領域５３０を示す枠を「白色」で、検知領域５３５〜５３８を示す枠を「黄色」で、常時検知領域５７０を示す枠を「緑色」で表示させる。第１制御部３１６は選択状態になっている映像表示部４０１（以下、単に「映像表示部４０１」と記載する）に対応する撮像装置２ａ〜２ｆに関連付けて、正否判定動作を開始した時刻の情報（時刻情報）を記憶部３０２に記憶させる。その後、ステップＳ３１３へ移行する。
<Step S312>
The user presses the video display units 401a to 401f corresponding to the imaging devices 2a to 2f to start the correct / incorrect determination operation by operating the input unit 303 to select them. When the monitoring start button 411 is pressed by the user operating the input unit 303, the first control unit 316 determines whether the real-time captured images of the imaging devices 2a to 2f displayed on the selected video display units 401a to 401f are correct. Start operation. When the correctness determination operation is started for the video display units 401a to 401f, the first control unit 316 adds frames indicating the areas 530, 535 to 538, and 570 designated on the setting screen 500 to the captured video of the video display unit 401. Overlay and display. At this time, the first control unit 316 displays the frames indicating the areas 530, 535-538, and 570 in the normal state (states in which the areas 530, 535 to 538, and 570 are not detected) with different colors. For example, the first control unit 316 displays a frame indicating the trigger area 530 as “white”, a frame indicating the detection areas 535 to 538 as “yellow”, and a frame indicating the constant detection area 570 as “green”. The first control unit 316 associates with the imaging devices 2a to 2f corresponding to the video display unit 401 in the selected state (hereinafter simply referred to as “video display unit 401”) at the time when the correctness determination operation is started. Information (time information) is stored in the storage unit 302. Thereafter, the process proceeds to step S313.
＜ステップＳ３１３＞
トリガ生成部３１３は記憶部３０２から変化点検出部３０６により検出された変化点のフレームにおける差分画像を取得する。トリガ生成部３１３は映像表示部４０１で指定されているトリガ領域５３０において、差分画像と撮像映像のフレームのトリガ領域の画像とを比較し、両者の画像的特徴の相違度が閾値未満となった場合にトリガ信号を生成（出力）する（ステップＳ３１３：Ｙｅｓ）。トリガ生成部３１３は正否判定動作でトリガ信号を生成した時刻の情報（時刻情報）を、正否判定動作を実行している撮像装置２に関連付けて記憶部３０２に記憶させる。その後、ステップＳ３１４へ移行する。
<Step S313>
The trigger generation unit 313 acquires a difference image in the frame of the change point detected by the change point detection unit 306 from the storage unit 302. The trigger generation unit 313 compares the difference image with the image of the trigger region of the frame of the captured video in the trigger region 530 specified by the video display unit 401, and the degree of difference between the image features is less than the threshold value. In this case, a trigger signal is generated (output) (step S313: Yes). The trigger generation unit 313 stores the information (time information) of the time when the trigger signal is generated by the correctness determination operation in the storage unit 302 in association with the imaging device 2 that is executing the correctness determination operation. Thereafter, the process proceeds to step S314.
トリガ生成部３１３は相違度が閾値未満となっていない場合（ステップＳ３１３：Ｎｏ）、相違度についての判定を継続する。
When the difference degree is not less than the threshold (step S313: No), the trigger generation unit 313 continues the determination on the difference degree.
＜ステップＳ３１４＞
第１制御部３１６はトリガ生成部３１３がトリガを検知した場合、トリガ領域５３０を示す枠を通常状態の色とは異なる色で、且つ通常状態の枠よりも太く表示させる。例えば、第１制御部３１６はトリガ領域５３０を示す枠を「青色」且つ太く表示させ、この表示状態を１秒間継続させる。第１制御部３１６は１秒後にトリガ領域５３０を示す枠の表示を通常状態の枠の表示に戻す。その後、ステップＳ３１５へ移行する。
<Step S314>
When the trigger generation unit 313 detects a trigger, the first control unit 316 displays a frame indicating the trigger region 530 in a color different from the color in the normal state and thicker than the frame in the normal state. For example, the first control unit 316 displays the frame indicating the trigger region 530 as “blue” and thick, and continues this display state for 1 second. The first control unit 316 returns the display of the frame indicating the trigger area 530 to the display of the frame in the normal state after 1 second. Thereafter, the process proceeds to step S315.
＜ステップＳ３１５＞
トリガ生成部３１３からトリガ信号を受け取ってから、検知領域５３５〜５３８について設定された検知遅延時間後となった検知領域５３５〜５３８がある場合（ステップＳ３１５：Ｙｅｓ）、ステップＳ３１６へ移行し、そうでない場合（ステップＳ３１５：Ｎｏ）、ステップＳ３２１へ移行する。
<Step S315>
If there is a detection area 535-538 after the detection delay time set for the detection areas 535-538 after receiving the trigger signal from the trigger generation unit 313 (step S315: Yes), the process proceeds to step S316. If not (step S315: No), the process proceeds to step S321.
＜ステップＳ３１６＞
検知領域判定部３１４はトリガ生成部３１３からトリガ信号を受け取ってから、検知領域５３５〜５３８について設定された検知遅延時間後に、指定された検知領域５３５〜５３８において、基準画像と撮像映像のフレームの画像（検知画像）との間の画像的特徴の相違度に基づいて異常であるか否かの正否判定をする。具体的には、検知領域判定部３１４はトリガ生成部３１３によりトリガ領域５３０に対応するトリガ信号を受け取った時点から、変化点検出部３０６による検出結果に基づいて、検知領域５３５〜５３８に対応する検知遅延時間後の撮像映像のフレームの画像（検知画像）と基準画像とを比較して異常であるか否かの正否判定をする。検知領域判定部３１４は正否判定動作で正常検知又は異常検知をした検知時刻の情報（時刻情報）を、正否判定動作を実行している撮像装置２ａ〜２ｆに関連付けて記憶部３０２に記憶させる。その後、ステップＳ３１７へ移行する。
<Step S316>
The detection area determination unit 314 receives the trigger signal from the trigger generation unit 313, and after the detection delay time set for the detection areas 535 to 538, the frame of the reference image and the captured video is specified in the specified detection areas 535 to 538. Whether or not the image is abnormal is determined based on the degree of difference in image characteristics from the image (detected image). Specifically, the detection region determination unit 314 corresponds to the detection regions 535 to 538 based on the detection result by the change point detection unit 306 from the time when the trigger generation unit 313 receives the trigger signal corresponding to the trigger region 530. The image of the frame of the captured video (detected image) after the detection delay time is compared with the reference image to determine whether it is abnormal or not. The detection area determination unit 314 causes the storage unit 302 to store the information (time information) of the detection time when the normality detection or the abnormality detection is performed in the correctness determination operation in association with the imaging devices 2a to 2f that are executing the correctness determination operation. Thereafter, the process proceeds to step S317.
＜ステップＳ３１７＞
検知領域判定部３１４による正否判定の結果、異常検知となった場合（ステップＳ３１７：Ｙｅｓ）、ステップＳ３１８へ移行し、正常検知となった場合（ステップＳ３１７：Ｎｏ）、ステップＳ３２０へ移行する。
<Step S317>
As a result of correctness determination by the detection area determination unit 314, when an abnormality is detected (step S317: Yes), the process proceeds to step S318, and when normal is detected (step S317: No), the process proceeds to step S320.
＜ステップＳ３１８＞
検知領域判定部３１４は正否判定で異常を検知した場合、異常検知時刻の情報（時刻情報）を、正否判定動作を実行している撮像装置２ａ〜２ｆに関連付けて記憶部３０２に記憶させる。検知領域５３５〜５３８において異常検知となった場合、第１制御部３１６は検知領域５３５〜５３８を示す枠を通常状態の色とは異なる色で、且つ通常状態の枠よりも太く表示させる。例えば、第１制御部３１６は異常検知を示すために検知領域５３５〜５３８を示す枠を「赤色」且つ太く表示させ、この表示状態を１秒間継続させる。このとき、報知制御部３１７は検知領域判定部３１４により検知領域５３５〜５３８において異常検知がされたタイミングで、報知部３３４に異常検知を報知する異常検知音を所定時間（例えば１秒）出力させる。第１制御部３１６は１秒後に検知領域５３５〜５３８を示す枠の表示を通常状態の枠の表示に戻す。その後、ステップＳ３１９へ移行する。
<Step S318>
When the detection area determination unit 314 detects an abnormality in the correctness determination, the detection region determination unit 314 stores the information (time information) of the abnormality detection time in the storage unit 302 in association with the imaging devices 2a to 2f performing the correctness determination operation. When an abnormality is detected in the detection areas 535 to 538, the first control unit 316 displays a frame indicating the detection areas 535 to 538 in a color different from the color in the normal state and thicker than the frame in the normal state. For example, the first control unit 316 displays a frame indicating the detection areas 535 to 538 “red” and thickly to indicate abnormality detection, and continues this display state for one second. At this time, the notification control unit 317 outputs the abnormality detection sound for notifying the abnormality detection to the notification unit 334 for a predetermined time (for example, 1 second) at the timing when the detection region determination unit 314 detects abnormality in the detection regions 535 to 538. . The 1st control part 316 returns the display of the frame which shows the detection areas 535-538 to the display of the frame of a normal state after 1 second. Thereafter, the process proceeds to step S319.
＜ステップＳ３１９＞
外部出力部３３２は検知領域判定部３１４により異常の判定がなされた場合、異常信号を外部機器１０に出力する。その後、ステップＳ３１５へ戻る。
<Step S319>
The external output unit 332 outputs an abnormality signal to the external device 10 when the detection region determination unit 314 determines abnormality. Thereafter, the process returns to step S315.
＜ステップＳ３２０＞
検知領域判定部３１４は正否判定動作で正常検知をした場合、正常検知時刻の情報（時刻情報）を、正否判定動作を実行している撮像装置２ａ〜２ｆに関連付けて記憶部３０２に記憶させる。検知領域５３５〜５３８において正常検知となった場合、第１制御部３１６は検知領域５３５〜５３８を示す枠を通常状態の色とは異なる色で、且つ通常状態の枠よりも太く表示させる。例えば、第１制御部３１６は正常検知を示すために検知領域５３５〜５３８を示す枠を「青色」且つ太く表示させ、この表示状態を１秒間継続させる。第１制御部３１６は１秒後に検知領域５３５〜５３８を示す枠の表示を通常状態の枠の表示に戻す。その後、ステップＳ３１５へ戻る。
<Step S320>
When the detection area determination unit 314 detects normality by the correctness determination operation, the normalization time information (time information) is stored in the storage unit 302 in association with the imaging devices 2a to 2f that are executing the correctness determination operation. When normal detection is performed in the detection areas 535 to 538, the first control unit 316 displays a frame indicating the detection areas 535 to 538 in a color different from the color in the normal state and thicker than the frame in the normal state. For example, the first control unit 316 displays a frame indicating the detection areas 535 to 538 in “blue” and thick to indicate normal detection, and continues this display state for 1 second. The 1st control part 316 returns the display of the frame which shows the detection areas 535-538 to the display of the frame of a normal state after 1 second. Thereafter, the process returns to step S315.
＜ステップＳ３２１＞
トリガ生成部３１３のトリガに伴う検知領域５３５〜５３８が残っている場合（ステップＳ３２１：Ｙｅｓ）、ステップＳ３１５へ戻り、そうでない場合（ステップＳ３２１：Ｎｏ）、ステップＳ３２２へ移行する。
<Step S321>
When the detection areas 535 to 538 associated with the trigger of the trigger generation unit 313 remain (step S321: Yes), the process returns to step S315. Otherwise (step S321: No), the process proceeds to step S322.
＜ステップＳ３２２＞
報知制御部３１７は検知領域判定部３１４によりトリガ生成部３１３のトリガに伴う検知領域５３５〜５３８の正否判定がすべて終了したタイミングで、報知部３３４に検知領域５３５〜５３８の正否判定の終了を示す判定終了音を所定時間（例えば０．２秒）出力させる。
<Step S322>
The notification control unit 317 indicates to the notification unit 334 that the detection area 535 to 538 has ended the correct / incorrect determination at the timing when the detection area determination unit 314 has completed the correctness determination of the detection areas 535 to 538 accompanying the trigger of the trigger generation unit 313. The determination end sound is output for a predetermined time (for example, 0.2 seconds).
以上のように、瞬間検知機能に基づく正否判定動作は上述のステップＳ３１３〜Ｓ３２２が繰り返されることによって実行される。
As described above, the correctness determination operation based on the instantaneous detection function is executed by repeating the above-described steps S313 to S322.
（ビューワ画面における正否判定動作の全体的な流れ）
図４３は、第２の実施の形態に係る情報処理装置２５３の表示部３３３に表示されるビューワ画面７００で再生表示される映像に対して正否判定の状態が再現される動作の例を示すフローチャートである。図４３を参照しながら、ビューワ画面７００で正否判定の状態を再現する動作の流れについて総括的に説明する。
(Overall flow of correct / incorrect operation on the viewer screen)
FIG. 43 is a flowchart illustrating an example of an operation in which the correct / incorrect determination state is reproduced with respect to the video reproduced and displayed on the viewer screen 700 displayed on the display unit 333 of the information processing device 253 according to the second embodiment. It is. With reference to FIG. 43, a general operation flow for reproducing the correct / incorrect determination state on the viewer screen 700 will be described.
＜ステップＳ３３１＞
ユーザは入力部３０３の操作によって所望する再生時間（時刻）を設定する。その後、ステップＳ３３２へ移行する。
<Step S331>
The user sets a desired reproduction time (time) by operating the input unit 303. Thereafter, the process proceeds to step S332.
＜ステップＳ３３２＞
第２再生部３１８はユーザにより操作される入力部３０３からの操作信号に従って、設定された再生時間（時刻）からの過去の映像データを記憶部３０２から取得する。この場合、映像データが取得できた場合（すなわち、再生する撮像映像の次のフレームがある場合）（ステップＳ３３２：Ｙｅｓ）、ステップＳ３３３へ移行し、取得できない場合（すなわち、再生する撮像映像の次のフレームがない場合）（ステップＳ３３２：Ｎｏ）、正否判定の状態を再現する動作を終了する。
<Step S332>
The second playback unit 318 acquires past video data from the set playback time (time) from the storage unit 302 in accordance with an operation signal from the input unit 303 operated by the user. In this case, when the video data can be acquired (that is, when there is a next frame of the captured video to be reproduced) (step S332: Yes), the process proceeds to step S333, and when the video data cannot be acquired (that is, next to the captured video to be reproduced). When there is no frame (step S332: No), the operation for reproducing the correct / incorrect determination state is terminated.
＜ステップＳ３３３＞
第２再生部３１８は記憶部３０２から取得した過去の撮像映像を表示部３３３に表示されるビューワ画面７００の映像表示部７０１ａ〜７０１ｆに、対応する撮像映像を振り分けて再生表示させる。このとき、第２再生部３１８はユーザにより操作される入力部３０３からの操作信号に従って、ユーザの所望する再生時間（時刻）のフレームから撮像映像を再生表示させる。その後、ステップＳ３３４へ移行する。
<Step S333>
The second playback unit 318 distributes and plays back the corresponding captured video on the video display units 701 a to 701 f of the viewer screen 700 that displays the past captured video acquired from the storage unit 302 on the display unit 333. At this time, the second reproduction unit 318 reproduces and displays the captured video from the frame of the reproduction time (time) desired by the user in accordance with the operation signal from the input unit 303 operated by the user. Thereafter, the process proceeds to step S334.
＜ステップＳ３３４＞
映像表示部７０１で第２再生部３１８により記憶部３０２に記憶された過去の撮像映像が表示されると、領域表示制御部３１９は記憶部３０２に記憶された、正否判定動作が開始及び終了された時刻の情報、各領域５３０，５３５〜５３８，５７０が指定された時刻の情報、及び各領域５３０，５３５〜５３８，５７０で検知された時刻の情報を読み出す。領域表示制御部３１９はこれらの時刻情報に基づいて各領域５３０，５３５〜５３８，５７０を示す枠を映像表示部７０１に再生表示されている過去の撮像映像に重畳させて表示させる。例えば、領域表示制御部３１９は時刻情報から正否判定動作が開始された時刻よりも各領域５３０，５３５〜５３８，５７０が指定された時刻が前であれば、正否判定動作の開始時刻から、指定された各領域５３０，５３５〜５３８，５７０を示す枠を表示させる。その後、ステップＳ３３５へ移行する。
<Step S334>
When a past captured video stored in the storage unit 302 is displayed by the second playback unit 318 on the video display unit 701, the area display control unit 319 starts and ends the correctness determination operation stored in the storage unit 302. Time information, time information at which each area 530, 535-538, 570 is designated, and time information detected at each area 530, 535-538, 570 are read out. Based on the time information, the area display control unit 319 superimposes frames indicating the respective areas 530, 535 to 538, and 570 on the past captured video that is reproduced and displayed on the video display unit 701. For example, if the time at which each of the areas 530, 535 to 538, and 570 is specified is earlier than the time at which the correctness determination operation is started from the time information, the area display control unit 319 specifies from the start time of the correctness determination operation. A frame indicating each of the areas 530, 535-538, and 570 thus displayed is displayed. Thereafter, the process proceeds to step S335.
＜ステップＳ３３５＞
映像表示部７０１に再生表示されている撮像映像の時刻が時刻情報における特定の領域５３０，５３５〜５３８，５７０の検知時刻になった場合（ステップＳ３３５：Ｙｅｓ）、ステップＳ３３６へ移行し、検知時刻になっていない場合（ステップＳ３３５：Ｎｏ）、引き続き検知時刻になったか確認する。
<Step S335>
When the time of the captured video reproduced and displayed on the video display unit 701 becomes the detection time of the specific areas 530, 535 to 538, and 570 in the time information (step S335: Yes), the process proceeds to step S336, and the detection time If not (step S335: No), it is confirmed whether the detection time has been reached.
＜ステップＳ３３６＞
領域表示制御部３１９は映像表示部７０１に再生表示されている撮像映像の時刻が時刻情報における特定の領域５３０，５３５〜５３８，５７０の検知時刻になった時点で、その領域５３０，５３５〜５３８，５７０を示す枠を通常状態の色とは異なる色、且つ通常状態の枠よりも太く表示させる。その後、ステップＳ３３２へ戻る。
<Step S336>
When the time of the captured video reproduced and displayed on the video display unit 701 becomes the detection time of the specific areas 530, 535 to 538, and 570 in the time information, the area display control unit 319 displays the areas 530 and 535 to 538. , 570 is displayed in a color different from the color in the normal state and thicker than the frame in the normal state. Thereafter, the process returns to step S332.
以上のように、正否判定の状態を再現する動作は上述のステップＳ３３２〜Ｓ３３６が繰り返されることによって実行される。
As described above, the operation of reproducing the correct / incorrect determination state is executed by repeating the above-described steps S332 to S336.
以上のように、表示部３３３の表示領域（映像表示部４０１及び映像表示部７０１）に複数の種類の領域（本実施の形態ではトリガ領域５３０、検知領域５３５〜５３８、又は常時検知領域５７０のいずれか）を示す枠を、撮像映像に重畳して表示するものとしている。これによって、ユーザは各領域５３０，５３５〜５３８，５７０で検知（トリガ検知、正常検知、異常検知等）がされたタイミング及び検知の内容を把握することができるので、複数の種類の判定機能の状態を同時に把握することができる。
As described above, the display area of the display unit 333 (the video display unit 401 and the video display unit 701) includes a plurality of types of areas (in this embodiment, the trigger area 530, the detection areas 535 to 538, or the constant detection area 570). A frame indicating any one of them is displayed superimposed on the captured video. As a result, the user can grasp the detection timing (trigger detection, normal detection, abnormality detection, etc.) in each area 530, 535-538, 570 and the content of the detection. The state can be grasped at the same time.
また、表示部３３３の表示領域に表示された複数の種類の領域５３０，５３５〜５３８，５７０のうち、少なくともいずれかは異なる色の枠で表示するものとしている。これによって、どの領域５３０，５３５〜５３８，５７０がどの判定機能（瞬間検知機能及び常時検知機能）に基づくものであるのかを視覚的に把握することができる。
In addition, at least one of the plurality of types of areas 530, 535 to 538, and 570 displayed in the display area of the display unit 333 is displayed with a frame of a different color. Thereby, it is possible to visually grasp which region 530, 535-538, 570 is based on which determination function (instantaneous detection function and constant detection function).
また、表示部３３３の表示領域に表示された複数の種類の領域５３０，５３５〜５３８，５７０を示す枠は検知されたタイミングで通常状態の表示態様とは異なる態様で表示される。これによって、どの領域５３０，５３５〜５３８，５７０でどのような検知が行われたのかを視覚的に把握することができる。
In addition, frames indicating a plurality of types of areas 530, 535 to 538, and 570 displayed in the display area of the display unit 333 are displayed in a manner different from the display form in the normal state at the detected timing. Thereby, it is possible to visually grasp what kind of detection is performed in which region 530, 535-538, 570.
また、表示部３３３の映像表示部４０１で表示されたリアルタイムの撮像映像に対して、上述のような正否判定動作の各領域５３０，５３５〜５３８，５７０での動作の状態を示すことができる。これによって、ユーザはリアルタイムに各領域５３０，５３５〜５３８，５７０における動作の状態を把握することができる。
In addition, with respect to the real-time captured video displayed on the video display unit 401 of the display unit 333, the state of the operation in each of the areas 530, 535 to 538, and 570 of the correctness determination operation as described above can be shown. As a result, the user can grasp the state of operation in each of the areas 530, 535-538, and 570 in real time.
また、リアルタイムの撮像映像の正否判定動作で正否判定が開始及び終了された時刻の情報、各領域５３０，５３５〜５３８，５７０が指定された時刻の情報、及び各領域５３０，５３５〜５３８，５７０で検知された時刻の情報の各時刻情報が記憶される。これによって、録画した過去の撮像映像に対して、時刻情報に基づいて正否判定動作の状態を再現して示すことができる。よって、ユーザは再現された正否判定動作を確認することによって、不具合の発生のタイミング、傾向、異常発生の原因等の特定を容易にすることができる。
In addition, information on the time when the correctness determination is started and ended in the correctness determination operation of the captured image in real time, information on the time at which each area 530, 535-538, 570 is designated, and each area 530, 535-538, 570 is displayed. Each time information of the time information detected in is stored. Thereby, it is possible to reproduce and show the state of the correctness determination operation based on the time information with respect to the recorded past captured video. Therefore, the user can easily identify the timing and tendency of the occurrence of the failure, the cause of the occurrence of the abnormality, and the like by confirming the reproduced correctness determination operation.
また、上述の時刻情報に基づくマーカファイルが表示され、各領域５３０，５３５〜５３８，５７０における検知時刻が時系列に表示される。これによって、各領域５３０，５３５〜５３８，５７０での検知の日付・時刻を時系列に確認することができ、不具合の発生のタイミング、傾向、異常発生の原因等の特定を容易にすることができる。
In addition, a marker file based on the above time information is displayed, and detection times in the respective areas 530, 535 to 538, and 570 are displayed in time series. As a result, the date and time of detection in each of the areas 530, 535 to 538, and 570 can be confirmed in chronological order, and it is easy to specify the timing of occurrence of a failure, its tendency, the cause of occurrence of an abnormality, and the like. it can.
また、複数の表示領域にそれぞれ複数の撮像装置２ａ〜２ｆのリアルタイムの撮像映像又は過去の撮像映像について正否判定の状態が表示される。これによって、各撮像装置２ａ〜２ｆで撮像された撮像映像に対する正否判定の状態を同時に確認することができる。
In addition, the correct / incorrect determination state is displayed for each of the plurality of imaging devices 2a to 2f in real-time captured images or past captured images. Thereby, it is possible to simultaneously confirm the correct / incorrect state of the captured images captured by the image capturing apparatuses 2a to 2f.
また、検知領域５３５〜５３８又は常時検知領域５７０で異常検知されたタイミング、及び瞬間検知機能に基づく特定のトリガ領域５３０に対応する検知領域５３５〜５３８のすべてで判定が終了したタイミングで、それぞれ異常検知音及び判定終了音が出力される。これによって、異常が発生したタイミング及び検知が終了したタイミングを聴覚的に認識することができる。
Further, at the timing when abnormality is detected in the detection areas 535 to 538 or the constant detection area 570, and at the timing when the determination is completed in all of the detection areas 535 to 538 corresponding to the specific trigger area 530 based on the instantaneous detection function, Detection sound and determination end sound are output. As a result, the timing at which an abnormality has occurred and the timing at which detection has ended can be audibly recognized.
なお、本実施の形態においては、正否判定に関する領域５３０，５３５〜５３８，５７０として、瞬間検知機能に基づくトリガ領域５３０及び検知領域５３５〜５３８、並びに常時検知機能に基づく常時検知領域５７０を例にして説明したが、これらに限定されるものではない。例えば、生産工程における一連の作業が順序通りに実施されているかを検知する機能に基づく領域、生産物又はバーコード等に記載された文字を検知するためのＯＣＲ（Optical Character Recognition）機能に基づく領域による正否判定動作が実行されてもよい。
In the present embodiment, the trigger areas 530 and detection areas 535 to 538 based on the instantaneous detection function, and the constant detection area 570 based on the constant detection function are taken as examples as the areas 530, 535 to 538, and 570 related to correctness determination. However, the present invention is not limited to these. For example, an area based on a function for detecting whether a series of operations in a production process is performed in order, an area based on an OCR (Optical Character Recognition) function for detecting characters written on a product or a barcode A correct / incorrect determination operation may be performed.
また、本実施の形態においては、ウォッチャ画面４００によるリアルタイムの撮像映像の表示、ビューワ画面７００による過去の撮像映像の表示というように画面を分けて表示する構成が示されているが、これに限定されるものではない。すなわち、ウォッチャ画面４００及びビューワ画面７００の機能を共通の画面で実現させてもよい。
In the present embodiment, a configuration is shown in which the screen is divided and displayed, such as real-time captured video display on the watcher screen 400 and past captured video display on the viewer screen 700. However, the present invention is not limited to this. Is not to be done. That is, the functions of the watcher screen 400 and the viewer screen 700 may be realized on a common screen.
また、各表示領域（映像表示部４０１，７０１）において各領域５３０，５３５〜５３８，５７０を示す表示要素として枠を用いているが、これに限定されるものではなく、各領域５３０，５３５〜５３８，５７０を示すことができる表示要素であればどのように表示してもよい。
Further, although frames are used as display elements indicating the respective areas 530, 535 to 538, 570 in the respective display areas (video display units 401, 701), the present invention is not limited to this, and the respective areas 530, 535 are not limited thereto. Any display element that can indicate 538, 570 may be displayed.
また、トリガ生成部３１３により生成されたトリガ信号は検知領域判定部３１４による正否判定のタイミングの基準として用いられているが、これに限定されるものではない。例えば、トリガ信号は生産設備側で所定の処理を行わせるタイミングの基準に用いられるものであってもよく、その場合にはトリガ信号が生成された時点でトリガ信号を生産設備に送信するようにしてもよい。
Moreover, although the trigger signal generated by the trigger generation unit 313 is used as a reference for the timing of correctness determination by the detection region determination unit 314, the present invention is not limited to this. For example, the trigger signal may be used as a reference for timing at which the production facility performs predetermined processing. In this case, the trigger signal is transmitted to the production facility when the trigger signal is generated. May be.
（変形例）
図４４は、第２の実施の形態の変形例に係る情報処理装置２５３の表示部３３３に表示されるウォッチャ画面４００で実行される監視動作でトリガが発生する前の状態の例を示す図である。図４５は、第２の実施の形態の変形例に係る情報処理装置２５３の表示部３３３に表示されるウォッチャ画面４００で実行される監視動作でトリガが発生した状態の例を示す図である。図４６〜図５１は、第２の実施の形態の変形例に係る情報処理装置２５３の表示部３３３に表示されるウォッチャ画面４００で実行される監視動作において検知領域５３５〜５３８で正否判定が行われた状態の例を示す図である。図４４〜図５１を参照しながら、ウォッチャ画面４００における映像表示部４０１ｆを例にして、本変形例での瞬間検知機能に基づく撮像映像に対する正否判定動作の詳細について説明する。本変形例では、トリガ領域５３０に関連付けられた１以上の検知領域５３５〜５３８及び常時検知領域５７０についてトリガ生成部３１３がトリガを検知した場合、トリガ領域５３０に関連付けられたすべての検知領域５３５〜５３８及び常時検知領域５７０での正否判定がすべて終了するまで、すべての検知領域５３５〜５３８及び常時検知領域５７０を示す枠を正否判定の結果を示す表示状態に継続させる動作について説明する。本例は検知領域５３５〜５３８の属性情報のうち検知遅延時間がそれぞれ「１．０」秒、「２．２」秒、「２．５」秒、及び「４．０」秒に設定されている場合の例である。
(Modification)
FIG. 44 is a diagram illustrating an example of a state before a trigger is generated in the monitoring operation executed on the watcher screen 400 displayed on the display unit 333 of the information processing device 253 according to the modification of the second embodiment. is there. FIG. 45 is a diagram illustrating an example of a state in which a trigger is generated in the monitoring operation executed on the watcher screen 400 displayed on the display unit 333 of the information processing device 253 according to the modification of the second embodiment. 46 to 51 show whether or not the detection areas 535 to 538 are correct in the monitoring operation executed on the watcher screen 400 displayed on the display unit 333 of the information processing apparatus 253 according to the modification of the second embodiment. It is a figure which shows the example of the broken state. With reference to FIGS. 44 to 51, the details of the correctness determination operation for the captured image based on the instantaneous detection function in the present modification will be described using the image display unit 401 f on the watcher screen 400 as an example. In the present modification, when the trigger generation unit 313 detects a trigger for one or more detection areas 535 to 538 associated with the trigger area 530 and the constant detection area 570, all the detection areas 535 associated with the trigger area 530 are detected. The operation for continuing the frames indicating all the detection areas 535 to 538 and the constant detection area 570 in the display state indicating the result of the correctness determination until all the correctness determinations in 538 and the constant detection area 570 are completed will be described. In this example, the detection delay times of the attribute information in the detection areas 535 to 538 are set to “1.0” seconds, “2.2” seconds, “2.5” seconds, and “4.0” seconds, respectively. This is an example.
まず、第１制御部３１６は映像表示部４０１ｆについて正否判定動作が開始されると、設定画面５００で指定された各領域５３０，５３５〜５３８，５７０を示す枠を映像表示部４０１ｆの撮像映像に重畳させて表示させる。具体的には、図４４に示すように、映像表示部４０１ｆにはトリガ領域５３０、検知領域５３５〜５３８、及び常時検知領域５７０が表示される。この際、第１制御部３１６は通常状態（各領域５３０，５３５〜５３８，５７０で検知がなされていない状態）の各領域５３０，５３５〜５３８，５７０を示す枠（表示要素の一例）を別々の色によって表示させる。例えば、第１制御部３１６はトリガ領域５３０を示す枠を「白色」で、検知領域５３５〜５３８を示す枠を「黄色」で、常時検知領域５７０を示す枠を「緑色」で表示させる。
First, when the correctness determination operation is started for the video display unit 401f, the first control unit 316 adds frames indicating the areas 530, 535 to 538, and 570 designated on the setting screen 500 to the captured video of the video display unit 401f. Overlay and display. Specifically, as shown in FIG. 44, a trigger area 530, detection areas 535 to 538, and a constant detection area 570 are displayed on the video display unit 401f. At this time, the first control unit 316 separately provides frames (an example of display elements) indicating the respective regions 530, 535-538, and 570 in the normal state (states in which the respective regions 530, 535 to 538, and 570 are not detected). Display by color. For example, the first control unit 316 displays a frame indicating the trigger area 530 as “white”, a frame indicating the detection areas 535 to 538 as “yellow”, and a frame indicating the constant detection area 570 as “green”.
次に、図４５に示すように、第１制御部３１６はトリガ生成部３１３がトリガを検知した場合、トリガ領域５３０を示す枠を通常状態の色とは異なる色で、且つ通常状態の枠よりも太く表示させる。例えば、第１制御部３１６はトリガ領域５３０を示す枠を「青色」且つ太く表示させ、この表示状態を１秒間継続させる。第１制御部３１６は１秒後にトリガ領域５３０を示す枠の表示を通常状態の枠の表示に戻す。
Next, as illustrated in FIG. 45, when the trigger generation unit 313 detects the trigger, the first control unit 316 uses a frame that indicates the trigger region 530 in a color different from the normal state and from the normal state frame. Also display thick. For example, the first control unit 316 displays the frame indicating the trigger region 530 as “blue” and thick, and continues this display state for 1 second. The first control unit 316 returns the display of the frame indicating the trigger area 530 to the display of the frame in the normal state after 1 second.
次に、検知領域判定部３１４はトリガ生成部３１３からトリガ信号を受け取ってから検知領域５３５について設定された検知遅延時間である「１．０」秒後に検知領域５３５で正否判定をする。この判定の結果、正常検知となった場合、図４６に示すように、第１制御部３１６は検知領域５３５を示す枠を通常状態の色とは異なる色で、且つ通常状態の枠よりも太く表示させる。例えば、第１制御部３１６は正常検知を示すために検知領域５３５を示す枠を「青色」且つ太く表示させ、この表示状態を継続させる。
Next, after receiving the trigger signal from the trigger generation unit 313, the detection region determination unit 314 determines whether the detection region 535 is correct after “1.0” seconds, which is the detection delay time set for the detection region 535. If the result of this determination is normal detection, as shown in FIG. 46, the first control unit 316 makes the frame indicating the detection region 535 different from the color in the normal state and thicker than the frame in the normal state. Display. For example, the first control unit 316 displays the frame indicating the detection region 535 “blue” and thickly to indicate normal detection, and continues this display state.
次に、検知領域判定部３１４はトリガ生成部３１３からトリガ信号を受け取ってから検知領域５３６について設定された検知遅延時間である「２．２」秒後に検知領域５３６で正否判定をする。更に、検知領域判定部３１４はトリガ生成部３１３からトリガ信号を受け取ってから検知領域５３７について設定された検知遅延時間である「２．５」秒後に、検知領域５３７で正否判定をする。この判定の結果、それぞれ正常検知となった場合、図４７に示すように、第１制御部３１６は検知領域５３６，５３７を示すそれぞれの枠を通常状態の色とは異なる色で、且つ通常状態の枠よりも太く表示させる。例えば、第１制御部３１６は正常検知を示すために検知領域５３６，５３７を示す枠をそれぞれ「青色」且つ太く表示させ、この表示状態を継続させる。この時点で、図４７に示すように、検知領域５３５〜５３７はいずれも正常検知の表示状態（「青色」且つ太く表示された状態）となっている。
Next, after receiving the trigger signal from the trigger generation unit 313, the detection region determination unit 314 determines whether the detection region 536 is correct or not after “2.2” seconds, which is the detection delay time set for the detection region 536. Further, the detection region determination unit 314 determines whether the detection region 537 is correct or not after “2.5” seconds, which is the detection delay time set for the detection region 537, after receiving the trigger signal from the trigger generation unit 313. As a result of this determination, if each is normal detection, as shown in FIG. 47, the first control unit 316 displays the frames indicating the detection areas 536 and 537 in colors different from the colors in the normal state and in the normal state. Display thicker than the frame. For example, the first control unit 316 displays the frames indicating the detection areas 536 and 537 in “blue” and thick to indicate normal detection, and continues this display state. At this time, as shown in FIG. 47, the detection areas 535 to 537 are all in the normal detection display state (a state of “blue” and thick display).
そして、検知領域判定部３１４はトリガ生成部３１３からトリガ信号を受け取ってから検知領域５３８について設定された検知遅延時間である「４．０」秒後に検知領域５３８で正否判定をする。この判定の結果、正常検知となった場合、図４８に示すように、第１制御部３１６は検知領域５３８を示す枠を通常状態の色とは異なる色で、且つ通常状態の枠よりも太く表示させる。例えば、第１制御部３１６は正常検知を示すために検知領域５３８を示す枠を「青色」且つ太く表示させる。この時点で、図４８に示すように、検知領域５３５〜５３８はいずれも正常検知の表示状態（「青色」且つ太く表示された状態）となっている。
Then, the detection area determination unit 314 determines whether the detection area 538 is correct or not after “4.0” seconds, which is the detection delay time set for the detection area 538 after receiving the trigger signal from the trigger generation unit 313. If the result of this determination is normal detection, as shown in FIG. 48, the first control unit 316 has a frame indicating the detection area 538 in a color different from the color in the normal state and thicker than the frame in the normal state. Display. For example, the first control unit 316 displays a frame indicating the detection area 538 in “blue” and thick to indicate normal detection. At this time, as shown in FIG. 48, the detection areas 535 to 538 are all in a normal detection display state (a state of “blue” and thick display).
第１制御部３１６はトリガ領域５３０に関連付けられた検知領域５３５〜５３８のうち最後のタイミングで正否判定される検知領域５３８での正否判定が終了した後、検知領域５３５〜５３８の正常検知の表示状態を所定時間（例えば１秒間）継続させる。第１制御部３１６は所定時間後に検知領域５３５〜５３８を示す枠の表示をそれぞれ通常状態の枠の表示に戻す。
The first control unit 316 displays normal detection in the detection areas 535 to 538 after the correctness determination is completed in the detection area 538 that is determined to be correct or not at the last timing among the detection areas 535 to 538 associated with the trigger area 530. The state is continued for a predetermined time (for example, 1 second). The first control unit 316 returns the display of the frames indicating the detection areas 535 to 538 to the display of the frames in the normal state after a predetermined time.
報知制御部３１７は検知領域判定部３１４によりトリガ生成部３１３のトリガに伴う検知領域５３５〜５３８の正否判定がすべて終了したタイミング（すなわち、検知領域５３８の正否判定が終了したタイミング）で、報知部３３４に検知領域５３５〜５３８の正否判定の終了を示す判定終了音（図４８では「ピッ」と表記）を所定時間（例えば０．２秒）出力させる。以上のように、図４６〜４８では、検知領域５３５〜５３８の正否判定ですべて正常検知された場合について説明した。次に、検知領域５３５〜５３８のいずれかで異常検知がなされた場合について説明する。
The notification control unit 317 is a timing at which the detection region determination unit 314 completes the correctness determination of the detection regions 535 to 538 accompanying the trigger of the trigger generation unit 313 (that is, the timing at which the correctness determination of the detection region 538 is completed). In 334, a determination end sound (indicated as “beep” in FIG. 48) indicating the end of the right / wrong determination of the detection areas 535 to 538 is output for a predetermined time (eg, 0.2 seconds). As described above, in FIGS. 46 to 48, the case has been described in which all the detection areas 535 to 538 are normally detected in the correctness determination. Next, a case where an abnormality is detected in any of the detection areas 535 to 538 will be described.
図４５で示したように、トリガ生成部３１３がトリガを検知してから再びトリガ検知をした後の動作について説明する。検知領域判定部３１４はトリガ生成部３１３からトリガ信号を受け取ってから検知領域５３５について設定された検知遅延時間である「１．０」秒後に検知領域５３５で正否判定をする。この判定の結果、正常検知となった場合、図４９に示すように、第１制御部３１６は検知領域５３５を示す枠を通常状態の色とは異なる色で、且つ通常状態の枠よりも太く表示させる。例えば、第１制御部３１６は正常検知を示すために検知領域５３５を示す枠を「青色」且つ太く表示させ、この表示状態を継続させる。
As shown in FIG. 45, the operation after the trigger generation unit 313 detects the trigger and then performs the trigger detection again will be described. The detection area determination unit 314 determines whether the detection area 535 is correct after receiving a trigger signal from the trigger generation unit 313 and after “1.0” seconds, which is the detection delay time set for the detection area 535. If the result of this determination is normal detection, as shown in FIG. 49, the first control unit 316 has a frame indicating the detection area 535 in a color different from the color in the normal state and thicker than the frame in the normal state. Display. For example, the first control unit 316 displays the frame indicating the detection region 535 “blue” and thickly to indicate normal detection, and continues this display state.
次に、検知領域判定部３１４はトリガ生成部３１３からトリガ信号を受け取ってから検知領域５３６について設定された検知遅延時間である「２．２」秒後に検知領域５３６で正否判定をする。更に、検知領域判定部３１４はトリガ生成部３１３からトリガ信号を受け取ってから検知領域５３７について設定された検知遅延時間である「２．５」秒後に検知領域５３７で正否判定をする。この判定の結果、検知領域５３６において正常検知となった場合、図５０に示すように、第１制御部３１６は検知領域５３６を示す枠を通常状態の色とは異なる色で、且つ通常状態の枠よりも太く表示させる。例えば、第１制御部３１６は正常検知を示すために検知領域５３６を示す枠を「青色」且つ太く表示させ、この表示状態を継続させる。また、上述の判定の結果、検知領域５３７において異常検知となった場合、図３６に示すように、第１制御部３１６は検知領域５３７を示す枠を通常状態の色とは異なる色で、且つ通常状態の枠よりも太く表示させる。例えば、第１制御部３１６は異常検知を示すために検知領域５３７を示す枠を「赤色」且つ太く表示させ、この表示状態を継続させる。このとき、報知制御部３１７は検知領域判定部３１４により検知領域５３７において異常検知がされたタイミングで、報知部３３４に異常検知を報知する異常検知音（図５０では「ブー」と表記）を所定時間（例えば１秒）出力させる。この時点で、図５０に示すように、検知領域５３５，５３６はいずれも正常検知の表示状態（「青色」且つ太く表示された状態）となっており、検知領域５３７は異常検知の表示状態（「赤色」且つ太く表示された状態）となっている。
Next, after receiving the trigger signal from the trigger generation unit 313, the detection region determination unit 314 determines whether the detection region 536 is correct or not after “2.2” seconds, which is the detection delay time set for the detection region 536. Furthermore, the detection area determination unit 314 determines whether the detection area 537 is correct or not after “2.5” seconds, which is the detection delay time set for the detection area 537 after receiving the trigger signal from the trigger generation unit 313. As a result of this determination, when normal detection is detected in the detection area 536, as shown in FIG. 50, the first control unit 316 sets the frame indicating the detection area 536 in a color different from the color in the normal state and in the normal state. Display thicker than the frame. For example, the first control unit 316 displays the frame indicating the detection region 536 as “blue” and thick to indicate normal detection, and continues this display state. As a result of the above determination, if an abnormality is detected in the detection area 537, as shown in FIG. 36, the first control unit 316 sets the frame indicating the detection area 537 in a color different from the color in the normal state, and Display thicker than the normal frame. For example, the first control unit 316 displays the frame indicating the detection region 537 “red” and thickly to indicate abnormality detection, and continues this display state. At this time, the notification control unit 317 provides a predetermined abnormality detection sound (indicated as “boo” in FIG. 50) for notifying the notification unit 334 of abnormality detection at the timing when the detection region determination unit 314 detects abnormality in the detection region 537. Output time (for example, 1 second). At this time point, as shown in FIG. 50, the detection areas 535 and 536 are all in the normal detection display state (the state of “blue” and displayed thick), and the detection area 537 is in the abnormality detection display state ( “Red” and a thick display state).
そして、検知領域判定部３１４はトリガ生成部３１３からトリガ信号を受け取ってから検知領域５３８について設定された検知遅延時間である「４．０」秒後に検知領域５３８で正否判定をする。この判定の結果、異常検知となった場合、図５１に示すように、第１制御部３１６は検知領域５３８を示す枠を通常状態の色とは異なる色で、且つ通常状態の枠よりも太く表示させる。例えば、第１制御部３１６は異常検知を示すために検知領域５３８を示す枠を「赤色」且つ太く表示させる。このとき、報知制御部３１７は検知領域判定部３１４により検知領域５３８において異常検知がされたタイミングで報知部３３４に異常検知を報知する異常検知音（図５１では「ブー」と表記）を所定時間（例えば１秒）出力させる。この時点で、図５１に示すように、検知領域５３５，５３６はいずれも正常検知の表示状態（「青色」且つ太く表示された状態）となっており、検知領域５３７，５３８はいずれも異常検知の表示状態（「赤色」且つ太く表示された状態）となっている。
Then, the detection area determination unit 314 determines whether the detection area 538 is correct or not after “4.0” seconds, which is the detection delay time set for the detection area 538 after receiving the trigger signal from the trigger generation unit 313. If the result of this determination is that an abnormality has been detected, as shown in FIG. 51, the first control unit 316 has a frame indicating the detection area 538 in a color different from the color in the normal state and thicker than the frame in the normal state. Display. For example, the first control unit 316 displays a frame indicating the detection area 538 as “red” and thick to indicate abnormality detection. At this time, the notification control unit 317 outputs an abnormality detection sound (denoted as “boo” in FIG. 51) for notifying the notification unit 334 of abnormality detection at a timing when the detection region determination unit 314 detects abnormality in the detection region 538 for a predetermined time. (For example, 1 second) is output. At this time, as shown in FIG. 51, the detection areas 535 and 536 are all in the normal detection display state (a state of “blue” and thickly displayed), and the detection areas 537 and 538 are both abnormally detected. Is displayed (“red” and thickly displayed).
第１制御部３１６はトリガ領域５３０に関連付けられた検知領域５３５〜５３８のうち最後のタイミングで正否判定される検知領域５３８での正否判定が終了した後、検知領域５３５，５３６の正常検知の表示状態を所定時間（例えば１秒間）継続させ、検知領域５３７，５３８の異常検知の表示状態を所定時間（例えば１秒間）継続させる。第１制御部３１６は所定時間後に検知領域５３５〜５３８を示す枠の表示をそれぞれ通常状態の枠の表示に戻す。
The first control unit 316 displays the normal detection of the detection areas 535 and 536 after the determination of the correctness in the detection area 538 determined as correct or incorrect at the last timing among the detection areas 535 to 538 associated with the trigger area 530 is completed. The state is continued for a predetermined time (for example, 1 second), and the display state of the abnormality detection in the detection areas 537 and 538 is continued for a predetermined time (for example, 1 second). The first control unit 316 returns the display of the frames indicating the detection areas 535 to 538 to the display of the frames in the normal state after a predetermined time.
報知制御部３１７は検知領域判定部３１４によりトリガ生成部３１３のトリガに伴う検知領域の正否判定がすべて終了したタイミング（すなわち、検知領域５３８の正否判定が終了したタイミング）で、報知部３３４に検知領域５３５〜５３８の正否判定の終了を示す判定終了音（図３７では「ピッ」と表記）を所定時間（例えば０．２秒）出力させる。この場合、検知領域５３８の正否判定によって、報知部３３４により異常検知音と判定終了音とが重畳して出力されるが、異なる音（例えば異なる音階、波形、又はメロディの音）にしているので、ユーザはいずれの音も区別して聞き取ることができる。以上のように、図４９〜５１では検知領域５３５〜５３８の正否判定のいずれかで異常検知がなされる場合について説明した。
The notification control unit 317 detects by the notification unit 334 at the timing when the detection region determination unit 314 finishes all the detection region correctness determinations associated with the trigger of the trigger generation unit 313 (that is, when the detection region 538 correctness determination ends). A judgment end sound (indicated as “beep” in FIG. 37) indicating the end of the right / no-go judgment of the areas 535 to 538 is output for a predetermined time (for example, 0.2 seconds). In this case, the abnormality detection sound and the determination end sound are superimposed and output by the notification unit 334 depending on whether the detection area 538 is correct or not, but are different sounds (for example, different scales, waveforms, or melody sounds). The user can distinguish and listen to any sound. As described above, in FIGS. 49 to 51, the case where the abnormality detection is performed in any of the right and wrong determinations of the detection areas 535 to 538 is described.
上述の変形例のように、第１制御部３１６は瞬間検知機能に基づく正否判定動作においてトリガ生成部３１３のトリガに伴う検知領域５３５〜５３８の正否判定がすべて終了するまで、各検知領域５３５〜５３８の判定結果を示す表示状態を継続するものとしている。これによって、ユーザはトリガ生成部３１３のトリガに伴うすべての検知領域５３５〜５３８での正否判定の結果を一目で把握することができるので、利便性を向上させることができる。
Like the above-mentioned modification, the 1st control part 316 is each detection area | region 535-until all the right / no-go determination of the detection areas 535-538 accompanying the trigger of the trigger production | generation part 313 is complete | finished in the correctness determination operation | movement based on an instantaneous detection function. It is assumed that the display state indicating the determination result of 538 is continued. Thereby, the user can grasp at a glance the result of correctness determination in all the detection areas 535 to 538 accompanying the trigger of the trigger generation unit 313, so that convenience can be improved.
以上、本発明の実施の形態を説明したが、上記実施の形態は例として提示したものであり、発明の範囲を限定することを意図するものではない。この新規な実施の形態はその他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。この実施の形態及びその変形は発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
Although the embodiments of the present invention have been described above, the above-described embodiments are presented as examples and are not intended to limit the scope of the invention. The novel embodiment can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. This embodiment and its modifications are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
