JP2021027579A - Image determination device and image determination system - Google Patents
Image determination device and image determination system Download PDFInfo
- Publication number
- JP2021027579A JP2021027579A JP2020105414A JP2020105414A JP2021027579A JP 2021027579 A JP2021027579 A JP 2021027579A JP 2020105414 A JP2020105414 A JP 2020105414A JP 2020105414 A JP2020105414 A JP 2020105414A JP 2021027579 A JP2021027579 A JP 2021027579A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- unit
- information processing
- detection area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 274
- 238000003384 imaging method Methods 0.000 claims abstract description 34
- 230000010365 information processing Effects 0.000 claims description 145
- 238000004458 analytical method Methods 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 22
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000003860 storage Methods 0.000 description 64
- 238000012544 monitoring process Methods 0.000 description 46
- 230000004048 modification Effects 0.000 description 44
- 238000012986 modification Methods 0.000 description 44
- 230000005856 abnormality Effects 0.000 description 43
- 238000010586 diagram Methods 0.000 description 41
- 238000009826 distribution Methods 0.000 description 31
- 230000006870 function Effects 0.000 description 21
- 239000003550 marker Substances 0.000 description 21
- 230000035945 sensitivity Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 17
- 230000009471 action Effects 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000002950 deficient Effects 0.000 description 3
- 101100438246 Arabidopsis thaliana CAM6 gene Proteins 0.000 description 2
- 101100118004 Arabidopsis thaliana EBP1 gene Proteins 0.000 description 2
- 101150052583 CALM1 gene Proteins 0.000 description 2
- 102100025580 Calmodulin-1 Human genes 0.000 description 2
- 101100459256 Cyprinus carpio myca gene Proteins 0.000 description 2
- 101150091339 cam-1 gene Proteins 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 240000007651 Rubus glaucus Species 0.000 description 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 1
- 235000009122 Rubus idaeus Nutrition 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、画像判定装置および画像判定システムに関する。 The present invention relates to an image determination device and an image determination system.
近年、ビデオカメラ等の撮像装置により録画して得られた画像データを分析して、目的物の検出、または、画像データ上の物体の動きもしくは異常の判定等を行う画像判定システムの発展が著しい。このような画像判定システムは、例えば、製品の生産ライン等において適用される。 In recent years, the development of an image judgment system that analyzes image data recorded by an image pickup device such as a video camera to detect an object or determine the movement or abnormality of an object on the image data has been remarkable. .. Such an image determination system is applied, for example, in a product production line or the like.
このような、画像に基づいて物体の動きまたは異常の判定等を行う画像監視システムとして、監視対象を撮影した監視対象画像から、作業者の作業領域または作業時刻についてユーザにより設定された条件に従って画像を抽出する画像抽出手段と、作業者の作業領域、作業時間、または作業内容についてユーザにより設定された特定のイベントに関連付けられたマークを画像抽出手段により抽出された画像に関連付け、リストを生成して記憶装置に記憶するリスト生成手段と、記憶装置に記憶されたリストを読み込み、表示装置に表示させると共に、表示装置に表示されたリストからマークが選択されたとき、マークに関連付けられた画像を特定し、表示装置に再生表示するように制御する再生制御手段と、を有する技術が開示されている（例えば特許文献１）。 As an image monitoring system that determines the movement or abnormality of an object based on such an image, an image is taken from the monitored image of the monitored object according to the conditions set by the user for the worker's work area or working time. An image extraction means for extracting images and a mark associated with a specific event set by the user for the worker's work area, work time, or work content are associated with the image extracted by the image extraction means to generate a list. When a mark is selected from the list generation means stored in the storage device and the list stored in the storage device and displayed on the display device, and the mark is selected from the list displayed on the display device, the image associated with the mark is displayed. A technique is disclosed that includes a reproduction control means that identifies and controls the reproduction and display on a display device (for example, Patent Document 1).
しかしながら、特許文献１に記載された技術は、画像判定装置に接続するデバイスとしてＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｃｔｏｃｏｌ）カメラ（ネットワークカメラ）等の撮像装置のみであり、当該撮像装置により撮影された画像データに対する判定処理しか行うことができないという問題がある。
However, the technique described in
本発明は、上記に鑑みてなされたものであって、判定対象となる画像データは撮像装置から出力された画像データに限定せずに、撮像装置以外のデバイスからの画像データについても判定対象とすることができる画像判定装置および画像判定システムを提供することを目的とする。 The present invention has been made in view of the above, and the image data to be determined is not limited to the image data output from the imaging device, but the image data from a device other than the imaging device is also subject to determination. It is an object of the present invention to provide an image determination device and an image determination system capable of performing the above.
上述した課題を解決し、目的を達成するために、本発明は、画像データに対して画像判定が可能な画像判定装置であって、撮像装置から出力された第１画像データ、および、前記画像判定の対象となる画像データを出力する該撮像装置とは別のデバイスから出力された第２画像データのうち少なくとも該第２画像データを受信する受信部と、前記受信部により受信された少なくとも前記第２画像データを表示装置に再生表示させる第１再生部と、前記第１画像データまたは前記第２画像データが再生表示される前記表示装置の第１表示領域において、前記画像判定の対象となる検知領域を指定する指定部と、前記第１画像データおよび前記第２画像データのうち少なくとも一方が表示される前記表示装置の第２表示領域における前記検知領域内の前記第１画像データまたは前記第２画像データに対して前記画像判定を行う判定部と、を備えたことを特徴とする。 In order to solve the above-mentioned problems and achieve the object, the present invention is an image determination device capable of image determination on image data, the first image data output from the image pickup device, and the image. Of the second image data output from a device other than the imaging device that outputs the image data to be determined, at least a receiving unit that receives the second image data, and at least the receiving unit received by the receiving unit. The image determination is performed in the first reproduction unit for reproducing and displaying the second image data on the display device and the first display area of the display device on which the first image data or the second image data is reproduced and displayed. The first image data or the first image data in the detection area in the second display area of the display device in which at least one of the first image data and the second image data is displayed by the designation unit that specifies the detection area. 2. It is characterized by including a determination unit that performs the image determination on the image data.
本発明によれば、判定対象となる画像データは撮像装置から出力された画像データに限定せずに、撮像装置以外のデバイスからの画像データについても判定対象とすることができる。 According to the present invention, the image data to be determined is not limited to the image data output from the imaging device, but the image data from a device other than the imaging device can also be determined.
以下に、図面を参照しながら、本発明に係る画像判定装置および画像判定システムの実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。 Hereinafter, embodiments of the image determination device and the image determination system according to the present invention will be described in detail with reference to the drawings. Further, the present invention is not limited by the following embodiments, and the components in the following embodiments include those easily conceived by those skilled in the art, substantially the same, and so-called equivalent ranges. Is included. Furthermore, various omissions, substitutions, changes and combinations of components can be made without departing from the gist of the following embodiments.
（画像処理システムの全体構成）
図１は、実施形態に係る画像判定システムの全体構成の一例を示す図である。図１を参照しながら、本実施形態に係る画像判定システム１の全体構成について説明する。
(Overall configuration of image processing system)
FIG. 1 is a diagram showing an example of the overall configuration of the image determination system according to the embodiment. The overall configuration of the
図１に示すように、画像判定システム１は、撮像装置２ｂ〜２ｆと、仮想カメラ５と、ハブ４と、情報処理装置３と、を含む。
As shown in FIG. 1, the
撮像装置２ｂ〜２ｆは、被写体から光を電気信号に変換することによって被写体を撮像（撮影）し、複数のフレームで構成された動画（例えば、１０［ＦＰＳ］）である画像データ（第１画像データ）を生成するＩＰカメラ（ネットワークカメラ）である。例えば、撮像装置２ｂ〜２ｆは、製品を生産する生産設備または生産ライン等を撮像し、製造物であるワークに対する異常を検知するため、または、作業者の作業工程の誤りを判定するため等の画像データを生成する。
The
なお、撮像装置２ｂ〜２ｆを区別なく呼称する場合、または総称する場合、単に「撮像装置２」というものとする。また、図１では、画像判定システム１は、５台の撮像装置２を含む構成となっているが、これに限定されるものではなく、他の台数の撮像装置２を含む構成であってもよい。
When the
仮想カメラ５は、撮像装置２ｂ〜２ｆのように、直接、撮影された撮像画像等を判定対象として情報処理装置３へ出力する装置ではなく、異常等の有無の判定対象とする動画、キャプチャ画像および生成画像等の画像データ（第２画像データの一例）を出力することができる装置およびシステム等であるデバイスを示すものとする。本実施形態では、仮想カメラ５は、後述するように、画像判定システム１の構成に準じる形態を有する別の画像判定システムであるものとする。仮想カメラ５は、本発明の「別のデバイス」に相当する。
The
なお、図１では、画像判定システム１は、１の仮想カメラ５を含む構成となっているが、これに限定されるものではなく、他の台数の仮想カメラ５を含む構成であってもよい。また、画像データは、複数のフレームで構成された動画像として説明しているが、１枚のフレームで構成された静止画像を含む。また、撮像装置２ｂ〜２ｆから出力された画像データを第１画像データ、仮想カメラ５から出力された画像データを第２画像データとしているが、これは画像データの出力元が撮像装置２ｂ〜２ｆか仮想カメラ５かを区別するためのものである。
Note that, in FIG. 1, the
ハブ４は、撮像装置２ｂ〜２ｆと、仮想カメラ５と、情報処理装置３とを接続してＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を形成するための、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）規格に対応したスイッチングハブである。上述の撮像装置２ｂ〜２ｆ、仮想カメラ５および情報処理装置３は、それぞれＩＰアドレス（およびＭＡＣ（Ｍｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ）アドレス）を有しているため、スイッチングハブであるハブ４を介してＬＡＮを構成することが可能である。この場合、当該ＬＡＮでは、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）等のプロトコルによりデータ通信が行われる。
The
情報処理装置３は、撮像装置２から出力された画像データ（第１画像データ）、および仮想カメラ５から出力された動画等の画像データ（第２画像データ）に基づいて画像判定を実行する画像判定装置として機能するＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）またワークステーション等である。また、情報処理装置３は、生産設備等の外部機器１０と、例えばフィールドバスによってデータ通信が可能となるように接続している。フィールドバスによる通信規格としては、例えば、欧州で使用されるＰｒｏｆｉｂｕｓ（プロフィバス）、または三菱電機社のＣＣ−Ｌｉｎｋ（登録商標）等がある。
The
なお、図１に示したＬＡＮでは、ＴＣＰ／ＩＰにより通信される例を示したが、これに限定されるものではなく、例えば、情報処理装置３側にＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）端子またはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートを複数有し、複数の撮像装置２、または仮想カメラ５がＶＧＡケーブルまたはＵＳＢケーブルで情報処理装置３に接続された形態等であってもよい。
In the LAN shown in FIG. 1, an example of communication by TCP / IP is shown, but the present invention is not limited to this, and for example, a VGA (Video Graphics Array) terminal or a USB (Video Graphics Array) terminal or USB (on the
（情報処理装置のハードウェア構成）
図２は、実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。図２を参照しながら、本実施形態に係る情報処理装置３のハードウェア構成について説明する。
(Hardware configuration of information processing device)
FIG. 2 is a diagram showing an example of the hardware configuration of the information processing device according to the embodiment. The hardware configuration of the
図２に示すように、情報処理装置３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、補助記憶装置１０４と、ディスプレイ１０５（表示装置）と、ネットワークＩ／Ｆ１０６と、キーボード１０７（入力装置の一例）と、マウス１０８（入力装置の一例）と、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ１０９と、外部機器Ｉ／Ｆ１１１と、スピーカ１１２と、を備えている。
As shown in FIG. 2, the
ＣＰＵ１０１は、情報処理装置３全体の動作を制御する装置である。ＲＯＭ１０２は、情報処理装置３用のプログラムおよびＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）等を記憶している不揮発性記憶装置である。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される揮発性記憶装置である。
The
補助記憶装置１０４は、撮像装置２から出力された画像データ（第１画像データ）、仮想カメラ５により出力された動画等の画像データ（第２画像データ）、および設定情報等の各種データを記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置である。
The
ディスプレイ１０５は、カーソル、メニュー、ウィンドウ、文字もしくは画像等の各種情報、または情報処理装置３による画像判定動作を実行するアプリケーションの画面を表示する表示装置である。ディスプレイ１０５は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：ＬＣＤ）、または有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等である。なお、ディスプレイ１０５は、例えば、情報処理装置３の本体に対して、ＶＧＡケーブルまたはＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブル等によって接続されたり、または、Ｅｔｈｅｒｎｅｔケーブルによって接続される。
The
ネットワークＩ／Ｆ１０６は、ハブ４に接続してデータ通信するためのインターフェースである。ネットワークＩ／Ｆ１０６は、例えば、ＴＣＰ／ＩＰのプロトコルで通信可能にするＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。具体的には、情報処理装置３は、撮像装置２、および仮想カメラ５から、ハブ４およびネットワークＩ／Ｆ１０６を介して、画像データを取得する。なお、ネットワークＩ／Ｆ１０６は、Ｗｉ−Ｆｉ（登録商標）等の通信規格に準拠した無線Ｉ／Ｆであってもよい。
The network I /
キーボード１０７は、文字、数字、各種指示の選択、カーソルの移動、および設定情報の設定等を行う入力装置である。マウス１０８は、各種指示の選択および実行、処理対象の選択、カーソルの移動、ならびに設定情報の設定等を行うための入力装置である。
The
ＤＶＤドライブ１０９は、着脱自在な記憶媒体の一例としてのＤＶＤ１１０に対するデータの読み出し、書き込みおよび削除を制御する装置である。なお、ＤＶＤドライブ１０９で読み出しまたは書き込みを行う記憶媒体としては、ＤＶＤに限定されるものではなく、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ（ＤＶＤ ＲｅＷｒｉｔａｂｌｅ）、またはブルーレイディスク等であってもよい。
The
外部機器Ｉ／Ｆ１１１は、外部機器１０と接続してデータ通信をするためのインターフェースである。外部機器Ｉ／Ｆ１１１は、例えば、フィールドバスにより通信を可能にするインターフェースである。具体的には、情報処理装置３は、外部機器１０と、外部機器Ｉ／Ｆ１１１を介してデータ通信を行う。
The external device I /
スピーカ１１２は、アプリケーションの動作に従って音声を出力する装置である。
The
上述のＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、補助記憶装置１０４、ディスプレイ１０５、ネットワークＩ／Ｆ１０６、キーボード１０７、マウス１０８、ＤＶＤドライブ１０９、外部機器Ｉ／Ｆ１１１およびスピーカ１１２は、アドレスバスおよびデータバス等のバス１１３によって互いに通信可能に接続されている。なお、ディスプレイ１０５が、Ｅｔｈｅｒｎｅｔケーブルによって接続される場合には、ネットワークＩ／Ｆ１０６に接続されることになり、この場合、ＴＣＰ／ＩＰ等のプロトコルによりデータ通信が行われる。
The
（情報処理装置のブロック構成）
図３は、実施形態に係る情報処理装置の機能ブロックの構成の一例を示す図である。図３を参照しながら、本実施形態に係る情報処理装置３の機能ブロックの構成について説明する。
(Block configuration of information processing device)
FIG. 3 is a diagram showing an example of the configuration of the functional block of the information processing apparatus according to the embodiment. The configuration of the functional block of the
図３に示すように、情報処理装置３は、画像受信部３０１（受信部）と、記憶部３０２と、入力部３０３（入力装置）と、第１再生部３０４と、設定部３０８と、検知領域指定部３０９（指定部）と、画像振分部３１２と、検知領域判定部３１４（判定部）と、第１制御部３１６と、第２再生部３１８と、領域表示制御部３１９と、リスト制御部３２０と、第２制御部３２１と、表示制御部３３１と、外部出力部３３２と、表示部３３３（表示装置）と、を有する。なお、図３においては、説明を簡略化するため、ハブ４の図示を省略して説明する。
As shown in FIG. 3, the
画像受信部３０１は、撮像装置２および仮想カメラ５とデータ通信を行い、撮像装置２から画像データ、および仮想カメラ５からの画像データを受信する機能部である。画像受信部３０１は、受信した画像データを記憶部３０２に記憶させる。画像受信部３０１は、図２に示すネットワークＩ／Ｆ１０６、およびＣＰＵ１０１によりプログラムが実行されることによって実現される。
The
記憶部３０２は、画像受信部３０１により受信された画像データ、各種設定情報、および後述する時刻情報等を記憶する記憶装置である。記憶部３０２は、画像受信部３０１により受信された画像データおよび画像が、どの撮像装置２または仮想カメラ５により生成された画像データまたは画像であるかを識別して記憶する。記憶部３０２は、例えば、図２に示すＲＡＭ１０３または補助記憶装置１０４によって実現される。
The
入力部３０３は、情報処理装置３が実行する画像判定動作等のための操作入力を行う装置である。入力部３０３は、図２に示すキーボード１０７およびマウス１０８によって実現される。
The
第１再生部３０４は、ユーザにより操作される入力部３０３からの操作信号に従って、記憶部３０２から取得した画像データを表示制御部３３１に送り、表示制御部３３１に対して画像データを表示部３３３に再生表示させる機能部である。具体的には、第１再生部３０４は、図６等で後述する表示部３３３に表示される設定画面５００の設定用画像表示部５０２に画像データを再生表示させる。第１再生部３０４は、図２に示すＣＰＵ１０１によりプログラムが実行されることによって実現される。
The
設定部３０８は、ユーザにより操作される入力部３０３からの操作信号に従って、各種設定情報を設定して記憶部３０２に記憶させる機能部である。また、設定部３０８は、設定した設定情報のうち、表示する必要がある情報を、記憶部３０２から表示制御部３３１に送り、表示制御部３３１に対して設定情報を表示部３３３に表示させる。設定部３０８は、図２に示すＣＰＵ１０１によりプログラムが実行されることによって実現される。
The
検知領域指定部３０９は、ユーザにより操作される入力部３０３からの操作信号に従って、表示部３３３における画像データの表示領域（設定用画像表示部５０２）（第１表示領域）において、異常等を検知する画像判定動作の対象となる検知領域を指定する機能部である。検知領域指定部３０９は、指定した検知領域の情報を、撮像装置２または仮想カメラ５ごとに関連付けて記憶部３０２に記憶させる。また、検知領域の情報とは、例えば、画像データまたは画像の表示領域における検知領域の位置を示す座標、および検知領域の形状等の情報である。検知領域指定部３０９により指定された検知領域は、後述する検知機能で使用される。検知領域指定部３０９は、図２に示すＣＰＵ１０１によりプログラムが実行されることによって実現される。
The detection
なお、上述の画像判定動作には、上述のように異常であるか否かの判定（異常検知）のほか、特定の事象が発生したか否かの判定等も想定されるが、本実施形態では説明を簡潔にするため、画像判定動作として異常であるか否かの判定（異常検知）動作を例に挙げて説明するものとする。 In the above-mentioned image determination operation, in addition to the determination of whether or not an abnormality has occurred (abnormality detection) as described above, the determination of whether or not a specific event has occurred is assumed. Then, for the sake of brevity, the image determination operation of determining whether or not an abnormality is occurring (abnormality detection) will be described as an example.
画像振分部３１２は、ユーザにより操作される入力部３０３からの操作信号に従って、画像受信部３０１から取得したリアルタイムの画像データを表示制御部３３１に送り、表示制御部３３１に対して当該画像データおよび画像を表示部３３３に表示させる機能部である。具体的には、画像振分部３１２は、図５等で後述する表示部３３３に表示されるウォッチャ画面４００の画像表示部４０１ａ〜４０１ｆに、対応する画像データおよび画像を振り分けて表示させる。また、画像振分部３１２は、画像表示部４０１ａ〜４０１ｆに表示せせる各画像データを、記憶部３０２に記憶（録画）させる。画像振分部３１２は、図２に示すＣＰＵ１０１によりプログラムが実行されることによって実現される。
The
検知領域判定部３１４は、監視動作が開始された後、後述する図５のウォッチャ画面４００の画像表示部４０１ａ〜４０１ｆにおける検知領域において、検知基準画像と、画像データとしてのフレームまたは画像における検知領域の画像とを比較して異常であるか否かの判定を実行する機能部である。検知領域判定部３１４は、図２に示すＣＰＵ１０１によりプログラムが実行されることによって実現される。
After the monitoring operation is started, the detection area determination unit 314 sets the detection reference image and the detection area in the frame or image as image data in the detection area in the
第１制御部３１６は、ユーザにより操作される入力部３０３からの操作信号に従って、後述する図５のウォッチャ画面４００において監視動作の開始および停止を行うことのほか、ウォッチャ画面４００の動作全体を制御する機能部である。第１制御部３１６は、図２に示すＣＰＵ１０１によりプログラムが実行されることによって実現される。
The
第２再生部３１８は、ユーザにより操作される入力部３０３からの操作信号に従って、記憶部３０２から取得した画像データを表示制御部３３１に送り、表示制御部３３１に対して画像データおよび画像を表示部３３３に再生表示させる機能部である。具体的には、第２再生部３１８は、図１３等で後述する表示部３３３に表示されるビューワ画面７００の画像表示部７０１ａ〜７０１ｆに、対応する画像データを振り分けて再生表示させる。第２再生部３１８は、図２に示すＣＰＵ１０１によりプログラムが実行されることによって実現される。
The
領域表示制御部３１９は、入力部３０３に記憶された各検知領域の検知時刻の情報（時刻情報）に基づいて、ビューワ画面７００の画像表示部７０１ａ〜７０１ｆに再生表示されている画像データとしてのフレームまたは画像に重畳して各検知領域の状態を表示する機能部である。領域表示制御部３１９は、図２に示すＣＰＵ１０１によりプログラムが実行されることによって実現される。
The area
リスト制御部３２０は、ビューワ画面７００で、記憶部３０２に記憶されたマーカファイルを読み出し、マーカファイルの内容を表示させる図１４で後述するマーカリスト画面８００を表示する機能部である。ここで、マーカファイルとは、検知機能により異常が検知された時刻等が時系列に記録されたファイルである。リスト制御部３２０は、図２に示すＣＰＵ１０１によりプログラムが実行されることによって実現される。
The
第２制御部３２１は、ビューワ画面７００の動作全体を制御する機能部である。第２制御部３２１は、図２に示すＣＰＵ１０１によりプログラムが実行されることによって実現される。
The
表示制御部３３１は、表示部３３３の表示動作を制御する機能部である。具体的には、表示制御部３３１は、第１再生部３０４および画像振分部３１２から取得された画像データ、設定部３０８により設定された設定情報、および、検知領域指定部３０９により指定された検知領域等を、表示部３３３に表示させる。表示制御部３３１は、図２に示すＣＰＵ１０１によりプログラム（ドライバ）が実行されることによって実現される。
The
外部出力部３３２は、検知領域判定部３１４により異常の判定がされた場合、異常信号を外部機器１０に出力する機能部である。外部出力部３３２は、図２に示す外部機器Ｉ／Ｆ１１１、およびＣＰＵ１０１によりプログラムが実行されることによって実現される。なお、外部出力部３３２は異常信号を出力するものとしているが、これに限定されるものではなく、メールで異常を通知するためのバッチファイルを外部機器１０に送信したり、または、ウォッチャ画面４００上に異常を報知（例えば、ランプアイコンで点滅表示）する等の処置を行うものとしてもよい。
The
表示部３３３は、表示制御部３３１の制御に従って各種データを表示する装置である。表示部３３３は、本実施形態では特に、図２に示すＣＰＵ１０１によりプログラム（アプリケーション）が実行されることにより、後述するウォッチャ画面４００、設定画面５００、およびビューワ画面７００等を表示する。表示部３３３は、図２に示すディスプレイ１０５によって実現される。
The
なお、図３に示した第１再生部３０４、設定部３０８、検知領域指定部３０９、画像振分部３１２、検知領域判定部３１４、第１制御部３１６、第２再生部３１８、領域表示制御部３１９、リスト制御部３２０、第２制御部３２１および表示制御部３３１の一部または全部は、ソフトウェアであるプログラムではなく、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェア回路によって実現されてもよい。
The
また、図３に示した各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図３で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図３の１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。 Further, each functional unit shown in FIG. 3 conceptually shows a function, and is not limited to such a configuration. For example, a plurality of functional units shown as independent functional units in FIG. 3 may be configured as one functional unit. On the other hand, the function of one functional unit in FIG. 3 may be divided into a plurality of functions and configured as a plurality of functional units.
また、以降の説明の簡略化のため、表示制御部３３１が、受け取ったデータを表示部３３３に表示させるという表現を、単に、そのデータを表示制御部３３１に送った機能部が、表示部３３３（または、表示部３３３が表示する画面）に表示させると表現するものとする。例えば、第１再生部３０４が、画像データを表示制御部３３１に送り、表示制御部３３１に対して画像データを表示部３３３に再生表示させる場合、単に、第１再生部３０４が、画像データを表示部３３３に再生表示させると表現するものとする。
Further, for the sake of simplification of the following description, the function unit that simply sends the data to the
（記憶部に記憶される情報のディレクトリ構造）
図４は、実施形態に係る情報処理装置において記憶装置に記憶される情報のディレクトリ構造の一例を示す図である。図４を参照しながら、記憶部３０２で情報を管理するためのディレクトリ構造について説明する。
(Directory structure of information stored in the storage unit)
FIG. 4 is a diagram showing an example of a directory structure of information stored in the storage device in the information processing device according to the embodiment. A directory structure for managing information in the
まず、図４に示すように、記憶部３０２は、ルートフォルダとして、「Ｓｅｔｔｉｎｇ」フォルダと、「Ｃｏｍｍｏｎ」フォルダと、を形成している。「Ｓｅｔｔｉｎｇ」フォルダの中には、各撮像装置２および仮想カメラ５に関する情報を保存するための「ＣＡＭ１」〜「ＣＡＭ６」フォルダ（以下、単に「カメラフォルダ」と総称する）が形成されている。「ＣＡＭ１」〜「ＣＡＭ６」フォルダは、それぞれ仮想カメラ５および撮像装置２ｂ〜２ｆに関するフォルダに相当する。
First, as shown in FIG. 4, the
各カメラフォルダには、図４に示すように、領域情報ファイル、時刻情報ファイル、および画像データが保存される。ここで、領域情報ファイルは、対応する撮像装置２または仮想カメラ５について設定された各検知領域の位置情報（位置示す座標および領域の形状等の情報）および後述する属性情報を含むファイルである。また、時刻情報ファイルは、対応する撮像装置２または仮想カメラ５について監視動作が開始および終了した時刻、各検知領域が指定（設定）された時刻、および、監視動作中に各検知領域が検知した時刻を含むファイルである。また、画像データは、後述する検知基準画像等のデータである。
As shown in FIG. 4, the area information file, the time information file, and the image data are stored in each camera folder. Here, the area information file is a file including the position information (information such as the coordinates indicating the position and the shape of the area) of each detection area set for the corresponding
また、「Ｃｏｍｍｏｎ」フォルダには、上述のマーカファイルが保存される。 In addition, the above-mentioned marker file is saved in the "Common" folder.
なお、図４に示した情報を管理するためのディレクトリ構造は一例であり、これに限定されるものではなく、その他のデータ構造によって情報が管理されるものとしてもよい。また、図４に示したフォルダの名称も一例であり、これらに限定されるものではない。 The directory structure for managing the information shown in FIG. 4 is an example, and the information is not limited to this, and the information may be managed by another data structure. Further, the name of the folder shown in FIG. 4 is also an example, and the name is not limited to these.
（ウォッチャ画面の構成）
図５は、実施形態に係る情報処理装置の表示装置に表示されるウォッチャ画面において複数のリアルタイムの画像データが表示される例を示す図である。図５を参照しながら、ウォッチャ画面４００の構成、ならびに、複数のリアルタイムの画像データが表示される動作について説明する。
(Watcher screen configuration)
FIG. 5 is a diagram showing an example in which a plurality of real-time image data is displayed on a watcher screen displayed on the display device of the information processing apparatus according to the embodiment. The configuration of the
ＣＰＵ１０１により実行されるプログラム（アプリケーション）により、図５に示すウォッチャ画面４００が表示部３３３に表示される。ウォッチャ画面４００は、複数の撮像装置２から受信した画像データ、および仮想カメラ５から受信した画像データをリアルタイムに表示し、画像判定動作（監視動作）が実行されている場合には、指定された各検知領域において画像判定が実行される画面である。具体的には、ウォッチャ画面４００では、画像判定動作（監視動作）が実行されている場合、検知領域判定部３１４によって、検知領域指定部３０９により指定された検知領域において異常の有無が判定される。
The
ウォッチャ画面４００は、図５に示すように、画像表示部４０１ａ〜４０１ｆと、監視開始ボタン４１１と、監視停止ボタン４１２と、監視設定ボタン４１３と、ＯＫランプ４１４と、ＮＧランプ４１５と、状態表示部４２１ａ〜４２１ｆと、を含む。
As shown in FIG. 5, the
画像表示部４０１ａ〜４０１ｆは、ユーザにより操作される入力部３０３からの操作信号に従って、画像振分部３１２によって、撮像装置２ａ〜２ｆから画像受信部３０１を介して取得されたリアルタイムの画像データがそれぞれ表示される表示領域である。また、画像表示部４０１ａ〜４０１ｆは、ユーザによる入力部３０３の操作によって押下（例えば、マウス１０８のクリック操作等、以下同様）されると、選択状態にすることができる。なお、画像表示部４０１ａ〜４０１ｆを区別なく呼称する場合、または総称する場合、単に「画像表示部４０１」（第２表示領域）というものとする。
The
監視開始ボタン４１１は、ユーザによる入力部３０３の操作によって押下されると、リアルタイムの画像データが表示されている選択状態の画像表示部４０１において、検知領域指定部３０９により指定された検知領域における異常の有無の判定が開始される。
When the
監視停止ボタン４１２は、ユーザによる入力部３０３の操作によって押下されると、選択状態の画像表示部４０１で、検知領域判定部３１４による検知領域における異常の有無の判定動作を停止させるボタンである。
The
監視設定ボタン４１３は、ユーザによる入力部３０３の操作によって押下されると、各判定領域の設定するために、第１制御部３１６によって、後述の図６等に示す設定画面５００を表示部３３３に表示させるボタンである。
When the
ＯＫランプ４１４は、選択状態の各画像表示部４０１において指定された検知領域において異常の有無の判定の結果、異常無しという判定結果となった場合に、第１制御部３１６により点灯されるランプ領域である。例えば、ＯＫランプ４１４は、選択状態の画像表示部４０１のうち、ＯＫランプ４１４およびＮＧランプ４１５によるランプ点灯の対象となっている画像表示部４０１での検知領域において、すべての検知領域で異常無しと判定された場合に、第１制御部３１６により点灯される。
The
ＮＧランプ４１５は、選択状態の各画像表示部４０１において指定された検知領域において異常の有無の判定の結果、異常有りという判定結果となった場合に、第１制御部３１６により点灯されるランプ領域である。例えば、ＮＧランプ４１５は、選択状態の画像表示部４０１のうち、ＯＫランプ４１４およびＮＧランプ４１５によるランプ点灯の対象となっている画像表示部４０１での検知領域のうちいずれかの検知領域で異常有りと判定された場合に、第１制御部３１６により点灯される。
The
状態表示部４２１ａ〜４２１ｆは、各画像表示部４０１に対応する撮像装置２および仮想カメラ５についての状態を示す表示部である。例えば、状態表示部４２１ａ〜４２１ｆには、「未接続」、「未設定」、「設定完了」、「監視中」等の撮像装置２および仮想カメラ５についての状態を示す内容が表示される。「未接続」とは、画像表示部４０１に対応する撮像装置２または仮想カメラ５が情報処理装置３に接続されていない状態を示し、画像表示部４０１には画像データが表示されていない状態を示す。例えば、図５に示す例では、画像表示部４０１ｃに対応する撮像装置２（具体的には撮像装置２ｃ）が情報処理装置３に接続されていないため、状態表示部４２１ｃでは「未接続」と表示され、画像表示部４０１ｃには画像データが表示されていない状態を示す。「未設定」とは、画像表示部４０１に表示されている画像データについて検知領域等の設定がなされていない状態を示す。「設定完了」とは、画像表示部４０１に表示されている画像データについて検知領域等の設定が完了している状態を示す。「監視中」とは、設定された各検知領域の情報に基づいて、画像判定動作（監視動作）が実行中である状態を示す。なお、状態表示部４２１ａ〜４２１ｆを区別なく呼称する場合、または総称する場合、単に「状態表示部４２１」というものとする。
The
（設定画面の構成）
図６は、実施形態に係る情報処理装置の表示装置に表示される設定画面で画像データが表示される状態の一例を示す図である。図６を参照しながら、設定画面５００の構成について説明する。
(Configuration of setting screen)
FIG. 6 is a diagram showing an example of a state in which image data is displayed on a setting screen displayed on the display device of the information processing device according to the embodiment. The configuration of the
設定画面５００は、検知領域の指定、ならびに検知領域における画像判定の感度および閾値等を設定する画面である。図６に示す設定画面５００は、検知機能について設定するための画面であり、カメラ選択タブ５０１、設定用画像表示部５０２と、再生ボタン５０３ａと、一時停止ボタン５０３ｂと、早送りボタン５０３ｃと、早戻しボタン５０３ｄと、停止ボタン５０３ｅと、シークバー５０４と、スライダー５０５と、時刻表示部５０６と、設定読出ボタン５１１と、設定書込ボタン５１２と、設定反映ボタン５１３と、閉じるボタン５１４と、検知領域情報部５６１と、検知領域ボタン群５６２と、を含む。
The
カメラ選択タブ５０１は、ユーザが検知領域の指定を所望する仮想カメラ５の画像データおよび撮像装置２ｂ〜２ｆの画像データのうちいずれのデータを設定用画像表示部５０２に表示させるのかを選択する操作部である。例えば、仮想カメラ５によって出力された画像データ、および撮像装置２ｂ〜２ｆによって撮像された画像データは、それぞれ「１」〜「６」に対応付けられており、図６の例では、「６」すなわち撮像装置２ｆの画像データが選択された例を示している。
The
設定用画像表示部５０２は、第１再生部３０４によって、ユーザにより操作される入力部３０３からの操作信号に従って記憶部３０２から取得された画像データを再生表示される表示部である。図６の例では、第１再生部３０４は、ユーザによる入力部３０３の操作により、「６」のカメラ選択タブ５０１が選択操作されると、撮像装置２ｆにより撮像された画像データを設定用画像表示部５０２に再生表示させる。
The setting
再生ボタン５０３ａは、ユーザによる入力部３０３の操作によって押下されると、第１再生部３０４によって、設定用画像表示部５０２に表示された画像データが再生開始されるボタンである。一時停止ボタン５０３ｂは、ユーザによる入力部３０３の操作によって押下されると、第１再生部３０４によって、設定用画像表示部５０２に再生表示されている画像データが一時停止されるボタンである。早送りボタン５０３ｃは、ユーザによる入力部３０３の操作によって押下されると、第１再生部３０４によって、設定用画像表示部５０２に再生表示されている画像データが早送り表示されるボタンである。早戻しボタン５０３ｄは、ユーザによる入力部３０３の操作によって押下されると、第１再生部３０４によって、設定用画像表示部５０２に再生表示されている画像データが早戻し表示されるボタンである。停止ボタン５０３ｅは、ユーザによる入力部３０３の操作によって押下されると、第１再生部３０４によって、設定用画像表示部５０２に再生表示されている画像データが停止されるボタンである。
The
シークバー５０４は、その上に配置されるスライダー５０５の位置により、設定用画像表示部５０２に再生表示されている画像データがどの時間のものなのかを示す棒状の形状体である。スライダー５０５は、設定用画像表示部５０２に再生表示されている画像データの撮像時刻（表示されているフレームが撮像された時刻、または表示されている画像が取得された時刻）に対応したシークバー５０４上の位置にスライドする形状体かつ操作部である。逆に、スライダー５０５は、ユーザによる入力部３０３の操作によってスライドされると、第１再生部３０４によって、スライダー５０５が存在するシークバー５０４上の位置に対応した撮像時刻の画像データとしてのフレーム、または画像が設定用画像表示部５０２に表示される。
The seek
時刻表示部５０６は、第１再生部３０４によって、設定用画像表示部５０２に再生表示されている画像データの撮像日付（取得された日付の概念を含む）および撮像時刻を表示する表示部である。
The
設定読出ボタン５１１は、ユーザによる入力部３０３の操作によって押下されると、設定部３０８によって、記憶部３０２に記憶された、カメラ選択タブ５０１で選択された撮像装置２または仮想カメラ５についての検知領域の情報等が読み出され、設定画面５００の各表示部に表示されるボタンである。設定書込ボタン５１２は、ユーザによる入力部３０３の操作によって押下されると、設定部３０８によって、設定画面５００上で設定された検知領域の情報等が、カメラ選択タブ５０１で選択された撮像装置２または仮想カメラ５に関連付けられて記憶部３０２に記憶されるボタンである。設定反映ボタン５１３は、ユーザによる入力部３０３の操作によって押下されると、設定部３０８によって、設定画面５００上で設定された検知領域の情報等が、ウォッチャ画面４００および設定画面５００等のアプリケーションが閉じられるまで有効とされる（例えば、ＲＡＭ１０３に一時記憶される）ボタンである。
When the setting read
閉じるボタン５１４は、ユーザによる入力部３０３の操作によって押下されると、設定部３０８によって、設定画面５００が閉じられ、ウォッチャ画面４００を表示部３３３に表示させるボタンである。
The
検知領域情報部５６１は、検知領域指定部３０９により指定された検知領域の名称、感度、閾値、監視方法（図６では「監視」と表記）、およびアクションの有無（図６では「アクション」と表記）（以下、検知領域についてのこれらの情報を属性情報という）を表示する表示領域かつ選択操作領域である。
The detection
検知領域ボタン群５６２は、検知領域指定部３０９により指定され、検知領域情報部５６１に表示された検知領域についての属性情報を編集するボタン群である。検知領域ボタン群５６２は、アクションボタン５６２ａと、削除ボタン５６２ｃと、感度増加ボタン５６２ｅと、感度減少ボタン５６２ｆと、閾値増加ボタン５６２ｇと、閾値減少ボタン５６２ｈと、を含む。検知領域ボタン群５６２の各ボタンの機能は、後述する。
The detection
（検知領域の指定）
図７は、実施形態に係る情報処理装置の表示装置に表示される設定画面において設定用画像表示部に検知領域を指定する例を示す図である。図７を参照しながら、検知領域の指定について説明する。
(Designation of detection area)
FIG. 7 is a diagram showing an example of designating a detection area in the setting image display unit on the setting screen displayed on the display device of the information processing device according to the embodiment. The designation of the detection area will be described with reference to FIG. 7.
図７に示す設定画面５００は、第１再生部３０４により画像データが再生表示されている設定用画像表示部５０２において検知領域５７０が指定された状態を示している。具体的には、まず、設定用画像表示部５０２において画像データの再生表示中に、検知機能の画像判定を所望する画像の部分が表示されているタイミングで、ユーザによる入力部３０３の操作によって一時停止ボタン５０３ｂが押下されると、第１再生部３０４は、設定用画像表示部５０２に再生表示されている画像データを一時停止し、その時点のフレームまたは画像の撮像日付および撮像時刻を時刻表示部５０６に表示させる。
The
次に、ユーザによる入力部３０３の操作（例えば、マウス１０８のドラッグ操作）によって、検知領域指定部３０９は、設定用画像表示部５０２において検知領域５７０を指定して表示させる。
Next, the detection
また、設定部３０８は、検知領域５７０の属性情報として、検知領域指定部３０９により指定された検知領域５７０に命名した名前、ならびに、デフォルト値として、後述する画像判定で使用する所定の感度（例えば、「５０」）、所定の閾値（例えば、「２０％」）、監視方法（例えば、「グレースケール」）、およびアクションの有無（例えば、「なし」）を、検知領域情報部５６１に表示させる。設定部３０８は、検知領域５７０の名前として、図７に示すように、例えば、「６」の撮像装置（撮像装置２ｆ）の画像データに対して指定された検知領域であるものとして、「Ａ６１」と命名する。また、検知領域指定部３０９は、カメラ選択タブ５０１で選択された撮像装置２または仮想カメラ５（図７の例では、撮像装置２ｆ）に関連付けて、検知領域５７０を指定した時刻の設定用画像表示部５０２に表示されているフレームまたは画像における検知領域５７０内の画像を検知基準画像として抽出して記憶部３０２に記憶させ、指定した検知領域５７０の情報（位置および形状等の位置情報、および属性情報等）を記憶部３０２に記憶させる。さらに、検知領域指定部３０９は、カメラ選択タブ５０１で選択された撮像装置２または仮想カメラ５に関連付けて、検知領域５７０を指定した時刻の情報（時刻情報）を記憶部３０２に記憶させる。なお、上述と同様の方法で、検知領域指定部３０９により複数の検知領域を指定することができる。
Further, the
図７に示す設定画面５００で指定された検知領域（図７では検知領域５７０）の属性情報は、編集することができる。まず、ユーザによる入力部３０３の操作によって、検知領域情報部５６１に属性情報が表示された検知領域のいずれか（図７では検知領域５７０の属性情報のみを表示）を選択すると、設定部３０８は、選択された検知領域情報部５６１の検知領域の属性情報の表示部分を反転表示させる。以下、図７に示した検知領域５７０（常時検知領域名「Ａ６１」）が選択されたものとして説明する。
The attribute information of the detection area (
次に、例えば、ユーザによる入力部３０３の操作によって、アクションボタン５６２ａを押下すると、設定部３０８は、選択された検知領域５７０のアクションの有無の設定値を切り替える。例えば、検知領域５７０のアクションの有無が「なし」となっている場合、アクションボタン５６２ａが押下されると、設定部３０８は、検知領域５７０のアクションの有無を「あり」に設定する。一方、検知領域５７０のアクションの有無が「あり」となっている場合、アクションボタン５６２ａが押下されると、設定部３０８は、検知領域５７０のアクションの有無を「なし」に設定する。後述するように、アクションの有無が「あり」となっている場合、検知領域判定部３１４によってその検知領域における画像判定で異常と判定された場合、外部出力部３３２が異常信号を出力する。
Next, for example, when the
また、例えば、ユーザによる入力部３０３の操作によって、削除ボタン５６２ｃを押下すると、設定部３０８は、検知領域情報部５６１に表示された検知領域５７０の属性情報を消去し、記憶部３０２に記憶された検知領域５７０の情報を削除する。また、検知領域指定部３０９は、設定用画像表示部５０２に表示された検知領域５７０を消去し、記憶部３０２に記憶された検知基準画像を削除する。
Further, for example, when the
また、例えば、ユーザによる入力部３０３の操作によって、感度増加ボタン５６２ｅを押下すると、設定部３０８は、選択された検知領域５７０の画像判定に用いられる感度の値を所定値だけ増加させる。一方、ユーザによる入力部３０３の操作によって、感度減少ボタン５６２ｆを押下すると、設定部３０８は、選択された検知領域５７０の画像判定に用いられる感度の値を所定値だけ減少させる。
Further, for example, when the
また、例えば、ユーザによる入力部３０３の操作によって、閾値増加ボタン５６２ｇを押下すると、設定部３０８は、選択された検知領域５７０の画像判定に用いられる閾値の値を所定値だけ増加させる。一方、ユーザによる入力部３０３の操作によって、閾値減少ボタン５６２ｈを押下すると、設定部３０８は、選択された検知領域５７０の画像判定に用いられる閾値の値を所定値だけ減少させる。
Further, for example, when the threshold
（ウォッチャ画面における画像判定動作）
図８は、実施形態に係る情報処理装置の表示装置に表示されるウォッチャ画面で監視動作が実行される状態の一例を示す図である。図９は、実施形態に係る情報処理装置の表示装置に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。図８および図９は、本実施形態に係る情報処理装置３の表示装置に表示されるウォッチャ画面で実行される監視動作で検知領域で画像判定が行われた状態の一例を示す図である。
(Image judgment operation on the watcher screen)
FIG. 8 is a diagram showing an example of a state in which a monitoring operation is executed on a watcher screen displayed on the display device of the information processing device according to the embodiment. FIG. 9 is a diagram showing an example of a state in which image determination is performed in the detection area in the monitoring operation executed on the watcher screen displayed on the display device of the information processing apparatus according to the embodiment. 8 and 9 are diagrams showing an example of a state in which image determination is performed in the detection area in the monitoring operation executed on the watcher screen displayed on the display device of the
まず、図８を参照しながら、ウォッチャ画面４００における画像判定動作（監視動作）の概要について説明する。図８に示すウォッチャ画面４００は、各撮像装置２および仮想カメラ５から受信した画像データをリアルタイムに表示し、画像表示部４０１ｆで、検知領域「Ａ６１」が指定された状態を示している。ただし、ウォッチャ画面４００における画像判定動作においては、外観の煩雑さを回避するため、画像表示部４０１に表示される各判定領域の名称の表示は省略するものとしている。ここで、検知機能とは、検知領域での画像が異常であるか否かの画像判定を監視動作中実行する機能である。また、第１制御部３１６は、設定画面５００からウォッチャ画面４００に遷移した後、画像表示部４０１ｆについて各検知領域の設定が完了したので、状態表示部４２１ｆに「設定完了」と表示させる。
First, an outline of the image determination operation (monitoring operation) on the
次に、ユーザは、入力部３０３の操作によって、画像判定動作（監視動作）を開始させたい撮像装置２または仮想カメラ５に対応する画像表示部４０１を押下して選択状態にする。図８に示す例では、画像表示部４０１ｆが押下されて選択状態になった状態が示されている。そして、第１制御部３１６は、ユーザによる入力部３０３の操作によって、監視開始ボタン４１１が押下されると、画像表示部４０１ｆに表示される撮像装置２ｆのリアルタイムの画像データについて画像判定動作を開始する。このとき、第１制御部３１６は、図８に示すように、撮像装置２ｆについて画像判定動作が実行中である旨を示すために、状態表示部４２１ｆに「監視中」と表示させる。また、第１制御部３１６は、選択状態になっている画像表示部４０１に対応する撮像装置２に関連付けて、画像判定動作（監視動作）を開始した時刻の情報（時刻情報）を記憶部３０２に記憶させる。なお、第１制御部３１６は、ユーザによる入力部３０３の操作によって、監視停止ボタン４１２が押下された場合、選択状態の画像表示部４０１についての画像判定動作を停止し、その画像表示部４０１に対応する撮像装置２または仮想カメラ５に関連付けて、画像判定動作（監視動作）を停止した時刻の情報（時刻情報）を記憶部３０２に記憶させる。
Next, the user presses the image display unit 401 corresponding to the
具体的なウォッチャ画面４００における画像判定動作では、まず、画像振分部３１２が、画像受信部３０１から取得したリアルタイムの画像データを画像表示部４０１ａ〜４０１ｆに振り分けて表示させる。また、検知領域判定部３１４は、記憶部３０２から、指定された検知領域（図７における検知領域５７０）の属性情報を取得する。検知領域判定部３１４は、監視動作が実行されている間、指定された検知領域において、検知基準画像と、画像データとしてのフレームまたは画像における検知領域の画像とを比較して異常であるか否かの画像判定を実行する。
In the image determination operation on the
具体的には、検知領域判定部３１４は、検知領域５７０に対応する画像データとしてのフレームまたは画像における検知領域の画像と、検知基準画像とを比較して異常であるか否かの画像判定をする。このとき、画像判定として、検知領域判定部３１４は、検知基準画像と、検知領域の画像とにおける対応する画素同士の比較で、画素値が検知領域５７０の属性情報の感度以上異なる画素の数の合計である差分が、当該属性情報の閾値（例えば閾値が「２０％」の場合、検知領域の画像（または検知基準画像）の全体の画像数のうち２０％の画素数）以上となった場合に、検知領域５７０の画像判定は異常と判定する。また、検知領域判定部３１４は、検知基準画像と、検知領域の画像との比較で、画素値が検知領域５７０の属性情報の感度以上異なる画素の数の合計である差分が、当該属性情報の閾値未満である限り、検知領域５７０の画像判定は正常と判定する。
Specifically, the detection area determination unit 314 compares the image of the detection area in the frame or image as the image data corresponding to the
また、検知領域判定部３１４による画像判定の結果、正常検知となっている場合であって、画像表示部４０１ｆがＯＫランプ４１４およびＮＧランプ４１５によるランプ点灯の対象となっていて、かつ、他のランプ点灯の対象となっている画像表示部４０１における検知領域での画像判定が正常検知となっている場合、第１制御部３１６は、ＯＫランプ４１４を点灯させる。
Further, when the result of the image determination by the detection area determination unit 314 is normal detection, the
また、検知領域判定部３１４による画像判定の結果、異常検知となった場合、図９に示すように、第１制御部３１６は、検知領域５７０を示す枠を、通常状態の色とは異なる色で、かつ、通常状態の枠よりも太く表示させる。例えば、第１制御部３１６は、異常検知を示すために、検知領域５７０を示す枠を「赤色」かつ太く表示させ、この表示状態を例えば１秒間継続させる。また、第１制御部３１６は、検知領域５７０における画像判定で異常検知がなされたとき、画像表示部４０１ｆがＯＫランプ４１４およびＮＧランプ４１５によるランプ点灯の対象となっている場合、ＮＧランプ４１５を点灯させる。そして、第１制御部３１６は、１秒後、検知領域５７０を示す枠の表示を通常状態の枠の表示に戻す。なお、第１制御部３１６は、検知領域判定部３１４により、検知基準画像と、検知領域の画像との比較で、画素値が検知領域５７０の属性情報の感度以上異なる画素の数の合計である差分が、当該属性情報の閾値以上となっている限り、検知領域５７０を示す枠を「赤色」かつ太く表示させる状態を継続し、異常検知の状態となっていることを示し続けるものとしてもよい。この場合、ＮＧランプ４１５の点灯動作も同様である。
Further, when an abnormality is detected as a result of the image determination by the detection area determination unit 314, as shown in FIG. 9, the
そして、検知領域判定部３１４は、画像判定動作で異常検知をした検知時刻の情報（時刻情報）を、画像判定動作を実行している撮像装置２または仮想カメラ５に関連付けて、記憶部３０２に記憶させる。また、検知領域判定部３１４は、画像判定動作で異常検知をした検知時刻の情報（時刻情報）を、画像判定動作を実行している撮像装置２または仮想カメラ５に関連付けて、記憶部３０２のマーカファイルに書き込む。
Then, the detection area determination unit 314 associates the information (time information) of the detection time when the abnormality is detected in the image determination operation with the
そして、外部出力部３３２は、検知領域判定部３１４により異常の判定がなされた場合、異常信号を外部機器１０に出力する。
Then, when the detection area determination unit 314 determines the abnormality, the
以上のように、第１制御部３１６は、各検知領域を示す枠を、異常検知の場合には通常状態とは別の色および枠の太さで表示して、異常検知であることを明示するようにしている。これによって、ユーザは、各画像表示部４０１の画像判定動作（監視動作）のうち、どの画像表示部４０１の検知領域で異常検知がなされたのかについてのタイミングを視覚的に把握することができる。
As described above, the
（仮想カメラが画像判定システムである場合の構成について）
図１０は、実施形態に係る画像判定システムの全体構成において仮想カメラを画像判定システムとした場合の一例を示す図である。図１１は、実施形態に係る情報処理装置の表示装置に表示されるウォッチャ画面において、仮想カメラとしての画像判定システムから出力されたウォッチャ画面が表示された状態の一例を示す図である。図１０および図１１を参照しながら、本実施形態に係る画像判定システム１において、上述のように仮想カメラ５として別の画像判定システムが接続されている場合の構成および動作の詳細について説明する。
(About the configuration when the virtual camera is an image judgment system)
FIG. 10 is a diagram showing an example of a case where a virtual camera is used as an image determination system in the overall configuration of the image determination system according to the embodiment. FIG. 11 is a diagram showing an example of a state in which the watcher screen output from the image determination system as a virtual camera is displayed on the watcher screen displayed on the display device of the information processing device according to the embodiment. With reference to FIGS. 10 and 11, in the
図１０に示すように、本実施形態に係る画像判定システム１では、図１で示した仮想カメラ５として、画像判定システム１の構成に準じる形態を有する別の画像判定システム５ａが、ハブ４を介して情報処理装置３に接続されている。画像判定システム５ａに含まれる情報処理装置（画像判定システム１の情報処理装置３に相当）は、画像判定システム１と同様に複数のＩＰカメラ（画像判定システム１の撮像装置２に相当）から画像データを受信して、表示装置であるディスプレイ（ディスプレイ１０５に相当）に、例えば、ウォッチャ画面４００に相当する画面を表示させ、画像判定システム１と同様に、各ＩＰカメラから受信した画像データに対する画像判定を行う。また、画像判定システム５ａに含まれる情報処理装置は、ディスプレイに表示されている画面（例えばウォッチャ画面４００に相当する画面）をキャプチャして、例えば、Ｍｏｔｉｏｎ ＪＰＥＧまたはＨ.２６４等の動画圧縮規格により動画に変換して外部に配信するアプリケーション（以下、単に「配信アプリ」と称する）がインストールされている。ここでは、図１１に示すように、画像判定システム５ａに含まれる情報処理装置は、配信アプリの機能により、ディスプレイに表示されているウォッチャ画面９００（ウォッチャ画面４００に対応）をキャプチャして変換した動画（第２画像データの一例）を、ハブ４を介して情報処理装置３へ送信する。すなわち、画像判定システム５ａ自体は、撮像装置そのものではないが、ディスプレイに表示された動画を出力することが可能であるので、当該動画を、撮像装置２の画像データに相当するものとして受信することにより画像判定を行うことができる。画像判定システム５ａは、本発明の「別のデバイス」に相当する。
As shown in FIG. 10, in the
例えば、図１１に示すように、画像判定システム１側のウォッチャ画面４００において、画像表示部４０１ａに表示された、画像判定システム５ａから出力されたウォッチャ画面９００を示す動画（キャプチャ動画）に対して異常検知するための検知領域として、検知領域指定部３０９により検知領域５７１、５７２が指定されている。なお、図１１では、説明の都合上、ウォッチャ画面９００に含まれるＯＫランプおよびＮＧランプを、ウォッチャ画面４００の画像表示部４０１ａ上では、縮尺を変えて（拡大して）図示している。
For example, as shown in FIG. 11, on the
検知領域５７１は、ウォッチャ画面９００のＯＫランプ（ウォッチャ画面４００のＯＫランプ４１４に相当）を含むように指定されている。検知領域５７２は、ウォッチャ画面９００のＮＧランプ（ウォッチャ画面４００のＮＧランプ４１５に相当）を含むように指定されている。そして、検知領域指定部３０９は、例えば、ウォッチャ画面９００のＯＫランプが消灯している状態における検知領域５７１内の画像を検知基準画像として抽出して記憶部３０２に記憶させ、指定した検知領域５７１の情報（位置および形状等の位置情報、および属性情報等）を記憶部３０２に記憶させる。また、検知領域指定部３０９は、例えば、ウォッチャ画面９００のＮＧランプが消灯している状態における検知領域５７２内の画像を検知基準画像として抽出して記憶部３０２に記憶させ、指定した検知領域５７２の情報（位置および形状等の位置情報、および属性情報等）を記憶部３０２に記憶させる。
The
図１１に示すウォッチャ画面４００では、画像表示部４０１ａにおいて仮想カメラ５である画像判定システム５ａから受信した動画をリアルタイムに表示し、検知領域５７１、５７２が指定された状態を示している。次に、ユーザは、入力部３０３の操作によって、画像判定動作（監視動作）を開始させたい撮像装置２または仮想カメラ５に対応する画像表示部４０１（ここでは、画像表示部４０１ａ）を押下して選択状態にする。そして、第１制御部３１６は、ユーザによる入力部３０３の操作によって、監視開始ボタン４１１が押下されると、画像表示部４０１ａに表示される画像判定システム５ａのリアルタイムの動画（キャプチャ動画）について画像判定動作を開始する。また、第１制御部３１６は、選択状態になっている画像表示部４０１ａに対応する画像判定システム５ａに関連付けて、画像判定動作（監視動作）を開始した時刻の情報（時刻情報）を記憶部３０２に記憶させる。なお、第１制御部３１６は、ユーザによる入力部３０３の操作によって、監視停止ボタン４１２が押下された場合、選択状態の画像表示部４０１ａについての画像判定動作を停止し、その画像表示部４０１ａに対応する画像判定システム５ａに関連付けて、画像判定動作（監視動作）を停止した時刻の情報（時刻情報）を記憶部３０２に記憶させる。
In the
そして、検知領域判定部３１４は、記憶部３０２から、指定された検知領域５７１、５７２の属性情報を取得する。検知領域判定部３１４は、監視動作が実行されている間、指定された検知領域５７１、５７２において、検知基準画像と、動画における検知領域の画像とを比較して画像判定を実行する。
Then, the detection area determination unit 314 acquires the attribute information of the designated
具体的には、検知領域判定部３１４は、検知領域５７１、５７２に対応する動画における検知領域の画像と、検知基準画像とを比較して画像判定をする。このとき、画像判定として、検知領域判定部３１４は、検知基準画像と、検知領域の画像との比較で、画素値が検知領域５７１の属性情報の感度以上異なる画素の数の合計である差分が、当該属性情報の閾値以上となった場合に、検知領域５７１の画像判定としてＯＫランプが点灯したと判定する。また、検知領域判定部３１４は、検知基準画像と、検知領域の画像との比較で、画素値が検知領域５７１の属性情報の感度以上異なる画素の数の合計である差分が、当該属性情報の閾値未満である限り、検知領域５７１の画像判定としてＯＫランプが点灯していないと判定する。
Specifically, the detection area determination unit 314 compares the image of the detection area in the moving image corresponding to the
同様に、検知領域判定部３１４は、検知基準画像と、検知領域の画像との比較で、画素値が検知領域５７２の属性情報の感度以上異なる画素の数の合計である差分が、当該属性情報の閾値以上となった場合に、検知領域５７２の画像判定としてＮＧランプが点灯したと判定する。また、検知領域判定部３１４は、検知基準画像と、検知領域の画像との比較で、画素値が検知領域５７２の属性情報の感度以上異なる画素の数の合計である差分が、当該属性情報の閾値未満である限り、検知領域５７２の画像判定としてＮＧランプが点灯していないと判定する。
Similarly, the detection area determination unit 314 compares the detection reference image with the image in the detection area, and the difference in which the pixel value is the total number of pixels different from the sensitivity of the attribute information in the
そして、検知領域判定部３１４は、画像判定動作でＯＫランプまたはＮＧランプが点灯した場合の検知時刻の情報（時刻情報）を、画像判定システム５ａに関連付けて、記憶部３０２に記憶させる。また、検知領域判定部３１４は、画像判定動作でＯＫランプまたはＮＧランプが点灯した場合の検知時刻の情報（時刻情報）を、画像判定システム５ａに関連付けて、記憶部３０２のマーカファイルに書き込む。
Then, the detection area determination unit 314 stores the information (time information) of the detection time when the OK lamp or the NG lamp is turned on in the image determination operation in the
そして、外部出力部３３２は、検知領域判定部３１４により異常の判定がなされた場合（検知領域５７２のＮＧランプが点灯したことが検知された場合）、異常信号を外部機器１０に出力する。
Then, when the detection area determination unit 314 determines the abnormality (when it is detected that the NG lamp in the
以上のように、撮像装置２と代替する仮想カメラ５としての画像判定システム５ａがハブ４を介して情報処理装置３に接続されている場合、画像判定システム５ａの使用方法、設定方法等を特に認識していなくても、画像判定システム５ａ内で認識された画像判定の結果について、画像判定システム５ａが出力する動画に対する画像判定システム１側での画像判定を通して、画像判定システム１側で認識することが可能となる。
As described above, when the
（仮想カメラが画像判定システムである場合の多段構成について）
図１２は、実施形態に係る画像判定システムに対して、仮想カメラとしての画像判定システムが多段で接続される状態を説明する図である。図１２を参照しながら、本実施形態に係る画像判定システム１において、仮想カメラ５として別の画像判定システムが多段に接続されている場合の動作の詳細について説明する。
(About multi-stage configuration when the virtual camera is an image judgment system)
FIG. 12 is a diagram illustrating a state in which an image determination system as a virtual camera is connected in multiple stages to the image determination system according to the embodiment. With reference to FIG. 12, in the
図１０および図１１で上述したように、情報処理装置３に接続される仮想カメラ５として、画像判定システム１の構成に準じる形態を有する別の画像判定システムとした場合、さらに、当該別の画像判定システムに対してさらに別の画像判定システムを仮想カメラとして多段に接続することが可能である。例えば、図１２では、ウォッチャ画面４００を表示する画像判定システム１には、仮想カメラとして、ウォッチャ画面４００＿１を表示する画像判定システム、およびウォッチャ画面４００＿２を表示する画像判定システムが接続されている。さらに、ウォッチャ画面４００＿１を表示する画像判定システムには、さらに仮想カメラとして、ウォッチャ画面４００＿１＿１と表示する画像判定システムが接続されている。
As described above in FIGS. 10 and 11, when the
以上のように、画像判定システム１に接続される仮想カメラを、別の画像判定システムとした場合、当該別の画像判定システムに対する仮想カメラとして、さらに別の画像判定システムを接続することができる。これによって、多段に接続される画像判定システムの使用方法、設定方法等を認識していなくても、画像判定システムのウォッチャ画面のＯＫランプまたはＮＧランプを検知領域として上位の画像判定システムが画像判定を行っていくことによって、多段の構成のうちの最下位の画像判定システムでの画像判定結果を、最上位の画像判定システム１がキャプチャ動画に対する画像判定を通じて認識することができる。
As described above, when the virtual camera connected to the
（ビューワ画面における画像判定再現動作）
図１３は、実施形態に係る情報処理装置の表示装置に表示されるビューワ画面で録画された画像データが再生表示される状態の一例を示す図である。図１４は、実施形態に係る情報処理装置の表示装置に表示されるビューワ画面でマーカリスト画面が表示された状態の一例を示す図である。図１３および図１４を参照しながら、ビューワ画面７００の構成、および録画（記憶）された複数の画像データが表示される動作等について説明する。
(Image judgment reproduction operation on the viewer screen)
FIG. 13 is a diagram showing an example of a state in which the image data recorded on the viewer screen displayed on the display device of the information processing apparatus according to the embodiment is reproduced and displayed. FIG. 14 is a diagram showing an example of a state in which the marker list screen is displayed on the viewer screen displayed on the display device of the information processing device according to the embodiment. The configuration of the
ＣＰＵ１０１により実行されるプログラム（アプリケーション）により、図１３に示すビューワ画面７００が表示部３３３に表示される。ビューワ画面７００は、第２再生部３１８によって、複数の撮像装置２から受信した画像データおよび仮想カメラ５から出力された画像データであって、画像振分部３１２により記憶部３０２に記憶された過去の画像データが表示され、指定された各検知領域において画像判定の状態を再現する画面である。
The
ビューワ画面７００は、図２５に示すように、画像表示部７０１ａ〜７０１ｆと、再生ボタン７０３ａと、一時停止ボタン７０３ｂと、早送りボタン７０３ｃと、早戻しボタン７０３ｄと、停止ボタン７０３ｅと、シークバー７０４と、スライダー７０５と、時刻表示部７０６と、マーカリストボタン７０７と、を含む。
As shown in FIG. 25, the
画像表示部７０１ａ〜７０１ｆは、ユーザにより操作される入力部３０３からの操作信号に従って、第２再生部３１８によって、記憶部３０２に記憶された各撮像装置２および仮想カメラ５の過去の画像データがそれぞれ表示される表示領域である。また、ここでは、画像表示部７０１ａ〜７０１ｆは、同じ日付・時刻の画像データを表示するものとする。また、画像表示部７０１ａ〜７０１ｆは、ユーザによる入力部３０３の操作によって押下（例えば、マウス１０８のクリック操作等、以下同様）されると、選択状態にすることができる。なお、画像表示部７０１ａ〜７０１ｆを区別なく呼称する場合、または総称する場合、単に「画像表示部７０１」というものとする。
In the
再生ボタン７０３ａは、ユーザによる入力部３０３の操作によって押下されると、第２再生部３１８によって、画像表示部７０１に表示された画像データが再生開始されるボタンである。一時停止ボタン７０３ｂは、ユーザによる入力部３０３の操作によって押下されると、第２再生部３１８によって、画像表示部７０１に再生表示されている画像データおよび動作等の画像が一時停止されるボタンである。早送りボタン７０３ｃは、ユーザによる入力部３０３の操作によって押下されると、第２再生部３１８によって、画像表示部７０１に再生表示されている画像データが早送り表示されるボタンである。早戻しボタン７０３ｄは、ユーザによる入力部３０３の操作によって押下されると、第２再生部３１８によって、画像表示部７０１に再生表示されている画像データが早戻し表示されるボタンである。停止ボタン７０３ｅは、ユーザによる入力部３０３の操作によって押下されると、第２再生部３１８によって、画像表示部７０１に再生表示されている画像データが停止されるボタンである。
The
シークバー７０４は、その上に配置されるスライダー７０５の位置により、画像表示部７０１に再生表示されている画像データがどの時間のものなのかを示す棒状の形状体である。スライダー７０５は、画像表示部７０１に再生表示されている画像データの撮像時刻（表示されているフレームが撮像された時刻、または表示されている画像が取得された時刻）に対応したシークバー７０４上の位置にスライドする形状体かつ操作部である。逆に、スライダー７０５は、ユーザによる入力部３０３の操作によってスライドされると、第２再生部３１８によって、スライダー７０５が存在するシークバー７０４上の位置に対応した撮像時刻の画像データとしてのフレーム、および画像が画像表示部７０１に表示される。
The seek
時刻表示部７０６は、第２再生部３１８によって、画像表示部７０１に再生表示されている画像データの撮像日付（取得された日付の概念を含む）および撮像時刻を表示する表示部である。
The
マーカリストボタン７０７は、ユーザによる入力部３０３の操作によって押下されると、リスト制御部３２０により記憶部３０２に記憶されたまマーカファイルを読み出し、マーカファイルの内容を表示させる、図１４に示すマーカリスト画面８００が表示されるボタンである。
When the
ビューワ画面７００の画像表示部７０１で、第２再生部３１８により記憶部３０２に記憶された過去の画像データが表示されると、領域表示制御部３１９は、記憶部３０２に記憶された、画像判定動作（監視動作）が開始および終了された時刻の情報、各検知領域が指定された時刻の情報、および各検知領域で検知された時刻の情報を読み出す。領域表示制御部３１９は、図１３に示すように、これらの時刻情報に基づいて、各検知領域を示す枠を、画像表示部７０１に再生表示されている過去の画像データに重畳させて表示させる。例えば、領域表示制御部３１９は、時刻情報から、画像判定動作が開始された時刻よりも、各検知領域が指定された時刻が前であれば、画像判定動作の開始時刻から、指定された各検知領域を示す枠を表示させる。また、領域表示制御部３１９は、画像表示部７０１に再生表示されている画像データの時刻が、時刻情報における画像判定動作の終了時刻になった時点で、表示していた各検知領域を示す枠を消去する。
When the image display unit 701 of the
また、領域表示制御部３１９は、画像表示部７０１に再生表示されている画像データの時刻が、時刻情報における特定の検知領域の異常検知時刻になった時点で、その検知領域を示す枠を通常状態の色とは異なる色、かつ、通常状態の枠よりも太く表示させる。例えば、領域表示制御部３１９は、ウォッチャ画面４００において表示される各検知領域を示す枠と同様に、例えば、「赤色」かつ太く表示させる。
Further, the area
以上のように、領域表示制御部３１９により、記憶部３０２に記憶された、各時刻情報に基いて、各検知領域の枠の表示状態を制御することによって、ウォッチャ画面４００における画像判定動作（監視動作）の状態を、過去の画像データで再現することができる。これによって、ユーザは、リアルタイムの画像データおよび画像ではなく、過去の画像データおよび画像について、どのような画像判定動作が行われていたかを確認することができる。
As described above, the area
なお、画像表示部７０１ａ〜７０１ｆは、同じ日付・時刻の画像データを表示するものとしているが、これに限定されるものではなく、例えば、画像表示部７０１それぞれにシークバーおよび操作ボタン等を有するものとし、各画像表示部７０１で異なる日付・時刻の画像データを表示できるものとしてもよい。
The
また、図１４に示すように、リスト制御部３２０は、ユーザによる入力部３０３の操作によってマーカリストボタン７０７が押下されると、記憶部３０２に記憶されたマーカファイルを読み出し、マーカファイルの内容を示すマーカリスト画面８００を表示させる。図１４に示すように、マーカリスト画面８００は、検知履歴表示部８０２（リスト）を含む。
Further, as shown in FIG. 14, when the
検知履歴表示部８０２は、検知機能に基づく検知の日付・時刻のリストの表示領域である。具体的には、検知履歴表示部８０２には、検知領域の領域名、検知された日時・時刻、ならびに、対応する撮像装置２および仮想カメラ５を識別する名称が表示されている。
The detection
リスト制御部３２０は、ユーザによる入力部３０３の操作によって検知履歴表示部８０２のいずれかの検知領域を示すレコードが押下されると、第２再生部３１８に、そのレコードが示す日時・時刻の画像データを画像表示部７０１に表示させる。
When a record indicating any detection area of the detection
このように、図１４に示すマーカリスト画面８００を表示させることによって、各検知領域での検知の日付・時刻をリスト表示することによって、不具合の発生のタイミング、傾向または異常発生の原因等の特定を容易にすることができる。
In this way, by displaying the
なお、上述の図１２に示したように、仮想カメラ５として多段に別の画像判定システムが接続されている場合については、ウォッチャ画面４００の検知履歴表示部８０２のレコードを押下することにより、第２再生部３１８に、ウォッチャ画面４００＿１、４００＿２、４００＿１＿１で録画された画像データを再生表示させることもできる。
As shown in FIG. 12 above, when another image determination system is connected in multiple stages as the
以上のように、本実施形態に係る画像判定システム１では、撮像装置２のように直接撮影された画像データを出力する装置だけでなく、異常等の有無の判定対象とすることができる画像データを出力するデバイスを接続して、当該デバイスから取得した画像データに対して、撮像装置からの画像データに対する画像判定と同様に、画像判定を行うものとしている。これによって判定対象となる画像は撮像装置により撮影された画像データに限定せずに、撮像装置以外のデバイスからの画像についても判定対象とすることができる。
As described above, in the
また、撮像装置２と代替する仮想カメラ５としての画像判定システム５ａがハブ４を介して情報処理装置３に接続されている場合、画像判定システム５ａの使用方法、設定方法等を特に認識していなくても、画像判定システム５ａ内で認識された画像判定の結果について、画像判定システム５ａが出力する動画に対する画像判定システム１側での画像判定を通して、画像判定システム１側で認識することが可能となる。
Further, when the
また、画像判定システム１に接続される仮想カメラを、別の画像判定システムとした場合、当該別の画像判定システムに対する仮想カメラとして、さらに別の画像判定システムを接続することができる。これによって、多段に接続される画像判定システムの使用方法、設定方法等を認識していなくても、画像判定システムのウォッチャ画面のＯＫランプまたはＮＧランプ等を検知領域として上位の画像判定システムが画像判定を行っていくことによって、多段の構成のうちの最下位の画像判定システムでの画像判定結果を、最上位の画像判定システム１がキャプチャ動画に対する画像判定を通じて認識することができる。
Further, when the virtual camera connected to the
なお、上述の図１１に示すように、本実施形態に係る画像判定システム１では、画像判定システム５ａの情報処理装置の配信アプリが、ディスプレイに表示される画面全体（例えば画面全体で表示したウォッチャ画面９００）をキャプチャした動画を情報処理装置３へ送信しているものとしたが、これに限定されない。例えば、画像判定システム５ａの情報処理装置の配信アプリは、ディスプレイに表示される画面の一部の画像（例えば、ウォッチャ画面９００のＯＫランプおよびＮＧランプを含む一部の画像）、または、画面の一部の画像のレイアウトを変えて組み合わせた画像等を、情報処理装置３へ送信するものとしてもよい。
As shown in FIG. 11 described above, in the
また、図１０に示すように、仮想カメラ５として画像判定システム５ａを適用した場合、画像判定システム５ａの情報処理装置が、ディスプレイの画面をキャプチャして、そのキャプチャした画像を、画像判定システム１の情報処理装置３へ送信する場合、所定の遅延が生じる可能性がある。この場合、ウォッチャ画面４００で表示される画像判定システム５ａからの動画と、撮像装置２からの画像データとでは、表示している画像データおよび動画の時刻が異なることになる。この場合、上述の遅延は既知であるものとし、画像判定システム１の情報処理装置３は、ウォッチャ画面４００の各画像表示部４０１に表示させる画像データおよび動作について、当該遅延を考慮して表示タイミングをずらず処理を行うことによって、各画像表示部４０１で表示される画像データおよび動画の時刻を統一にすることができる。
Further, as shown in FIG. 10, when the
（変形例１）
本実施形態の変形例１に係る画像判定システムについて、本実施形態に係る画像判定システム１と相違する点を中心に説明する。本実施形態では、仮想カメラ５として画像判定システム１とは別の画像判定システムを、画像判定システム１の情報処理装置３に接続した構成および動作について説明した。本変形例では、仮想カメラとしてアナログカメラを含むシステムを、情報処理装置３へ接続した場合の構成および動作について説明する。なお、本変形例に係る情報処理装置３のハードウェア構成および機能ブロック構成は、上述の実施形態で説明した構成と同様である。
(Modification example 1)
The image determination system according to the first modification of the present embodiment will be described focusing on the differences from the
図１５は、変形例１に係る画像判定システムの全体構成の一例を示す図である。図１５を参照しながら、本変形例に係る画像判定システム１ｂの構成および動作について説明する。
FIG. 15 is a diagram showing an example of the overall configuration of the image determination system according to the first modification. The configuration and operation of the
図１５に示すように、画像判定システム１ｂは、図１に示す画像判定システム１が有する仮想カメラ５の代わりに、仮想カメラ５ｂを有する構成となっている。仮想カメラ５ｂは、アナログカメラを含むシステムであり、具体的には、アナログカメラ２１と、変換器２２と、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）２３（情報処理装置の一例）と、を含む。なお、図１５では、撮像装置２の図示を省略している。また、仮想カメラ５ｂは、本発明の「別のデバイス」に相当する。
As shown in FIG. 15, the
アナログカメラ２１は、被写体から光を電気信号に変換することによって被写体を撮像（撮影）し、アナログの画像信号を生成するアナログカメラである。
The
変換器２２は、アナログカメラ２１からＡＶケーブル２４を介して受信したアナログの画像信号を、デジタルの画像データに変換する装置である。変換器２２は、変換したデジタルの画像データを、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル２５を介してＰＣ２３へ送信する。なお、変換器２２は、ＵＳＢケーブル２５を介してＰＣ２３へ画像データを送信することに限定されるものではなく、例えば、ＨＤＭＩケーブル等によって送信するものとしてもよい。
The
ＰＣ２３は、アナログカメラ２１により撮影されたアナログ信号が変換器２２により変換されたデジタルの画像データに対して、所定の解析等を行う情報処理装置である。ＰＣ２３は、図１５に示すように、解析アプリ２３ａと、配信アプリ２３ｂとがインストールされている。
The
解析アプリ２３ａは、変換器２２から受信した画像データに対して所定の解析を行うためのアプリケーションである。なお、解析アプリ２３ａは、画像データを解析するのではなく、単に画像データを再生表示するアプリケーションであってもよい。
The
配信アプリ２３ｂは、ＰＣ２３のディスプレイに表示されている画面をキャプチャして、例えば、Ｍｏｔｉｏｎ ＪＰＥＧまたはＨ.２６４等の動画圧縮規格により動画に変換して、ハブ４を介して情報処理装置３へ送信（配信）するアプリケーションである。すなわち、ＰＣ２３のネットワークＩ／Ｆからは、解析アプリ２３ａにより所定の解析結果等（例えば画像データの再生の表示も含む）が表示されたディスプレイでの表示画面の動画（キャプチャ動画）（第２画像データの一例）が、情報処理装置３へ送信される。
The
以上のように、アナログカメラで撮影されたアナログ信号の画像データに対する所定の解析結果等（例えば画像データの再生の表示も含む）が表示された画面の動画を、情報処理装置３へ送信することが可能であるので、仮想カメラとして、図１５に示したようなアナログカメラを含むシステムを適用することができる。 As described above, it is possible to transmit to the information processing apparatus 3 a moving image of a screen displaying a predetermined analysis result or the like (including display of reproduction of the image data) for the image data of the analog signal taken by the analog camera. Since it is possible, a system including an analog camera as shown in FIG. 15 can be applied as a virtual camera.
（変形例２）
本実施形態の変形例２に係る画像判定システムについて、本実施形態に係る画像判定システム１と相違する点を中心に説明する。本実施形態では、仮想カメラ５として画像判定システム１とは別の画像判定システムを、画像判定システム１の情報処理装置３に接続した構成および動作について説明した。本変形例では、仮想カメラとして産業用デジタルカメラを含むシステムを、情報処理装置３へ接続した場合の構成および動作について説明する。なお、本変形例に係る情報処理装置３のハードウェア構成および機能ブロック構成は、上述の実施形態で説明した構成と同様である。
(Modification 2)
The image determination system according to the second modification of the present embodiment will be described focusing on the differences from the
図１６は、変形例２に係る画像判定システムの全体構成の一例を示す図である。図１６を参照しながら、本変形例に係る画像判定システム１ｃの構成および動作について説明する。
FIG. 16 is a diagram showing an example of the overall configuration of the image determination system according to the second modification. The configuration and operation of the
図１６に示すように、画像判定システム１ｃは、図１に示す画像判定システム１が有する仮想カメラ５の代わりに、仮想カメラ５ｃを有する構成となっている。仮想カメラ５ｃは、産業用デジタルカメラを含むシステムであり、具体的には、産業用デジタルカメラ３１ａ、３１ｂ（ビデオカメラの一例）と、変換器３２ａ、３２ｂと、ＰＣ３３（情報処理装置の一例）と、を含む。なお、図１６では、撮像装置２の図示を省略している。また、仮想カメラ５ｃは、本発明の「別のデバイス」に相当する。
As shown in FIG. 16, the
産業用デジタルカメラ３１ａ、３１ｂは、被写体から光を電気信号に変換することによって被写体を撮像（撮影）し、複数のフレーム（画像データ）で構成された動画（例えば、１０［ＦＰＳ］）である画像データを生成するデジタルカメラである。
The industrial
変換器３２ａ、３２ｂは、産業用デジタルカメラ３１ａ、３１ｂで撮影された画像データであって、ＨＤＭＩケーブル３４ａ、３４ｂによりＨＤＭＩ規格で送信されてきた画像データを、ＵＳＢ規格で通信可能な画像データに変換する装置である。変換器３２ａ、３２ｂは、変換したＵＳＢ規格で通信可能な画像データを、ＵＳＢケーブル３５ａ、３５ｂを介してＰＣ３３へ送信する。
The
ＰＣ３３は、産業用デジタルカメラ３１ａ、３１ｂにより撮影された画像データに対して、所定の解析等を行う情報処理装置である。ＰＣ３３は、図１６に示すように、解析アプリ３３ａと、配信アプリ３３ｂとがインストールされている。
The
解析アプリ３３ａは、変換器３２ａ、３２ｂから受信した画像データに対して所定の解析を行うためのアプリケーションである。
The analysis application 33a is an application for performing a predetermined analysis on the image data received from the
配信アプリ３３ｂは、ＰＣ３３のディスプレイに表示されている画面をキャプチャして、例えば、Ｍｏｔｉｏｎ ＪＰＥＧまたはＨ.２６４等の動画圧縮規格により動画に変換して、ハブ４を介して情報処理装置３へ送信（配信）するアプリケーションである。すなわち、ＰＣ３３のネットワークＩ／Ｆからは、解析アプリ３３ａにより所定の解析結果等（例えば画像データの再生の表示も含む）が表示されたディスプレイでの表示画面の動画（キャプチャ動画）（第２画像データの一例）が、情報処理装置３へ送信される。
The
以上のように、産業用ビデオカメラで撮影された画像データに対する所定の解析結果等（例えば画像データの再生の表示も含む）が表示された画面の動画を、情報処理装置３へ送信することが可能であるので、仮想カメラとして、図１６に示したような産業用ビデオカメラを含むシステムを適用することができる。 As described above, it is possible to transmit to the information processing apparatus 3 a moving image of a screen displaying a predetermined analysis result or the like (including display of reproduction of image data) for image data taken by an industrial video camera. Since it is possible, a system including an industrial video camera as shown in FIG. 16 can be applied as a virtual camera.
また、ＰＣ３３において、解析アプリ３３ａの機能が、受信された産業用デジタルカメラ３１ａ、３１ｂからの画像データが記憶装置等に保存させずに解析のみを行う機能である場合、産業用デジタルカメラ３１ａ、３１ｂを含むシステムを、情報処理装置３へ仮想カメラとして接続することによって、仮想カメラの動画等の画像データとして記憶部３０２に記憶することができる。そして、領域表示制御部３１９により、ウォッチャ画面４００における画像判定動作（監視動作）の状態を、記憶部３０２に記憶された過去の動画等の画像データで再現することができる。これによって、ユーザは、仮想カメラ５ｃで撮影された過去の画像データに基づいて解析アプリ３３ａによりどのような解析動作が行われていたかを確認することができる。
Further, in the
また、産業用デジタルカメラ３１ａ、３１ｂを含むシステム、特に解析アプリ３３ａの使用方法、設定方法等を特に認識していなくても、仮想カメラ５ｃ内で認識される解析等の結果について、仮想カメラ５ｃが出力する画像データに対する情報処理装置３での画像判定を通して、解析等の結果を認識することが可能となる。
Further, even if the system including the industrial
（変形例３）
本実施形態の変形例３に係る画像判定システムについて、本実施形態に係る画像判定システム１と相違する点を中心に説明する。本実施形態では、仮想カメラ５として画像判定システム１とは別の画像判定システムを、画像判定システム１の情報処理装置３に接続した構成および動作について説明した。本変形例では、仮想カメラとしてアプリケーションによる解析結果等を表示する情報処理装置を含むシステムを、情報処理装置３へ接続した場合の構成および動作について説明する。なお、本変形例に係る情報処理装置３のハードウェア構成および機能ブロック構成は、上述の実施形態で説明した構成と同様である。
(Modification 3)
The image determination system according to the third modification of the present embodiment will be described focusing on the differences from the
図１７は、変形例３に係る画像判定システムに接続される仮想カメラが出力する画像として音を可視化するソフトウェアの画像について説明する図である。図１７を参照しながら、アプリケーションによる解析結果等を表示する情報処理装置を含むシステムを仮想カメラとした場合の例について説明する。 FIG. 17 is a diagram illustrating an image of software that visualizes sound as an image output by a virtual camera connected to the image determination system according to the third modification. An example will be described in the case where a system including an information processing device for displaying analysis results by an application is used as a virtual camera with reference to FIG.
本変形例に係る仮想カメラには、例えば、図１７に示すような、振動または音声等の波形データに対してウェーブレット変換を行い、当該波形データを色で表現する解析アプリがインストールされた情報処理装置が含まれるものとする。そして、当該情報処理装置にインストールされた配信アプリにより、図１７に示すようなウェーブレット変換された波形データを色で表現する解析アプリのアプリケーション画面をキャプチャした動画（第２画像データの一例）として、ハブ４を介して情報処理装置３へ送信される。これによって、情報処理装置３の表示部３３３に表示されるウォッチャ画面４００には、図１７に示すような解析アプリのアプリケーション画面が表示されることになり、当該アプリケーション画面の波形表示に対して、検知領域指定部３０９により、図１７に示すような検知領域５７３を指定することができる。例えば、検知領域５７３の設定内容（設定画面５００での設定に準じた内容）で、図１７（ａ）に示すように、良品の波形データは赤色の分布が少なく、図１７（ｂ）に示すように、不良品の波形データは赤色の分布が多いことから、赤色の分布が少ない画像を検知基準画像となるように設定する。これによって、ウォッチャ画面４００における画像判定動作において、検知領域５７３の画像と、上述の検知基準画像との比較により、不良品の波形データであることを検知することが可能となる。
Information processing in which the virtual camera according to this modification is equipped with an analysis application that performs wavelet transform on waveform data such as vibration or voice as shown in FIG. 17 and expresses the waveform data in color. The device shall be included. Then, as a moving image (an example of the second image data) that captures the application screen of the analysis application that expresses the wavelet-transformed waveform data in color by the distribution application installed in the information processing device, as shown in FIG. It is transmitted to the
すなわち、アプリケーションによる解析結果等を表示する情報処理装置を含むシステムの使用方法、設定方法等を特に認識していなくても、解析のアプリケーション側で認識される解析結果について、仮想カメラが出力する画像データに対する情報処理装置３での画像判定を通して、当該解析結果を認識することが可能となる。また、図１７に示すアプリケーションによる解析結果（すなわち仮想カメラ単体内での解析結果）を、情報処理装置３側の画像判定によって、当該解析結果を連携して認識することができる。
That is, an image output by the virtual camera about the analysis result recognized by the analysis application side even if the usage method, setting method, etc. of the system including the information processing device that displays the analysis result by the application is not particularly recognized. The analysis result can be recognized through the image determination by the
（変形例４）
本実施形態の変形例４に係る画像判定システムについて、本実施形態に係る画像判定システム１と相違する点を中心に説明する。本実施形態では、仮想カメラ５として画像判定システム１とは別の画像判定システムを、画像判定システム１の情報処理装置３に接続した構成および動作について説明した。本変形例では、仮想カメラとして無線通信によりキャプチャ動画を送信するスマートフォンを、情報処理装置３へ無線接続した場合の構成および動作について説明する。なお、本変形例に係る情報処理装置３のハードウェア構成および機能ブロック構成は、上述の実施形態で説明した構成と同様である。
(Modification example 4)
The image determination system according to the modified example 4 of the present embodiment will be described focusing on the differences from the
図１８は、変形例４に係る画像判定システムの全体構成の一例を示す図である。図１８を参照しながら、本変形例に係る画像判定システム１ｄの構成および動作について説明する。
FIG. 18 is a diagram showing an example of the overall configuration of the image determination system according to the modified example 4. The configuration and operation of the
図１８に示すように、画像判定システム１ｄは、図１に示す画像判定システム１が有する仮想カメラ５の代わりに、仮想カメラ５ｄとしてのスマートフォン４１（無線通信端末の一例）を有する構成となっている。仮想カメラ５ｄは、本発明の「別のデバイス」に相当する。
As shown in FIG. 18, the
スマートフォン４１は、表示画面をキャプチャして、例えば、Ｍｏｔｉｏｎ ＪＰＥＧまたはＨ.２６４等の動画圧縮規格により動画に変換して外部に配信する配信アプリがインストールされている。当該配信アプリは、スマートフォン４１が有する無線Ｉ／ＦによってＷｉ−Ｆｉ等の通信規格により、キャプチャした動画（第２画像データの一例）を情報処理装置３へ送信する。なお、仮想カメラ５ｄとして情報処理装置３へ無線接続する情報処理装置としては、スマートフォン４１に限定されるものではなく、例えば、タブレット端末、または無線通信が可能なＰＣ等（無線通信端末の一例）であってもよい。
The
以上のように、スマートフォン４１に表示される画面をキャプチャした動画を、情報処理装置３へ送信することが可能であるので、仮想カメラとして、図１７に示したようなスマートフォン４１等の無線通信端末を適用することができる。
As described above, since it is possible to transmit the moving image of the screen displayed on the
また、スマートフォン４１で起動および表示されているアプリ画面、またはスマートフォン４１の内蔵カメラで撮像した写真の画面等に対して、情報処理装置３側の画像判定によって、当該画面に対する異常等の検知を行うことが可能となる。
Further, with respect to the application screen activated and displayed on the
（変形例５）
本実施形態の変形例５に係る画像判定システムについて、本実施形態に係る画像判定システム１と相違する点を中心に説明する。本実施形態では、仮想カメラ５として画像判定システム１とは別の画像判定システムを、画像判定システム１の情報処理装置３に接続した構成および動作について説明した。本変形例では、仮想カメラとしてソフトウェアで処理された結果を表示する情報処理装置（ＰＣ等）を、情報処理装置３へ接続した場合の構成および動作について説明する。なお、本変形例に係る情報処理装置３のハードウェア構成および機能ブロック構成は、上述の実施形態で説明した構成と同様である。
(Modification 5)
The image determination system according to the modified example 5 of the present embodiment will be described focusing on the differences from the
図１９は、変形例５に係る画像判定システムに接続される仮想カメラが出力する画像としてデータからグラフをプロットするソフトウェアの画像について説明する図である。図１９を参照しながら、ソフトウェアで処理された結果を表示する情報処理装置（ＰＣ等）を仮想カメラとした場合の例について説明する。 FIG. 19 is a diagram illustrating an image of software that plots a graph from data as an image output by a virtual camera connected to the image determination system according to the fifth modification. An example in which a virtual camera is used as an information processing device (PC or the like) for displaying the result processed by software will be described with reference to FIG.
本変形例に係る仮想カメラは、例えば、図１９（ａ）および図１９（ｂ）に示すように、他のアプリケーションが生成したＣＳＶ（Ｃｏｍｍａ−Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅｓ）データを入力してグラフを自動作成し、かつ、更新されているＣＳＶファイルのデータを適宜、グラフにも更新して反映するソフトウェアを実行している情報処理装置であるものとする。また、当該ソフトウェアでは、例えば、更新されていくグラフの値が所定の閾値を超えた場合のグラフ（例えば図１９（ｂ）に示すグラフ）の色を変える（例えば、赤色に変える）ような機能を有するものとする。そして、当該情報処理装置にインストールされた配信アプリにより、図１９に示すような自動作成かつ更新されるグラフが表示されたソフトウェアの画面をキャプチャした動画（第２画像データの一例）として、ハブ４を介して情報処理装置３へ送信される。これによって、情報処理装置３の表示部３３３に表示されるウォッチャ画面４００には、図１９に示すようなグラフが表示された画面が表示されることになり、当該グラフを含む領域を、検知領域指定部３０９により検知領域として指定することができる。この場合、検知領域の設定内容（設定画面５００での設定に準じた内容）で、赤色がない画像を検知基準画像となるように設定する。これによって、ウォッチャ画面４００における画像判定動作において、検知領域の画像と、上述の検知基準画像との比較により、グラフの値が閾値を超えたことを検知することが可能となる。
The virtual camera according to this modification automatically creates a graph by inputting CSV (Comma-Separated Values) data generated by another application, for example, as shown in FIGS. 19 (a) and 19 (b). In addition, it is assumed that the information processing device is executing software that updates and reflects the updated CSV file data in the graph as appropriate. Further, in the software, for example, a function of changing the color (for example, changing to red) of the graph (for example, the graph shown in FIG. 19B) when the value of the graph to be updated exceeds a predetermined threshold value. Shall have. Then, as a moving image (an example of the second image data) of the software screen on which the graph automatically created and updated as shown in FIG. 19 is displayed by the distribution application installed in the information processing device, the
以上のように、ソフトウェアで処理された結果を表示する情報処理装置（ＰＣ等）の当該結果を表示する画面の動画を情報処理装置３へ送信することが可能であるので、仮想カメラとして、ソフトウェアで処理された結果を表示する情報処理装置（ＰＣ等）を適用することができる。
As described above, since it is possible to transmit the moving image of the screen displaying the result of the information processing device (PC or the like) that displays the result processed by the software to the
また、ソフトウェアで処理された結果を表示する情報処理装置（ＰＣ等）の使用方法、設定方法等を特に認識していなくても、当該ソフトウェアで作成されたグラフの結果について仮想カメラが出力する動画に対する情報処理装置３での画像判定を通して、当該結果を認識することが可能となる。
In addition, even if the user does not particularly recognize the usage method, setting method, etc. of the information processing device (PC, etc.) that displays the result processed by the software, the video output by the virtual camera about the result of the graph created by the software. The result can be recognized through the image determination by the
（変形例６）
本実施形態の変形例６に係る画像判定システムについて、本実施形態に係る画像判定システム１と相違する点を中心に説明する。本実施形態では、仮想カメラ５として画像判定システム１とは別の画像判定システムを、画像判定システム１の情報処理装置３に接続した構成および動作について説明した。本変形例では、仮想カメラとして、撮像装置で撮像された画像データに対して画像処理を施す情報処理装置を含むシステムを、情報処理装置３へ無線接続した場合の構成および動作について説明する。なお、本変形例に係る情報処理装置３のハードウェア構成および機能ブロック構成は、上述の実施形態で説明した構成と同様である。
(Modification 6)
The image determination system according to the modification 6 of the present embodiment will be described focusing on the differences from the
図２０は、変形例６に係る画像判定システムの全体構成の一例を示す図である。図２０を参照しながら、本変形例に係る画像判定システム１ｅの構成および動作について説明する。
FIG. 20 is a diagram showing an example of the overall configuration of the image determination system according to the modified example 6. The configuration and operation of the
図２０（ａ）および図２０（ｂ）に示すように、撮像装置５１で撮像した被写体６１の画像は、周囲の環境（天気、時刻、季節等）によって明るくなったり暗くなったりする。例えば、図２０（ａ）に示す例のように、晴れの状態で撮像装置５１により被写体６１が撮像された場合、明るい画像が得られるのに対し、図２０（ｂ）に示す例のように、雨天の状態で撮像装置５１により被写体６１が撮像された場合、暗い画像が得られることになる。このような場合に、撮像装置５１で撮影された画像データをそのまま情報処理装置３へ送信し、設定画面５００で指定した検知領域で定まる検知基準画像を１つ固定すると、当該画像データが撮影された環境とは異なる環境で撮影された画像データに対して画像判定された場合、誤った判定結果が出得る。
As shown in FIGS. 20A and 20B, the image of the subject 61 captured by the
そこで、特定の環境（例えば図２０（ａ）に示す晴れの環境）で撮像装置５１により撮像された被写体６１の画像（第１撮像画像）のある部分（部分画像）を、環境調整用の基準部分６２（基準画像）として登録する。そして、基準部分６２の登録後、撮像装置５１により撮像された被写体６１の画像から、基準部分６２に対応する画像の明るさおよび彩度等の変化を計算し、当該画像が基準部分６２の明るさおよび彩度等（すなわち色）になるような変換式を求め、当該画像全体に対して当該変換式を適用することによって、環境の変化を低減した画像を得ることができる。
Therefore, a part (partial image) of the image (first captured image) of the subject 61 captured by the
図２０（ｃ）に示すように、本変形例に係る画像判定システム１ｅは、図１に示す画像判定システム１が有する仮想カメラ５の代わりに、仮想カメラ５ｅを有する構成となっている。仮想カメラ５ｅは、撮像装置で撮像された画像データに対して画像処理を施す情報処理装置を含むシステムであり、具体的には、撮像装置５１と、ＰＣ５３（情報処理装置の一例）と、を含む。なお、図２０（ｃ）では、撮像装置２の図示を省略している。また、仮想カメラ５ｅは、本発明の「別のデバイス」に相当する。
As shown in FIG. 20 (c), the
撮像装置５１は、被写体から光を電気信号に変換することによって被写体を撮像（撮影）し、複数のフレーム（画像データ）で構成された動画（例えば、１０［ＦＰＳ］）である画像データを生成するデジタルカメラである。
The
ＰＣ５３は、上述のように基準部分６２を登録し、撮像装置５１により撮像された被写体６１の画像（第２撮像画像）から、基準部分６２に対応する画像の明るさおよび彩度等の変化を計算し、変換式を求め、当該画像全体に対して当該変換式を適用する画像処理を施す情報処理装置である。ＰＣ５３は、図２０に示すように、画像処理アプリ５３ａと、配信アプリ５３ｂとがインストールされている。
The
画像処理アプリ５３ａは、上述の画像処理を施すアプリケーションである。
The
配信アプリ５３ｂは、ＰＣ５３のディスプレイに表示されている画面をキャプチャして、例えば、Ｍｏｔｉｏｎ ＪＰＥＧまたはＨ.２６４等の動画圧縮規格により動画に変換して、ハブ４を介して情報処理装置３へ送信（配信）するアプリケーションである。すなわち、ＰＣ５３のネットワークＩ／Ｆからは、画像処理アプリ５３ａにより画像処理が行われた画像データが表示されたディスプレイの表示画面の動画（キャプチャ動画）（第２画像データの一例）が、情報処理装置３へ送信される。
The
以上のように、撮像装置５１で撮像された画像データに対して環境の変化の影響を低減する画像処理を施したものが表示された画面の動画を、情報処理装置３へ送信することが可能であるので、仮想カメラとして、図２０（ｃ）に示したような撮像装置５１で撮像された画像データに対して画像処理を施す情報処理装置（ＰＣ５３）を含むシステムを適用することができる。これによって、環境の変化を低減した画像データについて情報処理装置３側で画像判定を行うことができるので、誤った判定の発生を抑制することができる。
As described above, it is possible to transmit the moving image of the screen on which the image data captured by the
なお、情報処理装置３へ接続する仮想カメラとしては、上述の実施形態および各変形例で示した仮想カメラに限定されるものではなく、例えば、人体検知および熱源を監視して火災予防するためにサーモグラフィ画像を撮像するシステム、手作業分析を行うために深度センサ画像を撮像するシステム、Ｗｉ−Ｆｉ経由で画像を取得するラズベリーパイを含むシステム、放射線センサの検知情報を可視化して警報するシステム、作業分析を行うために人の骨格情報を検知するシステム、作業分析をするために人の動線情報を検知するシステム、ＰＣ操作をするために人の手によるジェスチャ情報を検知するシステム、人の目線画像を取得するウェアラブルカメラを含むシステム、静電気センサで工程内の静電気発生を可視化して警報するシステム、業務内容の検知および時間分析をするためにＰＣスクリーン画面を取り込むシステム、ならびに、３６０度画像を複数取り込む死角のない監視カメラを含むシステム等を、仮想カメラとして適用することもできる。
The virtual camera connected to the
また、上述の実施形態および各変形例のように、ウォッチャ画面４００ではリアルタイムの画像データの表示、および、ビューワ画面７００では過去の画像データの表示というように画面を分けて表示するものとしているが、これに限定されるものではない。すなわち、ウォッチャ画面４００およびビューワ画面７００の機能を共通の画面で実現させるものとしてもよい。
Further, as in the above-described embodiment and each modification, the
また、各表示領域（画像表示部４０１、７０１）において、各検知領域を示す表示要素として枠を用いるものとしているが、これに限定されるものではなく、各検知領域を示すことができる表示要素であればどのように表示してもよい。 Further, in each display area (image display units 401 and 701), a frame is used as a display element indicating each detection area, but the present invention is not limited to this, and a display element capable of indicating each detection area is used. If so, it may be displayed in any way.
また、上述の実施形態および各変形例の各機能は、一または複数の処理回路によって実現することが可能である。ここで、「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上述した各機能を実行するよう設計されたＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ ｃｈｉｐ)、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や従来の回路モジュール等のデバイスを含むものとする。 Further, each function of the above-described embodiment and each modification can be realized by one or a plurality of processing circuits. Here, the "processing circuit" is a processor programmed to execute each function by software such as a processor implemented by an electronic circuit, or an ASIC (Application Specific Integrated) designed to execute each function described above. Devices including devices such as Circuits, DSPs (Digital Signal Processors), FPGAs (Field-Programmable Gate Arrays), SoCs (System on a chip), GPUs (Graphics Processing Units), and conventional circuit modules.
また、上述の実施形態および各変形例の情報処理装置３で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータ・プログラム・プロダクトとして提供するように構成してもよい。
Further, the program executed by the
また、上述の実施形態および各変形例の情報処理装置３で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態および各変形例の情報処理装置３で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
Further, the program executed by the
また、上述の実施形態および各変形例の情報処理装置３で実行されるプログラムは、上述した各機能部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上述のＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。
Further, the program executed by the
１、１ｂ〜１ｅ 画像判定システム
２、２ｂ〜２ｆ 撮像装置
３ 情報処理装置
４ ハブ
５ 仮想カメラ
５ａ 画像判定システム
５ｂ〜５ｅ 仮想カメラ
１０ 外部機器
２１ アナログカメラ
２２ 変換器
２３ ＰＣ
２３ａ 解析アプリ
２３ｂ 配信アプリ
２４ ＡＶケーブル
２５ ＵＳＢケーブル
３１ａ、３１ｂ 産業用デジタルカメラ
３２ａ、３２ｂ 変換器
３３ ＰＣ
３３ａ 解析アプリ
３３ｂ 配信アプリ
３４ａ、３４ｂ ＨＤＭＩケーブル
３５ａ、３５ｂ ＵＳＢケーブル
４１ スマートフォン
５１ 撮像装置
５３ ＰＣ
５３ａ 画像処理アプリ
５３ｂ 配信アプリ
６１ 被写体
６２ 基準部分
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 補助記憶装置
１０５ ディスプレイ
１０６ ネットワークＩ／Ｆ
１０７ キーボード
１０８ マウス
１０９ ＤＶＤドライブ
１１０ ＤＶＤ
１１１ 外部機器Ｉ／Ｆ
１１２ スピーカ
１１３ バス
３０１ 画像受信部
３０２ 記憶部
３０３ 入力部
３０４ 第１再生部
３０８ 設定部
３０９ 検知領域設定部
３１２ 画像振分部
３１４ 検知領域判定部
３１６ 第１制御部
３１８ 第２再生部
３１９ 領域表示制御部
３２０ リスト制御部
３２１ 第２制御部
３３１ 表示制御部
３３２ 外部出力部
３３３ 表示部
４００、４００＿１、４００＿１＿１、４００＿２ ウォッチャ画面
４０１、４０１ａ〜４０１ｆ 画像表示部
４１１ 監視開始ボタン
４１２ 監視停止ボタン
４１３ 監視設定ボタン
４１４ ＯＫランプ
４１５ ＮＧランプ
４２１、４２１ａ〜４２１ｆ 状態表示部
５００ 設定画面
５０１ カメラ選択タブ
５０２ 設定用画像表示部
５０３ａ 再生ボタン
５０３ｂ 一時停止ボタン
５０３ｃ 早送りボタン
５０３ｄ 早戻しボタン
５０３ｅ 停止ボタン
５０４ シークバー
５０５ スライダー
５０６ 時刻表示部
５１１ 設定読出ボタン
５１２ 設定書込ボタン
５１３ 設定反映ボタン
５１４ 閉じるボタン
５６１ 検知領域情報部
５６２ 検知領域ボタン群
５６２ａ アクションボタン
５６２ｃ 削除ボタン
５６２ｅ 感度増加ボタン
５６２ｆ 感度減少ボタン
５６２ｇ 閾値増加ボタン
５６２ｈ 閾値減少ボタン
５７０〜５７３ 検知領域
７００ ビューワ画面
７０１、７０１ａ〜７０１ｆ 画像表示部
７０３ａ 再生ボタン
７０３ｂ 一時停止ボタン
７０３ｃ 早送りボタン
７０３ｄ 早戻しボタン
７０３ｅ 停止ボタン
７０４ シークバー
７０５ スライダー
７０６ 時刻表示部
７０７ マーカリストボタン
８００ マーカリスト画面
８０２ 検知履歴表示部
９００ ウォッチャ画面
1, 1b to 1e
53a
102 ROM
103 RAM
104
111 External device I / F
112
Claims (12)
撮像装置から出力された第１画像データ、および、前記画像判定の対象となる画像データを出力する該撮像装置とは別のデバイスから出力された第２画像データのうち少なくとも該第２画像データを受信する受信部と、
前記受信部により受信された少なくとも前記第２画像データを表示装置に再生表示させる第１再生部と、
前記第１画像データまたは前記第２画像データが再生表示される前記表示装置の第１表示領域において、前記画像判定の対象となる検知領域を指定する指定部と、
前記第１画像データおよび前記第２画像データのうち少なくとも一方が表示される前記表示装置の第２表示領域における前記検知領域内の前記第１画像データまたは前記第２画像データに対して前記画像判定を行う判定部と、
を備えた画像判定装置。 An image judgment device capable of image judgment on image data.
Of the first image data output from the image pickup device and the second image data output from a device different from the image pickup device that outputs the image data to be image-determined, at least the second image data is used. The receiver to receive and
A first reproduction unit that reproduces and displays at least the second image data received by the reception unit on a display device.
In the first display area of the display device on which the first image data or the second image data is reproduced and displayed, a designation unit for designating a detection area to be image-determined, and a designated unit.
The image determination is made with respect to the first image data or the second image data in the detection area in the second display area of the display device in which at least one of the first image data and the second image data is displayed. Judgment unit to perform
An image judgment device equipped with.
前記リストの中から、入力装置に対する操作により選択された結果が得られた日時に対応する前記第１画像データ、または前記別のデバイスにより出力された前記第２画像データを、前記表示装置に再生表示させる第２再生部を、さらに備えた請求項１に記載の画像判定装置。 The determination unit generates the result of the image determination as a list, and generates the result.
From the list, the first image data corresponding to the date and time when the result selected by the operation on the input device is obtained, or the second image data output by the other device is reproduced on the display device. The image determination device according to claim 1, further comprising a second reproduction unit to be displayed.
前記受信部は、前記別の画像判定装置からの画像データを前記第２画像データとして受信する請求項１〜３のいずれか一項に記載の画像判定装置。 The other device is a system including another image determination device that receives image data from one or more image pickup devices, like the image determination device.
The image determination device according to any one of claims 1 to 3, wherein the receiving unit receives image data from the other image determination device as the second image data.
前記受信部は、前記情報処理装置から前記第２画像データを受信する請求項１〜３のいずれか一項に記載の画像判定装置。 The other device is a system including an information processing device that converts an image signal taken by an analog camera into digital image data by a converter and outputs at least the image data including the image data as the second image data. Yes,
The image determination device according to any one of claims 1 to 3, wherein the receiving unit receives the second image data from the information processing device.
前記受信部は、前記情報処理装置から、該情報処理装置の表示装置に表示された前記解析処理の結果を含む画像を前記第２画像データとして受信する請求項１〜３のいずれか一項に記載の画像判定装置。 The other device is a system including an information processing device that performs a predetermined analysis process on image data captured by a video camera.
According to any one of claims 1 to 3, the receiving unit receives an image including the result of the analysis process displayed on the display device of the information processing device from the information processing device as the second image data. The image determination device described.
前記受信部は、前記情報処理装置から、該情報処理装置の表示装置に表示された前記解析処理の結果を含む画像を前記第２画像データとして受信する請求項１〜３のいずれか一項に記載の画像判定装置。 The other device is an information processing device in which a predetermined analysis process is performed by an application.
According to any one of claims 1 to 3, the receiving unit receives an image including the result of the analysis process displayed on the display device of the information processing device from the information processing device as the second image data. The image determination device described.
前記受信部は、前記無線通信端末から前記少なくとも一部の画像を前記第２画像データとして無線通信により受信する請求項１〜３のいずれか一項に記載の画像判定装置。 The other device is a wireless communication terminal that transmits at least a part of the image displayed on the display device to the image determination device by wireless communication.
The image determination device according to any one of claims 1 to 3, wherein the receiving unit receives at least a part of the image from the wireless communication terminal as the second image data by wireless communication.
前記受信部は、前記情報処理装置から、該情報処理装置の前記表示装置に表示された前記グラフを含む画像を前記第２画像データとして受信する請求項１〜３のいずれか一項に記載の画像判定装置。 The other device is an information processing device that generates and updates a graph from data generated by an application and displays it on a display device.
The item according to any one of claims 1 to 3, wherein the receiving unit receives an image including the graph displayed on the display device of the information processing device from the information processing device as the second image data. Image judgment device.
前記受信部は、前記情報処理装置から、該情報処理装置から出力された、前記変換式を適用した画像を前記第２画像データとして受信する請求項１〜３のいずれか一項に記載の画像判定装置。 The other device uses a partial image of the first captured image captured by the imaging device in the past as a reference image, and refers to an image at a position corresponding to the partial image of the second captured image captured by the imaging device. It is a system including an information processing apparatus that obtains a conversion formula that makes the color the same as the reference image and outputs an image to which the conversion formula is applied to the second captured image.
The image according to any one of claims 1 to 3, wherein the receiving unit receives an image to which the conversion formula is applied, which is output from the information processing device, as the second image data. Judgment device.
前記第１画像データおよび前記第２画像データのうち少なくとも一方に対して画像判定を行う画像判定装置と、
を有し、
前記画像判定装置は、
前記第１画像データおよび前記第２画像データのうち少なくとも該第２画像データを受信する受信部と、
前記受信部により受信された少なくとも前記第２画像データを表示装置に再生表示させる再生部と、
前記第１画像データまたは前記第２画像データが再生表示される前記表示装置の第１表示領域において、前記画像判定の対象となる検知領域を指定する指定部と、
前記第１画像データおよび前記第２画像データのうち少なくとも一方が表示される前記表示装置の第２表示領域における前記検知領域内の前記第１画像データまたは前記第２画像データに対して前記画像判定を行う判定部と、
を備えた画像判定システム。 One or more image pickup devices that output the first image data, and at least the other device among other devices different from the image pickup device that output the second image data to be image-determined.
An image determination device that performs image determination on at least one of the first image data and the second image data,
Have,
The image determination device is
A receiving unit that receives at least the second image data of the first image data and the second image data, and
A reproduction unit that reproduces and displays at least the second image data received by the reception unit on a display device.
In the first display area of the display device on which the first image data or the second image data is reproduced and displayed, a designation unit for designating a detection area to be image-determined, and a designated unit.
The image determination is made with respect to the first image data or the second image data in the detection area in the second display area of the display device in which at least one of the first image data and the second image data is displayed. Judgment unit to perform
Image judgment system equipped with.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/929,162 US11223802B2 (en) | 2019-07-31 | 2020-07-15 | Image-based determination apparatus and image-based determination system |
| EP20187931.9A EP3772219A3 (en) | 2019-07-31 | 2020-07-27 | Image-based determination apparatus and image-based determination system |
| EP24163826.1A EP4362457A2 (en) | 2019-07-31 | 2020-07-27 | Image-based determination apparatus and image-based determination system |
| EP23207938.4A EP4294003A3 (en) | 2019-07-31 | 2020-07-27 | Image-based determination apparatus and image-based determination system |
| CN202010751845.XA CN112307882A (en) | 2019-07-31 | 2020-07-30 | Image determination device and image determination system |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019141802 | 2019-07-31 | ||
| JP2019141802 | 2019-07-31 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021027579A true JP2021027579A (en) | 2021-02-22 |
Family
ID=74664896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020105414A Pending JP2021027579A (en) | 2019-07-31 | 2020-06-18 | Image determination device and image determination system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021027579A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7115812B1 (en) | 2021-06-28 | 2022-08-09 | 株式会社オプティム | program, method, information processing device, system |
| WO2023053519A1 (en) * | 2021-09-28 | 2023-04-06 | オムロン株式会社 | Setting device, setting method, and setting program |
-
2020
- 2020-06-18 JP JP2020105414A patent/JP2021027579A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7115812B1 (en) | 2021-06-28 | 2022-08-09 | 株式会社オプティム | program, method, information processing device, system |
| WO2023276676A1 (en) * | 2021-06-28 | 2023-01-05 | 株式会社オプティム | Program, method, information processing device, and system |
| JP2023005151A (en) * | 2021-06-28 | 2023-01-18 | 株式会社オプティム | Program, method, information processing device and system |
| WO2023053519A1 (en) * | 2021-09-28 | 2023-04-06 | オムロン株式会社 | Setting device, setting method, and setting program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6816802B2 (en) | Image processing equipment, image processing systems, image processing methods and programs | |
| JP4241709B2 (en) | Image processing device | |
| JP6733785B2 (en) | Image processing apparatus, image processing system, image processing method, and program | |
| CN100496097C (en) | Image display control apparatus, method of controlling the same, and control program therefor | |
| JP6756338B2 (en) | Image processing equipment, image processing systems, image processing methods and programs | |
| JP2021027579A (en) | Image determination device and image determination system | |
| JPWO2011093367A1 (en) | Information adding device, electronic camera, and information adding program | |
| US20160372157A1 (en) | Display control apparatus, display control method, and storage medium | |
| US7940958B2 (en) | Information processing system and method for controlling the same | |
| JP6822093B2 (en) | Image processing equipment, image processing system, image processing method, and image processing program | |
| US11223802B2 (en) | Image-based determination apparatus and image-based determination system | |
| US8824872B2 (en) | Display control apparatus, reproduction system, and recording medium in which display control is performed based on a detected event | |
| US11094084B2 (en) | Image processing method | |
| JP5152317B2 (en) | Presentation control apparatus and program | |
| JP4454704B2 (en) | Image processing device | |
| JP2016119648A (en) | Parameter recording control device and method for controlling the same | |
| US10165223B2 (en) | Pre-selectable video file playback system and method, and computer program product | |
| CN105391971A (en) | Image processing device, image processing system and image processing method | |
| JP2016039496A (en) | Image processing apparatus, image processing system, image processing method and program | |
| US10764551B2 (en) | Method for configuring image-recording settings | |
| JP6252921B1 (en) | Surveillance camera system and playback method | |
| JP2004207842A (en) | Image processor and program | |
| US20090136198A1 (en) | Video reproducing/recording and playing system and method for setting and playing video section | |
| JP2022000970A (en) | Image processing apparatus, image processing system, image processing method and program | |
| US11188743B2 (en) | Image processing apparatus and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230412 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240521 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240619 |