JP2020065248A - Image processing apparatus, image processing system, image processing method and program - Google Patents

Image processing apparatus, image processing system, image processing method and program Download PDF

Info

Publication number
JP2020065248A
JP2020065248A JP2019161379A JP2019161379A JP2020065248A JP 2020065248 A JP2020065248 A JP 2020065248A JP 2019161379 A JP2019161379 A JP 2019161379A JP 2019161379 A JP2019161379 A JP 2019161379A JP 2020065248 A JP2020065248 A JP 2020065248A
Authority
JP
Japan
Prior art keywords
unit
frame
display
image processing
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019161379A
Other languages
Japanese (ja)
Inventor
慶二 大村
Keiji Omura
慶二 大村
長谷川　健
Takeshi Hasegawa
健 長谷川
大塚　愛子
Aiko Otsuka
愛子 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019161379A priority Critical patent/JP2020065248A/en
Publication of JP2020065248A publication Critical patent/JP2020065248A/en
Priority to JP2021153929A priority patent/JP2022000970A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

To provide an image processing apparatus capable of displaying a desired video quickly, and to provide an image processing system, image processing method and program.SOLUTION: A difference computing unit 308 receives a frame acquired by a frame acquisition unit 307, and computes the difference of pixel values in the area of analysis of an object frame, and the area of analysis of a comparison object frame, as the feature amount of a frame. A graph generation unit 309 generates a difference graph, i.e., a graph of difference value, from the information of difference computed by the difference computing unit 308, for each frame acquired by the frame acquisition unit 307, and displays the graph at a graph display part.SELECTED DRAWING: Figure 3

Description

本発明は、画像処理装置、画像処理システム、画像処理方法およびプログラムに関する。   The present invention relates to an image processing device, an image processing system, an image processing method and a program.

近年、ビデオカメラ等の撮像装置により録画して得られた映像データを分析して、目的物の検出、または、映像上の物体の動きもしくは異常の検出または分析等を行う画像処理システムの発展が著しい。このような画像処理システムとして、過去の映像データにおいて、表示される映像を複数のブロックに分割し、映像データを構成するフレーム同士について、対応するブロックの画素についての差分を演算し、差分が所定の閾値を超えた場合に動きがあったものとして検出信号を生成するシステムが提案されている（特許文献１参照）。   In recent years, the development of image processing systems that analyze video data obtained by recording with an imaging device such as a video camera to detect a target object or to detect or analyze movement or abnormality of an object on the video has been developed. Remarkable. As such an image processing system, in the past video data, the video to be displayed is divided into a plurality of blocks, and for the frames forming the video data, the difference between the pixels of the corresponding blocks is calculated, and the difference is predetermined. There has been proposed a system that generates a detection signal assuming that there is motion when the threshold value is exceeded (see Patent Document 1).

しかしながら、特許文献１に記載された技術は、映像データを構成するフレームの画素についての差分についてグラフを表示するものではないので、例えば、差分が閾値を超えた時刻の特定、およびその前後の状態を把握することができないという問題点があった。また、演算した差分のいずれかが所定の閾値を超えたことを検出できても、差分が閾値を超えた時刻を特定することができないので、その時刻またはその時刻前後の映像箇所を探索するのが困難であるという問題点もあった。   However, the technique described in Patent Document 1 does not display a graph about the difference between pixels of a frame forming video data, and therefore, for example, the time when the difference exceeds a threshold value and the states before and after that are specified. There was a problem that I could not grasp. Further, even if it is possible to detect that one of the calculated differences exceeds a predetermined threshold value, it is not possible to specify the time when the difference exceeds the threshold value. There was also the problem that it was difficult.

本発明は、上記に鑑みてなされたものであって、所望の映像を素早く表示させることができる画像処理装置、画像処理システム、画像処理方法およびプログラムを提供することを目的とする。   The present invention has been made in view of the above, and an object of the present invention is to provide an image processing device, an image processing system, an image processing method, and a program capable of quickly displaying a desired video.

上述した課題を解決し、目的を達成するために、本発明は、表示手段と、撮像手段により撮像された映像データを前記表示手段に再生表示させる再生手段と、前記映像データに含まれるフレームごとに画素値の特徴量を演算する演算手段と、前記演算手段により演算された前記特徴量によって、該特徴量を時系列に表すグラフを生成して前記表示手段に表示させる生成手段と、前記表示手段により表示された前記グラフの表示領域のいずれかの部分を指定し、前記部分に対応する前記フレームを、前記再生手段により前記表示手段に表示させるフレーム指定手段と、を備えたことを特徴とする。   In order to solve the above-mentioned problems and to achieve the object, the present invention provides a display unit, a reproduction unit that reproduces and displays video data captured by an image capturing unit on the display unit, and a frame included in the video data. Calculating means for calculating the feature quantity of the pixel value, generating means for generating a graph representing the feature quantity in time series by the feature quantity calculated by the calculating means, and displaying the graph on the display means; Frame designating means for designating any part of the display area of the graph displayed by the means and causing the reproducing means to display the frame corresponding to the part on the display means. To do.

本発明によれば、所望の映像を素早く表示させることができる。   According to the present invention, a desired image can be displayed quickly.

図１は、実施の形態に係る画像処理システムの全体構成の一例を示す図である。FIG. 1 is a diagram showing an example of the overall configuration of an image processing system according to an embodiment. 図２は、実施の形態の情報処理装置のハードウェア構成の一例を示す図である。FIG. 2 is a diagram illustrating an example of a hardware configuration of the information processing device according to the embodiment. 図３は、実施の形態の情報処理装置の機能ブロックの構成の一例を示す図である。FIG. 3 is a diagram illustrating an example of a configuration of functional blocks of the information processing device according to the embodiment. 図４は、実施の形態の情報処理装置の表示装置に表示されるアプリケーション画面において映像データが表示される例を示す図である。FIG. 4 is a diagram showing an example in which video data is displayed on the application screen displayed on the display device of the information processing apparatus according to the embodiment. 図５は、実施の形態の情報処理装置の表示装置に表示されるアプリケーション画面において映像表示部に分析領域を指定する例を示す図である。FIG. 5 is a diagram showing an example of designating an analysis area on the video display unit on the application screen displayed on the display device of the information processing apparatus according to the embodiment. 図６は、実施の形態の情報処理装置の表示装置に表示されるアプリケーション画面において差分グラフが表示される例を示す図である。FIG. 6 is a diagram showing an example in which a difference graph is displayed on the application screen displayed on the display device of the information processing apparatus according to the embodiment. 図７は、実施の形態の情報処理装置の表示装置に表示されるアプリケーション画面において差分グラフに基づく所望の時刻の映像データを表示させる例を示す図である。FIG. 7 is a diagram showing an example of displaying video data at a desired time based on the difference graph on the application screen displayed on the display device of the information processing apparatus according to the embodiment. 図８は、実施の形態の画像処理システムにおいて差分グラフを表示させる画像処理動作の一例を示すフローチャートである。FIG. 8 is a flowchart showing an example of an image processing operation for displaying a difference graph in the image processing system according to the embodiment.

以下に、図面を参照しながら、本発明に係る画像処理装置、画像処理システム、画像処理方法およびプログラムの実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。   Embodiments of an image processing apparatus, an image processing system, an image processing method, and a program according to the present invention will be described in detail below with reference to the drawings. The present invention is not limited to the following embodiments, and constituent elements in the following embodiments can be easily conceived by those skilled in the art, substantially the same, and so-called equivalent ranges. Included. Furthermore, various omissions, replacements, changes and combinations of the constituent elements can be made without departing from the scope of the following embodiments.

（画像処理システムの全体構成）
図１は、実施の形態に係る画像処理システムの全体構成の一例を示す図である。図１を参照しながら、本実施の形態の画像処理システム１の全体構成について説明する。 (Overall structure of image processing system)
FIG. 1 is a diagram showing an example of the overall configuration of an image processing system according to an embodiment. The overall configuration of the image processing system 1 according to the present embodiment will be described with reference to FIG.

図１に示すように、本実施の形態の画像処理システム１は、撮像装置２ａ〜２ｄと、情報処理装置３と、ネットワーク４と、を含む。   As shown in FIG. 1, the image processing system 1 according to the present embodiment includes imaging devices 2a to 2d, an information processing device 3, and a network 4.

撮像装置２ａ〜２ｄは、被写体からの光を電気信号に変換することによって被写体を撮像（撮影）し、複数のフレーム（画像データ）で構成（例えば、１０［ＦＰＳ］）された動画である映像データを生成するビデオカメラである。例えば、撮像装置２ａ〜２ｄは、製品を生産する生産設備等を撮像し、予期しない動きを検出かつ分析するための映像データを生成する。   The imaging devices 2a to 2d capture (capture) a subject by converting light from the subject into an electrical signal, and are moving images composed of a plurality of frames (image data) (for example, 10 [FPS]). A video camera that generates data. For example, the image pickup devices 2a to 2d pick up an image of a production facility or the like that produces a product, and generate image data for detecting and analyzing an unexpected movement.

なお、撮像装置２ａ〜２ｄを区別なく呼称する場合、または総称する場合、単に「撮像装置２」というものとする。また、図１では、画像処理システム１は、４台の撮像装置２を含む構成となっているが、これに限定されるものではなく、他の台数の撮像装置２を含む構成であってもよい。   When the image pickup devices 2a to 2d are referred to without distinction or collectively referred to, they are simply referred to as "image pickup device 2". Further, in FIG. 1, the image processing system 1 has a configuration including four image capturing devices 2, but the configuration is not limited to this, and a configuration including another number of image capturing devices 2 is also possible. Good.

情報処理装置３は、撮像装置２によって撮像された映像データに対して画像処理を実行する画像処理装置として機能するＰＣまたワークステーション等である。情報処理装置３による映像データに対する画像処理については、後述する。   The information processing device 3 is a PC, a workstation, or the like that functions as an image processing device that executes image processing on the video data captured by the imaging device 2. Image processing for video data by the information processing device 3 will be described later.

ネットワーク４は、撮像装置２ａ〜２ｄと、情報処理装置３とを接続するための、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）規格のネットワークである。この場合、ネットワーク４では、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）等のプロトコルによりデータ通信が行われる。また、この場合、撮像装置２ａ〜２ｄおよび情報処理装置３は、ＴＣＰ／ＩＰのプロトコルにより通信するためのＭＡＣアドレスを有し、かつプライベートＩＰアドレス等のＩＰアドレスが割り当てられている。また、ネットワーク４の具体的な構成は、例えば、複数のポートを有するスイッチングハブに撮像装置２ａ〜２ｄおよび情報処理装置３それぞれがＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブルによって接続されたスター配線形式である。   The network 4 is, for example, an Ethernet (registered trademark) standard network for connecting the imaging devices 2 a to 2 d and the information processing device 3. In this case, in the network 4, data communication is performed by a protocol such as TCP (Transmission Control Protocol) / IP (Internet Protocol). Further, in this case, the imaging devices 2a to 2d and the information processing device 3 have a MAC address for communicating by the TCP / IP protocol and are assigned an IP address such as a private IP address. Further, the specific configuration of the network 4 is, for example, a star wiring system in which the imaging devices 2a to 2d and the information processing device 3 are connected to a switching hub having a plurality of ports by a LAN (Local Area Network) cable.

なお、撮像装置２ａ〜２ｄにより撮像された映像データは、必ずしも、情報処理装置３に記憶される必要はない。例えば、ネットワーク４にデータベースサーバが接続され、撮像装置２ａ〜２ｄにより撮像された映像データは、ネットワーク４を介してデータベースサーバに蓄積されるものとしてもよい。この場合、情報処理装置３は、データベースサーバから目的とする映像データを取得し、取得した映像データに対して画像処理を実行するものとすればよい。   The video data captured by the image capturing devices 2a to 2d does not necessarily need to be stored in the information processing device 3. For example, a database server may be connected to the network 4 and video data captured by the image capturing devices 2a to 2d may be stored in the database server via the network 4. In this case, the information processing device 3 may acquire target video data from the database server and perform image processing on the acquired video data.

また、図１に示すネットワーク４は、ＴＣＰ／ＩＰにより通信される例であるが、これに限定されるものではなく、例えば、情報処理装置３側にＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）端子またはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートを複数有し、複数の撮像装置２がそれぞれＶＧＡケーブルまたはＵＳＢケーブルで情報処理装置３に接続された形態等であってもよい。   The network 4 shown in FIG. 1 is an example in which communication is performed by TCP / IP, but the present invention is not limited to this. For example, a VGA (Video Graphics Array) terminal or a USB (Universal) may be provided on the information processing device 3 side. A plurality of Serial Bus) ports may be provided, and the plurality of imaging devices 2 may be connected to the information processing device 3 by a VGA cable or a USB cable, respectively.

（情報処理装置のハードウェア構成）
図２は、実施の形態の情報処理装置のハードウェア構成の一例を示す図である。図２を参照しながら、本実施の形態の情報処理装置３のハードウェア構成について説明する。 (Hardware configuration of information processing device)
FIG. 2 is a diagram illustrating an example of a hardware configuration of the information processing device according to the embodiment. The hardware configuration of the information processing device 3 according to the present embodiment will be described with reference to FIG.

図２に示すように、情報処理装置３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、外部記憶装置１０４と、ディスプレイ１０５と、ネットワークＩ／Ｆ１０６と、キーボード１０７と、マウス１０８と、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ１０９と、を備えている。   As shown in FIG. 2, the information processing device 3 includes a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, an external storage device 104, a display 105, and A network I / F 106, a keyboard 107, a mouse 108, and a DVD (Digital Versatile Disc) drive 109 are provided.

ＣＰＵ１０１は、情報処理装置３全体の動作を制御する装置である。ＲＯＭ１０２は、情報処理装置３用のプログラムを記憶している不揮発性記憶装置である。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される揮発性記憶装置である。   The CPU 101 is a device that controls the overall operation of the information processing device 3. The ROM 102 is a non-volatile storage device that stores a program for the information processing device 3. The RAM 103 is a volatile storage device used as a work area of the CPU 101.

外部記憶装置１０４は、撮像装置２により撮像された映像データ、および設定情報等の各種データを記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置である。   The external storage device 104 is a storage device such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive) that stores video data captured by the imaging device 2 and various data such as setting information.

ディスプレイ１０５は、カーソル、メニュー、ウィンドウ、文字もしくは画像等の各種情報、または情報処理装置３による画像処理を実行するアプリケーションの画面を表示する表示装置である。ディスプレイ１０５は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ、液晶ディスプレイ、プラズマディスプレイまたは有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等である。なお、ディスプレイ１０５は、例えば、情報処理装置３の本体に対して、ＶＧＡケーブルまたはＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブル等によって接続されたり、または、Ｅｔｈｅｒｎｅｔケーブルによって接続される。   The display 105 is a display device that displays various kinds of information such as a cursor, a menu, a window, characters or images, or a screen of an application that executes image processing by the information processing device 3. The display 105 is, for example, a CRT (Cathode Ray Tube) display, a liquid crystal display, a plasma display, an organic EL (Electroluminescence) display, or the like. The display 105 is connected to the main body of the information processing apparatus 3 by a VGA cable, an HDMI (registered trademark) (High-Definition Multimedia Interface) cable, or the like, or an Ethernet cable.

ネットワークＩ／Ｆ１０６は、ネットワーク４に接続してデータ通信するためのＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。具体的には、情報処理装置３は、撮像装置２から、ネットワーク４およびネットワークＩ／Ｆ１０６を介して、映像データを取得する。   The network I / F 106 is a NIC (Network Interface Card) for connecting to the network 4 and performing data communication. Specifically, the information processing device 3 acquires video data from the imaging device 2 via the network 4 and the network I / F 106.

キーボード１０７は、文字、数字、各種指示の選択、カーソルの移動、および設定情報の選択等を行う入力装置である。マウス１０８は、各種指示の選択および実行、処理対象の選択、カーソルの移動、ならびに設定情報の選択等を行うための入力装置である。   The keyboard 107 is an input device that selects characters, numbers, various instructions, moves a cursor, selects setting information, and the like. The mouse 108 is an input device for selecting and executing various instructions, selecting a processing target, moving a cursor, selecting setting information, and the like.

ＤＶＤドライブ１０９は、着脱自在な記憶媒体の一例としてのＤＶＤ１１０に対するデータの読み出し、書き込みおよび削除を制御する装置である。   The DVD drive 109 is a device that controls reading, writing, and deletion of data with respect to a DVD 110, which is an example of a removable storage medium.

上述のＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４、ディスプレイ１０５、ネットワークＩ／Ｆ１０６、キーボード１０７、マウス１０８およびＤＶＤドライブ１０９は、アドレスバスおよびデータバス等のバス１１１によって互いに通信可能に接続されている。なお、ディスプレイ１０５が、Ｅｔｈｅｒｎｅｔケーブルによって接続される場合には、ネットワークＩ／Ｆ１０６に接続されることになり、この場合、ＴＣＰ／ＩＰ等のプロトコルによりデータ通信が行われる。   The CPU 101, the ROM 102, the RAM 103, the external storage device 104, the display 105, the network I / F 106, the keyboard 107, the mouse 108, and the DVD drive 109 described above are communicably connected to each other by a bus 111 such as an address bus and a data bus. . When the display 105 is connected by an Ethernet cable, it is connected to the network I / F 106, and in this case, data communication is performed by a protocol such as TCP / IP.

（情報処理装置のブロック構成）
図３は、実施の形態の情報処理装置の機能ブロックの構成の一例を示す図である。図３を参照しながら、情報処理装置３のブロック構成について説明する。 (Block configuration of information processing device)
FIG. 3 is a diagram illustrating an example of a configuration of functional blocks of the information processing device according to the embodiment. The block configuration of the information processing device 3 will be described with reference to FIG.

図３に示すように、情報処理装置３は、映像受信部３０１と、記憶部３０２と、入力装置３０３（フレーム指定手段、入力手段、表示操作手段）と、設定部３０４と、再生部３０５（再生手段）と、領域指定部３０６（領域指定手段）と、フレーム取得部３０７（取得手段）と、差分演算部３０８（演算手段の一例）と、グラフ生成部３０９（生成手段）と、補助情報生成部３１０（閾値算出手段の一例）と、表示制御部３１１と、表示装置３１２（表示手段）と、を備えている。   As illustrated in FIG. 3, the information processing device 3 includes a video receiving unit 301, a storage unit 302, an input device 303 (frame designating unit, input unit, display operating unit), a setting unit 304, and a reproducing unit 305 ( (Reproduction means), area designation section 306 (area designation means), frame acquisition section 307 (acquisition means), difference calculation section 308 (an example of calculation means), graph generation section 309 (generation means), and auxiliary information. It includes a generation unit 310 (an example of a threshold value calculation unit), a display control unit 311, and a display device 312 (display unit).

映像受信部３０１は、ネットワーク４を介して、撮像装置２とデータ通信を行い、撮像装置２から映像データを受信する機能部である。映像受信部３０１は、受信した映像データを記憶部３０２に記憶させる。映像受信部３０１は、図２に示すネットワークＩ／Ｆ１０６によって実現される。なお、図３においては、説明を簡略化するため、ネットワーク４の図示を省略して説明する。   The video reception unit 301 is a functional unit that performs data communication with the imaging device 2 via the network 4 and receives video data from the imaging device 2. The video receiving unit 301 stores the received video data in the storage unit 302. The video receiving unit 301 is realized by the network I / F 106 shown in FIG. It should be noted that in FIG. 3, the network 4 is omitted in the description to simplify the description.

記憶部３０２は、映像受信部３０１により受信された映像データ、および各種設定情報等を記憶する記憶装置である。記憶部３０２は、映像受信部３０１により受信された映像データが、どの撮像装置２により生成された映像データであるかを識別して記憶する。記憶部３０２は、例えば、図２に示す外部記憶装置１０４によって実現される。   The storage unit 302 is a storage device that stores the video data received by the video receiving unit 301, various setting information, and the like. The storage unit 302 identifies and stores which image pickup device 2 the image data received by the image receiving unit 301 is. The storage unit 302 is realized by, for example, the external storage device 104 shown in FIG.

入力装置３０３は、情報処理装置３が実行する画像処理のために操作入力を行うための装置である。入力装置３０３は、図２に示すキーボード１０７およびマウス１０８によって実現される。   The input device 303 is a device for inputting operations for image processing executed by the information processing device 3. The input device 303 is realized by the keyboard 107 and the mouse 108 shown in FIG.

設定部３０４は、ユーザにより操作される入力装置３０３からの操作信号に従って、設定情報を設定して記憶部３０２に記憶させる機能部である。また、設定部３０４は、設定した設定情報のうち、表示する必要がある情報を、記憶部３０２から表示制御部３１１に送り、表示制御部３１１に対して設定情報を表示装置３１２に表示させる。設定部３０４は、図２に示すＣＰＵ１０１により実行されるプログラムにより実現される。   The setting unit 304 is a functional unit that sets setting information according to an operation signal from the input device 303 operated by the user and stores the setting information in the storage unit 302. Further, the setting unit 304 sends information that needs to be displayed among the set setting information from the storage unit 302 to the display control unit 311 and causes the display control unit 311 to display the setting information on the display device 312. The setting unit 304 is realized by a program executed by the CPU 101 shown in FIG.

再生部３０５は、ユーザにより操作される入力装置３０３からの操作信号に従って、記憶部３０２から取得した映像データを表示制御部３１１に送り、表示制御部３１１に対して映像データを表示装置３１２に再生表示させる機能部である。再生部３０５は、図２に示すＣＰＵ１０１により実行されるプログラムにより実現される。   The reproduction unit 305 sends the video data acquired from the storage unit 302 to the display control unit 311 in accordance with an operation signal from the input device 303 operated by the user, and causes the display control unit 311 to reproduce the video data on the display device 312. It is a functional unit to be displayed. The reproducing unit 305 is realized by a program executed by the CPU 101 shown in FIG.

領域指定部３０６は、ユーザにより操作される入力装置３０３からの操作信号に従って、表示装置３１２における映像データの表示領域（図４で後述する映像表示部４０１）において分析対象となる分析領域を指定する機能部である。領域指定部３０６は、指定した分析領域の情報を、記憶部３０２に記憶させる。ここで、分析とは、映像データのフレームから、差分等のフレームの特徴量を演算してグラフ化する画像処理を示すものとする。また、分析領域の情報とは、例えば、映像データの表示領域における分析領域の位置を示す座標、および分析領域の形状等の情報である。領域指定部３０６は、図２に示すＣＰＵ１０１により実行されるプログラムにより実現される。   The area designating unit 306 designates an analysis area to be analyzed in a display area of video data on the display device 312 (a video display unit 401 described later in FIG. 4) according to an operation signal from the input device 303 operated by the user. It is a functional part. The area designating unit 306 stores information on the designated analysis area in the storage unit 302. Here, the term “analysis” refers to image processing in which a feature amount of a frame such as a difference is calculated from a frame of video data to form a graph. The analysis area information is, for example, information such as coordinates indicating the position of the analysis area in the display area of the video data and the shape of the analysis area. The area designation unit 306 is realized by a program executed by the CPU 101 shown in FIG.

フレーム取得部３０７は、ユーザにより操作される入力装置３０３からの操作信号（具体的には、後述する分析開始ボタン４１０を押下した場合の操作信号）に従って、再生部３０５により再生されている映像データのうち、分析対象となる所定期間（分析時間）のフレームを取得する機能部である。具体的には、フレーム取得部３０７は、再生部３０５により再生されている映像データの日付・時刻情報を再生部３０５から受け取り、その日付・時刻から所定期間前までのフレームを取得する。フレーム取得部３０７は、図２に示すＣＰＵ１０１により実行されるプログラムにより実現される。   The frame acquisition unit 307 reproduces the video data reproduced by the reproduction unit 305 in accordance with an operation signal from the input device 303 operated by the user (specifically, an operation signal when an analysis start button 410 described later is pressed). Of these, it is a functional unit that acquires a frame of a predetermined period (analysis time) to be analyzed. Specifically, the frame acquisition unit 307 receives the date / time information of the video data being reproduced by the reproduction unit 305 from the reproduction unit 305, and acquires the frames from the date / time until a predetermined period before. The frame acquisition unit 307 is realized by a program executed by the CPU 101 shown in FIG.

差分演算部３０８は、フレーム取得部３０７により取得されたフレームを受け取り、かつ、記憶部３０２に記憶された分析領域の情報を受け取り、対象フレームの分析領域と、比較対象となるフレームの分析領域との画素値についての差分を、フレームの特徴量として演算する機能部である。フレームの特徴量としての差分の演算方法としては、例えば、２つのフレームの分析領域における画素値を比較し、画素値が異なる画素の数の合計を差分として算出する。また、フレームがグレースケールの画像である場合、画素値は輝度値と一致するので、２つのフレームの分析領域における輝度値を比較し、輝度値が異なる画素の数の合計を差分として算出してもよい。また、フレームがＲＧＢの画素値で構成された画像である場合、Ｒ（赤）、Ｇ（緑）またはＢ（青）のいずれかの画素値を比較して、上述と同様に、画素値が異なる画素の数の合計を差分として算出してもよい。また、フレームがＬ＊ａ＊ｂ＊表色系の画素値で構成された画像である場合、Ｌ＊成分、ａ＊成分およびｂ＊成分をそれぞれ正規化した後、√（（Ｌ１−Ｌ２）２＋（ａ１−ａ２）２＋（ｂ１−ｂ２）２）のように３点のユークリッド距離による色差を差分として算出してもよい。差分演算部３０８は、図２に示すＣＰＵ１０１により実行されるプログラムにより実現される。 The difference calculation unit 308 receives the frame acquired by the frame acquisition unit 307, and also receives the information of the analysis area stored in the storage unit 302, and analyzes the analysis area of the target frame and the analysis area of the frame to be compared. Is a functional unit that calculates the difference between the pixel values of as the feature amount of the frame. As a method of calculating the difference as the frame feature amount, for example, the pixel values in the analysis regions of the two frames are compared, and the total number of pixels having different pixel values is calculated as the difference. If the frame is a grayscale image, the pixel value matches the brightness value, so the brightness values in the analysis areas of the two frames are compared, and the total number of pixels with different brightness values is calculated as the difference. Good. When the frame is an image composed of RGB pixel values, the pixel values of R (red), G (green), and B (blue) are compared, and the pixel values are the same as above. The sum of the numbers of different pixels may be calculated as the difference. If the frame is an image composed of pixel values in the L * a * b * color system, after normalizing each of the L * component, the a * component, and the b * component, √ ((L1-L2) 2 + (a1-a2) 2 + (b1-b2) 2) the color difference due to the Euclidean distance of three points may be calculated as the difference as. The difference calculation unit 308 is realized by a program executed by the CPU 101 shown in FIG.

また、差分演算部３０８は、フレーム取得部３０７により取得された各フレーム（対象フレーム）に対して、対象フレームの直前のフレームもしくは所定時間前のフレーム、または、特定の固定フレームを、差分を演算する比較対象となるフレーム（基準フレーム）とする。   In addition, the difference calculation unit 308 calculates the difference between each frame (target frame) acquired by the frame acquisition unit 307, a frame immediately before the target frame or a frame before a predetermined time, or a specific fixed frame. The frame to be compared (reference frame).

なお、差分演算部３０８は、上述のように２つのフレームの分析領域における画素値についての差分を算出するものとしたが、これに限定されるものではない。すなわち、差分演算部３０８は、フレームがＲＧＢの画素値で構成された画像である場合、フレーム取得部３０７により取得された各フレームについて、分析領域のＲ、ＧまたはＢのうちいずれかの画素値の合計を、そのフレームの特徴量として算出するものとしてもよい。   Note that the difference calculation unit 308 calculates the difference between the pixel values in the analysis regions of the two frames as described above, but the invention is not limited to this. That is, when the frame is an image composed of RGB pixel values, the difference calculation unit 308, for each frame acquired by the frame acquisition unit 307, has a pixel value of any one of R, G, and B of the analysis region. May be calculated as the feature amount of the frame.

グラフ生成部３０９は、フレーム取得部３０７により取得された各フレームについて差分演算部３０８により演算された差分の情報から、差分値を時系列に表すグラフを生成する機能部である。グラフ生成部３０９は、生成した差分値のグラフ情報を表示制御部３１１に送り、表示制御部３１１に対して差分値のグラフを表示装置３１２における表示領域（図４で後述するグラフ表示部４０２）に表示させる。グラフ生成部３０９は、図２に示すＣＰＵ１０１により実行されるプログラムにより実現される。   The graph generation unit 309 is a functional unit that generates a graph representing a difference value in time series from the difference information calculated by the difference calculation unit 308 for each frame acquired by the frame acquisition unit 307. The graph generation unit 309 sends the generated graph information of the difference value to the display control unit 311, and displays the graph of the difference value with respect to the display control unit 311 in the display area of the display device 312 (graph display unit 402 described below in FIG. 4). To display. The graph generation unit 309 is realized by a program executed by the CPU 101 shown in FIG.

なお、グラフ生成部３０９は、差分演算部３０８により演算されたすべての差分の情報から、差分値のグラフを生成することに限定されるものではない。すなわち、グラフ生成部３０９は、所定のサンプリング幅に含まれるフレーム（例えば、フレームレートが１０［ＦＰＳ］のフレームの場合、１秒分のフレーム、すなわち１０個のフレーム）ごとに対応する差分の情報からグラフを生成するものとしてもよい。ここで、所定のサンプリング幅（例えば、上述のように１秒）に含まれるフレームごとに対応する差分は、例えば、そのサンプリング幅に含まれるフレームに対して、それぞれ差分演算部３０８により演算された差分のうち、最大となる差分をサンプリングしたものとする。また、グラフ生成部３０９が生成する差分のグラフとして、差分演算部３０８により演算されたすべての差分の情報から生成するか、上述のように、所定のサンプリング幅に含まれるフレームごとにサンプリングした最大の差分の情報から生成するかを、設定部３０４により選択設定できるものとしてもよい。   The graph generation unit 309 is not limited to generating the graph of the difference value from the information of all the differences calculated by the difference calculation unit 308. That is, the graph generation unit 309 includes information on difference corresponding to each frame included in a predetermined sampling width (for example, in the case of a frame having a frame rate of 10 [FPS], one second of frames, that is, 10 frames). The graph may be generated from Here, the difference corresponding to each frame included in a predetermined sampling width (for example, 1 second as described above) is calculated by the difference calculation unit 308 for each frame included in the sampling width. Among the differences, the maximum difference is sampled. In addition, the difference graph generated by the graph generation unit 309 is generated from the information of all the differences calculated by the difference calculation unit 308, or as described above, the maximum sampled for each frame included in the predetermined sampling width is used. The setting unit 304 may selectively set whether or not to generate from the difference information.

補助情報生成部３１０は、フレーム取得部３０７により取得された各フレームについて差分演算部３０８により演算された差分の情報から、最大の差分を検出して、最大の差分を示す補助線を生成する機能部である。また、補助情報生成部３１０は、最大の差分の所定割合（例えば、８０％）の値を閾値として求め、閾値を示す補助線を生成する。そして、補助情報生成部３１０は、生成した最大の差分を示す補助線、および閾値を示す補助線の情報を表示制御部３１１に送り、表示制御部３１１に対して、双方の補助線を表示装置３１２における表示領域（図４で後述するグラフ表示部４０２）に表示させる。補助情報生成部３１０は、図２に示すＣＰＵ１０１により実行されるプログラムにより実現される。なお、補助情報生成部３１０による上述の補助線の生成および表示は、必須のものではなく、表示させないものとしてもよい。   The auxiliary information generation unit 310 has a function of detecting the maximum difference from the difference information calculated by the difference calculation unit 308 for each frame acquired by the frame acquisition unit 307, and generating an auxiliary line indicating the maximum difference. It is a department. In addition, the auxiliary information generation unit 310 obtains a value of a predetermined ratio (for example, 80%) of the maximum difference as a threshold value, and generates an auxiliary line indicating the threshold value. Then, the auxiliary information generation unit 310 sends information on the generated auxiliary line indicating the maximum difference and the generated auxiliary line indicating the threshold to the display control unit 311, and the display control unit 311 displays both auxiliary lines on the display device. The display area 312 (graph display section 402 described later in FIG. 4) is displayed. The auxiliary information generation unit 310 is realized by a program executed by the CPU 101 shown in FIG. The generation and display of the above-mentioned auxiliary line by the auxiliary information generation unit 310 is not essential and may not be displayed.

表示制御部３１１は、表示装置３１２の表示動作を制御する機能部である。具体的には、表示制御部３１１は、設定部３０４により設定された設定情報、再生部３０５により取得された映像データ、グラフ生成部３０９により生成された差分値のグラフ、および補助情報生成部３１０により生成された補助線等を、表示装置３１２に表示させる。表示制御部３１１は、図２に示すＣＰＵ１０１により実行されるプログラム（ドライバ等）により実現される。   The display control unit 311 is a functional unit that controls the display operation of the display device 312. Specifically, the display control unit 311 includes the setting information set by the setting unit 304, the video data acquired by the reproducing unit 305, the graph of the difference value generated by the graph generating unit 309, and the auxiliary information generating unit 310. The auxiliary line or the like generated by is displayed on the display device 312. The display control unit 311 is realized by a program (driver or the like) executed by the CPU 101 shown in FIG.

表示装置３１２は、表示制御部３１１の制御に従って各種データを表示する装置である。表示装置３１２は、本実施の形態では特に、図２に示すＣＰＵ１０１により実行されるプログラム（アプリケーション）により、後述する図４等に示すアプリケーション画面４００を表示する。表示装置３１２は、図２に示すディスプレイ１０５によって実現される。   The display device 312 is a device that displays various data under the control of the display control unit 311. Particularly in the present embodiment, the display device 312 displays an application screen 400 shown in FIG. 4 and the like described later by a program (application) executed by the CPU 101 shown in FIG. The display device 312 is realized by the display 105 shown in FIG.

なお、領域指定部３０６が、映像データの表示領域において指定できる分析領域は、１つであることに限定されるものではなく、複数指定することを可能としてもよい。この場合、差分演算部３０８による差分の演算、およびグラフ生成部３０９によるグラフの作成の対象となる分析領域は、入力装置３０３により選択可能とすればよい。これによって、映像データの表示領域において、動きの発生を確認したい箇所が複数ある場合においても、それぞれ分析領域を指定でき、かつそれぞれ分析を行うことができるので、分析作業の効率性が高まる。   Note that the area designating unit 306 is not limited to one analysis area that can be designated in the display area of the video data, and a plurality of analysis areas may be designated. In this case, the analysis area for which the difference calculation unit 308 calculates the difference and the graph generation unit 309 creates the graph may be selectable by the input device 303. As a result, even when there are a plurality of locations where it is desired to confirm the occurrence of movement in the display area of the video data, each analysis area can be specified and each analysis can be performed, so that the efficiency of the analysis work is improved.

また、図３に示した設定部３０４、再生部３０５、領域指定部３０６、フレーム取得部３０７、差分演算部３０８、グラフ生成部３０９、補助情報生成部３１０および表示制御部３１１の一部または全部は、ソフトウェアであるプログラムではなく、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェア回路によって実現されてもよい。   Further, a part or all of the setting unit 304, the reproduction unit 305, the area designation unit 306, the frame acquisition unit 307, the difference calculation unit 308, the graph generation unit 309, the auxiliary information generation unit 310, and the display control unit 311 illustrated in FIG. May be realized by a hardware circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array) instead of a program that is software.

また、設定部３０４、再生部３０５、領域指定部３０６、フレーム取得部３０７、差分演算部３０８、グラフ生成部３０９、補助情報生成部３１０および表示制御部３１１は、機能を概念的に示したものであって、このような構成に限定されるものではない。   Further, the setting unit 304, the reproduction unit 305, the region designation unit 306, the frame acquisition unit 307, the difference calculation unit 308, the graph generation unit 309, the auxiliary information generation unit 310, and the display control unit 311 conceptually show the functions. However, the configuration is not limited to this.

また、以降の説明の簡略化のため、表示制御部３１１が、受け取ったデータを表示装置３１２に表示させるという表現を、単に、そのデータを表示制御部３１１に送った機能部が、表示装置３１２（または、表示装置３１２が表示する画面）に表示させると表現するものとする。例えば、再生部３０５が、映像データを表示制御部３１１に送り、表示制御部３１１に対して映像データを表示装置３１２に再生表示させる場合、単に、再生部３０５が、映像データを表示装置３１２に再生表示させると表現するものとする。   Further, for simplification of the following description, the expression that the display control unit 311 causes the display device 312 to display the received data is simply a function unit that sends the data to the display control unit 311. (Or, it is expressed as being displayed on the screen displayed by the display device 312). For example, when the reproduction unit 305 sends the video data to the display control unit 311, and causes the display control unit 311 to reproduce and display the video data on the display device 312, the reproduction unit 305 simply displays the video data on the display device 312. It is expressed as being reproduced and displayed.

（フレームの差分のグラフを表示するアプリケーション画面）
図４は、実施の形態の情報処理装置の表示装置に表示されるアプリケーション画面において映像データが表示される例を示す図である。図５は、実施の形態の情報処理装置の表示装置に表示されるアプリケーション画面において映像表示部に分析領域を指定する例を示す図である。図６は、実施の形態の情報処理装置の表示装置に表示されるアプリケーション画面において差分グラフが表示される例を示す図である。図７は、実施の形態の情報処理装置の表示装置に表示されるアプリケーション画面において差分グラフに基づく所望の時刻の映像データを表示させる例を示す図である。図４〜７を参照しながら、アプリケーション画面４００上の動作、およびフレームの差分のグラフを表示する動作等について説明する。 (Application screen that displays the frame difference graph)
FIG. 4 is a diagram showing an example in which video data is displayed on the application screen displayed on the display device of the information processing apparatus according to the embodiment. FIG. 5 is a diagram showing an example of designating an analysis area on the video display unit on the application screen displayed on the display device of the information processing apparatus according to the embodiment. FIG. 6 is a diagram showing an example in which a difference graph is displayed on the application screen displayed on the display device of the information processing apparatus according to the embodiment. FIG. 7 is a diagram showing an example of displaying video data at a desired time based on the difference graph on the application screen displayed on the display device of the information processing apparatus according to the embodiment. An operation on the application screen 400, an operation of displaying a graph of frame differences, and the like will be described with reference to FIGS.

ＣＰＵ１０１により実行されるプログラム（アプリケーション）により、図４に示すアプリケーション画面４００が表示装置３１２に表示される。アプリケーション画面４００は、分析対象となる映像データ、および、分析結果である差分等の特徴量のグラフ等を表示する画面である。アプリケーション画面４００は、図４等に示すように、映像表示部４０１と、カメラ選択部４０１ａと、グラフ表示部４０２と、再生ボタン４０３ａと、一時停止ボタン４０３ｂと、早送りボタン４０３ｃと、早戻しボタン４０３ｄと、停止ボタン４０３ｅと、マーキングボタン４０３ｆと、シークバー４０４と、スライダー４０５と、映像拡大ボタン４０６ａと、映像縮小ボタン４０６ｂと、スパン拡大ボタン４０７ａと、スパン縮小ボタン４０７ｂと、時刻表示部４０８と、分析時間設定部４０９と、分析開始ボタン４１０と、分析停止ボタン４１１と、を含む。   The application screen 400 shown in FIG. 4 is displayed on the display device 312 by the program (application) executed by the CPU 101. The application screen 400 is a screen for displaying video data to be analyzed and a graph of feature amounts such as differences as analysis results. As shown in FIG. 4 and the like, the application screen 400 includes a video display unit 401, a camera selection unit 401a, a graph display unit 402, a play button 403a, a pause button 403b, a fast forward button 403c, and a fast rewind button. 403d, stop button 403e, marking button 403f, seek bar 404, slider 405, image enlargement button 406a, image reduction button 406b, span enlargement button 407a, span reduction button 407b, and time display unit 408. An analysis time setting unit 409, an analysis start button 410, and an analysis stop button 411 are included.

映像表示部４０１は、再生部３０５によって、ユーザにより操作される入力装置３０３からの操作信号に従って記憶部３０２から取得された映像データが再生表示される表示部である。カメラ選択部４０１ａは、ユーザが分析を所望する撮像装置２ａ〜２ｄの映像データのうちいずれの映像データを映像表示部４０１に表示させるのかを選択する操作部である。例えば、撮像装置２ａ〜２ｄによって撮像された映像データは、それぞれ「１」〜「４」に対応付けられており、図４の例では、「３」すなわち撮像装置２ｃの映像データが選択された例を示している。この場合、再生部３０５は、ユーザによる入力装置３０３の操作により、「３」のカメラ選択部４０１ａが選択操作されると、撮像装置２ｃにより撮像された映像データを表示装置３１２に表示させる。   The video display unit 401 is a display unit on which the reproduction unit 305 reproduces and displays the video data acquired from the storage unit 302 according to the operation signal from the input device 303 operated by the user. The camera selection unit 401a is an operation unit that selects which image data of the image data of the imaging devices 2a to 2d that the user wants to analyze is displayed on the image display unit 401. For example, the video data captured by the imaging devices 2a to 2d are associated with "1" to "4", respectively, and in the example of FIG. 4, "3", that is, the video data of the imaging device 2c is selected. An example is shown. In this case, when the user operates the input device 303 to select the “3” camera selection unit 401a, the reproduction unit 305 causes the display device 312 to display the video data captured by the imaging device 2c.

グラフ表示部４０２は、グラフ生成部３０９によって生成された差分値のグラフが表示される表示部である。   The graph display unit 402 is a display unit that displays the graph of the difference value generated by the graph generation unit 309.

再生ボタン４０３ａは、ユーザによる入力装置３０３の操作によって押下（マウス１０８によるクリック操作等、以下同様）されると、再生部３０５によって、映像表示部４０１に表示された映像データが再生開始されるボタンである。一時停止ボタン４０３ｂは、ユーザによる入力装置３０３の操作によって押下されると、再生部３０５によって、映像表示部４０１に再生表示されている映像データが一時停止されるボタンである。早送りボタン４０３ｃは、ユーザによる入力装置３０３の操作によって押下されると、再生部３０５によって、映像表示部４０１に再生表示されている映像データが早送り表示されるボタンである。早戻しボタン４０３ｄは、ユーザによる入力装置３０３の操作によって押下されると、再生部３０５によって、映像表示部４０１に再生表示されている映像データが早戻し表示されるボタンである。停止ボタン４０３ｅは、ユーザによる入力装置３０３の操作によって押下されると、再生部３０５によって、映像表示部４０１に再生表示されている映像データが停止されるボタンである。マーキングボタン４０３ｆは、後述するように、ユーザによる入力装置３０３の操作によって押下されると、補助情報生成部３１０によって、シークバー４０４上のスライダー４０５の直上部分にマーク表示されるボタンである。   The playback button 403a is a button for starting playback of the video data displayed on the video display unit 401 by the playback unit 305 when pressed by the user operating the input device 303 (click operation by the mouse 108, etc., hereinafter). Is. The pause button 403b is a button which, when pressed by the user's operation of the input device 303, causes the playback unit 305 to pause the video data that is being played back and displayed on the video display unit 401. The fast-forward button 403c is a button that, when pressed by the user's operation of the input device 303, causes the playback unit 305 to fast-forward display the video data reproduced and displayed on the video display unit 401. The rewind button 403d is a button for rewinding and displaying the video data reproduced and displayed on the video display unit 401 by the reproducing unit 305 when pressed by the user operating the input device 303. The stop button 403e is a button for stopping the video data reproduced and displayed on the video display unit 401 by the reproduction unit 305 when pressed by the user operating the input device 303. As will be described later, the marking button 403f is a button displayed by the auxiliary information generation unit 310 on the seek bar 404 immediately above the slider 405 when pressed by the user operating the input device 303.

シークバー４０４は、その上に配置されるスライダー４０５の位置により、映像表示部４０１に再生表示されている映像データがどの時間のものなのかを示す棒状の形状体である。スライダー４０５は、映像表示部４０１に再生表示されている映像データの撮像時刻（表示されているフレームが撮像された時刻）に対応したシークバー４０４上の位置にスライドする形状体かつ操作部である。逆に、スライダー４０５は、ユーザによる入力装置３０３の操作によってスライドされると、再生部３０５によって、スライダー４０５が存在するシークバー４０４上の位置に対応した撮像時刻の映像データのフレームが映像表示部４０１に表示される。   The seek bar 404 is a rod-shaped body that indicates at what time the video data reproduced and displayed on the video display unit 401 depends on the position of the slider 405 arranged on the seek bar 404. The slider 405 is a shape body and an operation unit that slides to a position on the seek bar 404 corresponding to the imaging time of the video data reproduced and displayed on the video display unit 401 (the time when the displayed frame is captured). On the contrary, when the slider 405 is slid by the operation of the input device 303 by the user, the playback unit 305 causes the video display unit 401 to display the frame of the video data at the imaging time corresponding to the position on the seek bar 404 where the slider 405 exists. Is displayed in.

映像拡大ボタン４０６ａは、ユーザによる入力装置３０３の操作によって押下されると、再生部３０５によって、映像表示部４０１に再生表示されている映像データが拡大表示されるボタンである。例えば、映像拡大ボタン４０６ａが押下されるごとに所定の拡大率で映像データが拡大表示される。例えば、通常の表示状態を１００％として、１２０％、１４０％、・・・のように拡大表示される。映像縮小ボタン４０６ｂは、ユーザによる入力装置３０３の操作によって押下されると、再生部３０５によって、映像表示部４０１に再生表示されている映像データが縮小表示されるボタンである。例えば、映像縮小ボタン４０６ｂが押下されるごとに所定の縮小率で映像データが縮小表示される。例えば、通常の表示状態を１００％として、８０％、６０％、・・・のように縮小表示される。   The image enlargement button 406a is a button for enlarging and displaying the image data reproduced and displayed on the image display unit 401 by the reproduction unit 305 when pressed by the user operating the input device 303. For example, each time the image enlargement button 406a is pressed, the image data is enlarged and displayed at a predetermined enlargement ratio. For example, the normal display state is set to 100%, and enlarged display such as 120%, 140% ,. The video reduction button 406b is a button for reducing the video data reproduced and displayed on the video display unit 401 by the reproduction unit 305 when pressed by the user operating the input device 303. For example, each time the image reduction button 406b is pressed, the image data is reduced and displayed at a predetermined reduction ratio. For example, when the normal display state is 100%, the reduced display is 80%, 60%, ....

スパン拡大ボタン４０７ａは、ユーザによる入力装置３０３の操作によって押下されると、再生部３０５によって、シークバー４０４の表示スパンが拡大されるボタンである。スパン縮小ボタン４０７ｂは、ユーザによる入力装置３０３の操作によって押下されると、再生部３０５によって、シークバー４０４の表示スパンが縮小されるボタンである。なお、シークバー４０４の表示スパンを拡大または縮小するのは再生部３０５である必要はなく、図示しない異なる機能部が担うものとしてもよい。   The span expansion button 407a is a button for expanding the display span of the seek bar 404 by the reproducing unit 305 when pressed by the user operating the input device 303. The span reduction button 407b is a button for reducing the display span of the seek bar 404 by the playback unit 305 when pressed by the user operating the input device 303. Note that it is not necessary for the reproducing unit 305 to enlarge or reduce the display span of the seek bar 404, and it may be performed by a different functional unit (not shown).

時刻表示部４０８は、再生部３０５によって、映像表示部４０１に再生表示されている映像データの撮像日付および撮像時刻が表示される表示部である。   The time display unit 408 is a display unit on which the image pickup date and the image pickup time of the video data reproduced and displayed on the video display unit 401 by the reproduction unit 305 are displayed.

分析時間設定部４０９は、映像表示部４０１に再生表示されている映像データのうち、どれだけの時間分のフレームを分析対象とするかを設定するラジオボタンである。分析時間設定部４０９のうちいずれかの時間（分析時間）のラジオボタンが、ユーザによる入力装置３０３の操作によって選択されると、設定部３０４によって、その選択内容が設定情報として記憶部３０２に記憶される。また、設定部３０４は、記憶部３０２に記憶された分析時間の設定情報に従って、どの分析時間が選択されているかを分析時間設定部４０９に表示する。図４の例では、分析時間として「１０分」が選択されていることが示されている。この場合、映像データのフレームレートが１０［ＦＰＳ］であるものとすると、フレーム取得部３０７は、映像表示部４０１に再生表示されている映像データのうち、１０分間分のフレーム、すなわち、６０００個のフレームを取得する。   The analysis time setting unit 409 is a radio button for setting how many frames of the video data reproduced and displayed on the video display unit 401 are to be analyzed. When a radio button for any time (analysis time) in the analysis time setting unit 409 is selected by the user operating the input device 303, the setting unit 304 stores the selection content in the storage unit 302 as setting information. To be done. Further, the setting unit 304 displays on the analysis time setting unit 409 which analysis time is selected according to the analysis time setting information stored in the storage unit 302. In the example of FIG. 4, it is shown that “10 minutes” is selected as the analysis time. In this case, assuming that the frame rate of the video data is 10 [FPS], the frame acquisition unit 307 causes the frame display unit 401 to display 10 frames of the video data, that is, 6000 frames. Get the frame of.

分析開始ボタン４１０は、ユーザによる入力装置３０３の操作によって押下されると、フレーム取得部３０７による映像データからの分析時間分のフレームの取得、差分演算部３０８によるフレームの差分の演算、グラフ生成部３０９による差分値のグラフの生成、および補助情報生成部３１０による補助線の生成の動作が開始されるボタンである。分析開始ボタン４１０が押下された場合の動作については、後述する。   When the analysis start button 410 is pressed by the user's operation of the input device 303, the frame acquisition unit 307 acquires a frame for the analysis time from the video data, the difference calculation unit 308 calculates the frame difference, and the graph generation unit. It is a button for starting the operation of generating the graph of the difference value by 309 and the operation of generating the auxiliary line by the auxiliary information generating unit 310. The operation when the analysis start button 410 is pressed will be described later.

分析停止ボタン４１１は、ユーザによる入力装置３０３の操作によって押下されると、フレーム取得部３０７、差分演算部３０８、グラフ生成部３０９および補助情報生成部３１０の動作を停止させ、かつ、グラフ生成部３０９によって、グラフ表示部４０２に表示された差分値のグラフが消去されるボタンである。なお、分析停止ボタン４１１は、分析開始ボタン４１０が押下されることによって開始される処理の途中でも押下して機能を発揮できるものとしてもよい。   When the analysis stop button 411 is pressed by the user operating the input device 303, the operation of the frame acquisition unit 307, the difference calculation unit 308, the graph generation unit 309, and the auxiliary information generation unit 310 is stopped, and the graph generation unit 411. A button for deleting the graph of the difference value displayed on the graph display unit 402 by 309. The analysis stop button 411 may be able to exert its function by being pressed even during the processing started by pressing the analysis start button 410.

図４に示すアプリケーション画面４００は、映像表示部４０１に、再生部３０５によって記憶部３０２から取得された撮像装置２ｃの映像データが再生表示され、時刻表示部４０８に、映像表示部４０１に再生表示されている映像データの撮像日付および撮像時刻が表示されている状態を示している。また、図４に示すアプリケーション画面４００は、分析開始ボタン４１０が押下されることによる映像データのフレームの差分についての分析動作が開始されておらず、グラフ表示部４０２には、差分値のグラフが表示されていない状態を示す。   In the application screen 400 shown in FIG. 4, the video data of the imaging device 2c acquired from the storage unit 302 by the playback unit 305 is played back and displayed on the video display unit 401, and the time display unit 408 and the video display unit 401 playback display. The image pickup date and the image pickup time of the displayed video data are displayed. Further, in the application screen 400 shown in FIG. 4, the analysis operation for the difference between the frames of the video data due to the pressing of the analysis start button 410 is not started, and the graph of the difference value is displayed in the graph display unit 402. Shows the status that is not displayed.

図５に示すアプリケーション画面４００は、映像データが再生表示されている映像表示部４０１において差分についての分析対象となる分析領域５０１が指定された状態を示している。具体的には、分析領域５０１は、ユーザによる入力装置３０３の操作（例えば、マウス１０８によるドラッグ操作）に従って、領域指定部３０６が、映像表示部４０１におけるフレームの差分についての分析対象として指定した領域である。領域指定部３０６は、指定した分析領域５０１の情報を、記憶部３０２に記憶させる。また、領域指定部３０６が分析領域５０１を指定する場合、映像表示部４０１に表示されている映像データは再生状態であってもよく、一時停止状態であってもよい。また、図５に示すアプリケーション画面４００は、図４と同様に、分析開始ボタン４１０が押下されることによる映像データのフレームの差分についての分析動作が開始されておらず、グラフ表示部４０２には、差分値のグラフが表示されていない状態を示している。   The application screen 400 shown in FIG. 5 shows a state in which an analysis area 501 to be an analysis target of a difference is designated in the video display unit 401 in which video data is reproduced and displayed. Specifically, the analysis region 501 is a region designated by the region designation unit 306 as an analysis target for a frame difference in the video display unit 401 according to an operation of the input device 303 by the user (for example, a drag operation with the mouse 108). Is. The area designation unit 306 causes the storage unit 302 to store the information of the designated analysis area 501. When the area designating unit 306 designates the analysis area 501, the video data displayed on the video display unit 401 may be in the reproduction state or may be in the pause state. Further, the application screen 400 shown in FIG. 5 does not start the analysis operation for the difference between the frames of the video data due to the pressing of the analysis start button 410, as in the case of FIG. , Shows a state in which the graph of the difference value is not displayed.

分析領域５０１として指定する領域としては、例えば、生産設備において部品の落下が予測され、その部品がいつ、どのように、なぜ落下するのかを解析する必要がある箇所が想定される。また、例えば、生産設備に備えられる赤色、黄色、緑色および青色のランプを有するシグナルタワーにおいて、生産設備で原因不明の特定の異常が発生した場合に青色のランプを点灯させる動作にしている場合、青色ランプの映像部分を分析領域５０１として指定することも想定される。   As the area designated as the analysis area 501, for example, a part where it is predicted that a part will fall in the production facility, and where it is necessary to analyze when, how, and why the part falls is assumed. Further, for example, in a signal tower having red, yellow, green and blue lamps provided in production equipment, when operating to turn on the blue lamp when a specific abnormality of unknown cause occurs in the production equipment, It is also conceivable to specify the image portion of the blue lamp as the analysis area 501.

なお、図５に示すように、分析領域５０１は、矩形状で指定されるものとしているが、これに限定されるものではない。例えば、分析領域５０１は、多角形状で指定できるものとしてもよく、フリーハンドによる任意の形状で指定できるものとしてもよい。   Note that, as shown in FIG. 5, the analysis area 501 is designated as a rectangular shape, but the present invention is not limited to this. For example, the analysis area 501 may be specified in a polygonal shape, or may be specified in an arbitrary freehand shape.

図６に示すアプリケーション画面４００は、ユーザによる入力装置３０３の操作により分析開始ボタン４１０が押下されることによって、フレーム取得部３０７により映像データから分析時間分のフレームが取得され、差分演算部３０８によりフレームの分析領域５０１の差分が演算され、グラフ生成部３０９により差分値のグラフが生成されて、グラフ表示部４０２に差分値のグラフである差分グラフ６０１が表示された状態を示している。   In the application screen 400 shown in FIG. 6, when the analysis start button 410 is pressed by the user operating the input device 303, the frame acquisition unit 307 acquires a frame for the analysis time from the video data, and the difference calculation unit 308. The difference in the analysis area 501 of the frame is calculated, the graph of the difference value is generated by the graph generation unit 309, and the difference graph 601 which is the graph of the difference value is displayed on the graph display unit 402.

具体的には、まず、ユーザが映像表示部４０１において映像データの再生表示中に、分析を所望する目安となるタイミングで、入力装置３０３の操作により一時停止ボタン４０３ｂを押下すると、再生部３０５は、映像表示部４０１で再生表示されている映像データを一時停止する。また、ユーザが、入力装置３０３の操作により、分析時間設定部４０９のうちいずれかの分析時間を選択すると、設定部３０４は、選択された分析時間を設定情報として設定し、記憶部３０２に記憶させる。なお、ユーザによる分析時間の設定は、このタイミングではなく、予め設定されているものとしてもよいのは言うまでもない。   Specifically, first, when the user presses the pause button 403b by operating the input device 303 at a timing that is a target for analysis while the video data is being played back and displayed on the video display unit 401, the playback unit 305 , The video data reproduced and displayed on the video display unit 401 is temporarily stopped. When the user operates the input device 303 to select one of the analysis times in the analysis time setting unit 409, the setting unit 304 sets the selected analysis time as setting information and stores it in the storage unit 302. Let Needless to say, the analysis time set by the user may be set in advance instead of this timing.

次に、ユーザが入力装置３０３の操作により分析開始ボタン４１０を押下することによって、フレーム取得部３０７は、映像表示部４０１で再生表示されている映像データのうち、一時停止されている撮像時刻、すなわち、時刻表示部４０８に表示されている時刻から、設定部３０４により設定された分析時間（図６では１０分）前までのフレームを取得する。次に、差分演算部３０８は、フレーム取得部３０７により取得されたフレームを受け取り、かつ、記憶部３０２に記憶された分析領域５０１の情報を受け取り、対象フレームの分析領域５０１と、比較対象となるフレームの分析領域５０１との画素値についての差分を、フレームの特徴量として演算する。このとき、差分演算部３０８は、フレーム取得部３０７により取得された全フレームについて差分を演算する。そして、グラフ生成部３０９は、図６に示すように、フレーム取得部３０７により取得された各フレームについて差分演算部３０８により演算された差分の情報から、差分値のグラフである差分グラフ６０１を生成し、グラフ表示部４０２に表示させる。なお、上述では、ユーザは、映像表示部４０１で表示されている映像データが一時停止状態において分析開始ボタン４１０を押下するものとしているが、これに限定されるものではなく、映像データが再生中に分析開始ボタン４１０を押下して分析動作を開始するものとしてもよい。この場合、フレーム取得部３０７は、分析開始ボタン４１０が押下されたタイミングにおける映像データの撮像時刻を抽出し、抽出した撮像時刻から、設定部３０４により設定された分析時間前までのフレームを取得すればよい。   Next, when the user presses the analysis start button 410 by operating the input device 303, the frame acquisition unit 307 causes the frame display unit 307 to display the video data reproduced and displayed on the video display unit 401 at the image capturing time that is paused. That is, the frame from the time displayed on the time display unit 408 to the analysis time (10 minutes in FIG. 6) set by the setting unit 304 is acquired. Next, the difference calculation unit 308 receives the frame acquired by the frame acquisition unit 307, receives the information of the analysis area 501 stored in the storage unit 302, and becomes the comparison target with the analysis area 501 of the target frame. The difference between the pixel value and the analysis area 501 of the frame is calculated as the feature amount of the frame. At this time, the difference calculation unit 308 calculates the difference for all the frames acquired by the frame acquisition unit 307. Then, as shown in FIG. 6, the graph generation unit 309 generates a difference graph 601 which is a graph of difference values from the difference information calculated by the difference calculation unit 308 for each frame acquired by the frame acquisition unit 307. Then, it is displayed on the graph display unit 402. In the above description, the user presses the analysis start button 410 when the video data displayed on the video display unit 401 is in a pause state, but the present invention is not limited to this, and the video data is being reproduced. Alternatively, the analysis start button 410 may be pressed to start the analysis operation. In this case, the frame acquisition unit 307 extracts the image capturing time of the video data at the timing when the analysis start button 410 is pressed, and acquires the frames from the extracted image capturing time up to the analysis time set by the setting unit 304. Good.

また、グラフ生成部３０９は、図６に示すように、映像データから取得したフレームの最前のフレームに対応する撮像時刻を開始時刻表示部６０５に表示させ、最後のフレームに対応する撮像時刻を終了時刻表示部６０４に表示させる。   Further, as shown in FIG. 6, the graph generation unit 309 causes the start time display unit 605 to display the imaging time corresponding to the frontmost frame acquired from the video data, and ends the imaging time corresponding to the last frame. The time is displayed on the time display unit 604.

また、補助情報生成部３１０は、フレーム取得部３０７により取得された各フレームについて差分演算部３０８により演算された差分の情報から、最大の差分を検出して、最大の差分を示す補助線を生成する。また、補助情報生成部３１０は、最大の差分の値の所定割合の値を閾値として求め、閾値を示す補助線を生成する。そして、補助情報生成部３１０は、図６に示すように、グラフ表示部４０２に表示された差分グラフ６０１に重畳して、最大の差分を示す補助線である最大差分値線６０２を表示させ、閾値を示す補助線である閾値線６０３を表示させる。このように、図６に示すように、グラフ表示部４０２に表示された差分グラフ６０１に重畳して、最大差分値線６０２および閾値線６０３を表示させることによって、映像データの分析領域５０１において何らかの動きが発生した時間を特定しやすくなる。また、閾値線６０３の閾値は、上述のように、最大差分値線６０２の最大の差分の値の所定割合の値としているので、差分グラフ６０１のいずれかの部分は、閾値線６０３を超えることになる。したがって、差分グラフ６０１において、閾値線６０３を超えた箇所を探索することにより、分析領域５０１において何らかの動きが発生した時間を特定できる可能性が高くなる。   In addition, the auxiliary information generation unit 310 detects the maximum difference from the difference information calculated by the difference calculation unit 308 for each frame acquired by the frame acquisition unit 307, and generates an auxiliary line indicating the maximum difference. To do. Further, the auxiliary information generation unit 310 obtains a value of a predetermined ratio of the maximum difference value as a threshold value and generates an auxiliary line indicating the threshold value. Then, as shown in FIG. 6, the auxiliary information generation unit 310 displays the maximum difference value line 602, which is an auxiliary line indicating the maximum difference, by superimposing it on the difference graph 601 displayed on the graph display unit 402. A threshold line 603 which is an auxiliary line indicating the threshold is displayed. In this way, as shown in FIG. 6, by displaying the maximum difference value line 602 and the threshold line 603 by superimposing it on the difference graph 601 displayed on the graph display unit 402, some difference is displayed in the video data analysis area 501. It is easy to identify the time when the movement occurs. Further, since the threshold value of the threshold line 603 is set to a value of a predetermined ratio of the maximum difference value of the maximum difference value line 602 as described above, any part of the difference graph 601 should exceed the threshold line 603. become. Therefore, by searching for a portion in the difference graph 601 that exceeds the threshold line 603, it is highly possible to specify the time when some movement has occurred in the analysis region 501.

また、上述した分析領域５０１が生産設備において部品の落下が予測される箇所に指定された場合の例では、差分グラフ６０１、最大差分値線６０２および閾値線６０３によって、動きが発生した時間、すなわち、部品が落下した時間を特定しやすくなる。また、上述した生産設備に備えられたシグナルタワーの青色ランプの映像部分を分析領域５０１として指定した例では、差分グラフ６０１、最大差分値線６０２および閾値線６０３によって、動きが発生した時間、すなわち、青色ランプが点灯した時間を特定しやすくなる。   Further, in the example in the case where the above-described analysis area 501 is designated as a place where the drop of parts is predicted in the production equipment, the time when the motion occurs, that is, the difference graph 601, the maximum difference value line 602, and the threshold line 603, , It becomes easier to identify the time when the part falls. Further, in the example in which the image part of the blue lamp of the signal tower provided in the above-mentioned production equipment is designated as the analysis region 501, the time when motion occurs, that is, the difference graph 601, the maximum difference value line 602, and the threshold line 603, , It becomes easier to specify the time when the blue lamp is turned on.

図７に示すアプリケーション画面４００は、グラフ表示部４０２におけるユーザによる入力装置３０３の操作、例えば、マウス１０８によってカーソル７０１が移動され、差分グラフ６０１が表示されたグラフ表示部４０２上でクリック操作がなされ、クリック操作されたときのカーソル７０１のポイントに対応する撮像時刻である指定時刻Ｔ１のフレーム（または、ポイントに対応する枚数目の映像データにおけるフレーム）が映像表示部４０１に表示される状態を示している。また、図７に示すアプリケーション画面４００は、ユーザによる入力装置３０３の操作によりスライダー４０５が移動され、指定時刻Ｔ１から１分後のフレームが映像表示部４０１に表示され、かつ、そのフレームの分析領域５０１内に落下物が映り込んでいる状態を示す。さらに、図７に示すアプリケーション画面４００は、ユーザによる入力装置３０３の操作によりマーキングボタン４０３ｆが押下されることによって、押下された時点のシークバー４０４上のスライダー４０５の直上部分にマーク８０１が表示された状態を示す。   In the application screen 400 shown in FIG. 7, the user operates the input device 303 in the graph display unit 402, for example, the cursor 701 is moved by the mouse 108 and a click operation is performed on the graph display unit 402 on which the difference graph 601 is displayed. Shows a state in which a frame at a designated time T1 (or a frame in the number of pieces of video data corresponding to the point) that is the imaging time corresponding to the point of the cursor 701 when the click operation is performed is displayed on the video display unit 401. ing. Further, in the application screen 400 shown in FIG. 7, the slider 405 is moved by the operation of the input device 303 by the user, the frame one minute after the designated time T1 is displayed on the video display unit 401, and the analysis area of the frame is displayed. A state in which a falling object is reflected in 501 is shown. Further, in the application screen 400 shown in FIG. 7, when the user presses the marking button 403f by operating the input device 303, the mark 801 is displayed on the seek bar 404 immediately above the slider 405. Indicates the status.

具体的には、まず、ユーザが、入力装置３０３であるマウス１０８によってカーソル７０１を移動させ、差分グラフ６０１が表示されたグラフ表示部４０２上でクリック操作すると、再生部３０５は、ユーザによるクリック操作がなされたときのカーソル７０１のポイントに対応する撮像時刻である指定時刻Ｔ１のフレームを映像表示部４０１に表示させる。また、再生部３０５は、指定時刻Ｔ１のフレームを映像表示部４０１に表示させたときに、指定時刻Ｔ１を時刻表示部４０８に表示させる。また、再生部３０５は、指定時刻Ｔ１のフレームを映像表示部４０１に表示させたときに、スライダー４０５をシークバー４０４の真ん中、すなわち「０：００」の部分に移動させる。すなわち、シークバー４０４の「０：００」が、時刻表示部４０８に表示された指定時刻Ｔ１に対応することになる。   Specifically, first, when the user moves the cursor 701 with the mouse 108 which is the input device 303 and performs a click operation on the graph display unit 402 on which the difference graph 601 is displayed, the reproducing unit 305 causes the user to perform a click operation. The frame at the designated time T1 which is the image capturing time corresponding to the point of the cursor 701 when is displayed is displayed on the video display unit 401. Further, the reproducing unit 305 causes the time display unit 408 to display the designated time T1 when the frame at the designated time T1 is displayed on the video display unit 401. Further, when the playback unit 305 displays the frame at the designated time T1 on the video display unit 401, the playback unit 305 moves the slider 405 to the center of the seek bar 404, that is, the “0:00” portion. That is, “0:00” on the seek bar 404 corresponds to the designated time T1 displayed on the time display unit 408.

次に、ユーザが入力装置３０３の操作によりスライダー４０５をシークバー４０４上でスライドさせると、再生部３０５は、指定時刻Ｔ１からシークバー４０４上のスライダー４０５の位置に対応する時間を加算した時刻に対応するフレームを映像表示部４０１に表示させる。図７に示すアプリケーション画面４００では、ユーザがスライダー４０５をシークバー４０４上の「１：００」の位置にスライドさせた場合に対応するフレーム、すなわち、指定時刻Ｔ１（ここでは、「１７：５９：１１．２８」）から１分後の時刻（図７の例では「１８：００：１１．２８」）に対応するフレームが映像表示部４０１に表示された例が示されている。そして、この場合、図７に示すように、映像表示部４０１に表示されたフレームの分析領域５０１には落下物が映り込んでおり、分析領域５０１内で動きが発生したフレームが探索できたことになる。このフレームの分析領域５０１についての差分の値は大きな値であることが想定され、すなわち、このフレームは、グラフ表示部４０２の差分グラフ６０１の最大差分値線６０２に達している山部近辺に対応するフレームであることが想定できる。   Next, when the user slides the slider 405 on the seek bar 404 by operating the input device 303, the reproducing unit 305 corresponds to the time obtained by adding the time corresponding to the position of the slider 405 on the seek bar 404 from the designated time T1. The frame is displayed on the video display unit 401. In the application screen 400 shown in FIG. 7, the frame corresponding to the case where the user slides the slider 405 to the position of “1:00” on the seek bar 404, that is, the designated time T1 (here, “17:59:11”). .28 ”) and a frame corresponding to a time (“ 18: 00: 11.28 ”in the example of FIG. 7) one minute after is displayed on the video display unit 401. In this case, as shown in FIG. 7, the falling object is reflected in the analysis area 501 of the frame displayed on the video display unit 401, and the frame in which the motion has occurred can be searched for in the analysis area 501. become. It is assumed that the value of the difference for the analysis region 501 of this frame is a large value, that is, this frame corresponds to the vicinity of the mountain portion reaching the maximum difference value line 602 of the difference graph 601 of the graph display unit 402. It can be assumed that the frame is a frame to be played.

また、上述した分析領域５０１が生産設備において部品の落下が予測される箇所に指定された場合の例では、差分グラフ６０１の閾値線６０３を超えた部分をクリック操作して、その時刻のフレームを映像表示部４０１に表示させ、スライダー４０５のスライド操作により当該時刻の前後の映像を確認することによって、どのように部品が落下し、なぜ落下したかの原因が特定しやすくなる。また、上述した生産設備に備えられたシグナルタワーの青色ランプの映像部分を分析領域５０１として指定した例では、同様に、差分グラフ６０１の閾値線６０３を超えた部分をクリック操作して、その時刻のフレームを映像表示部４０１に表示させ、スライダー４０５のスライド操作により当該時刻の前後の映像を確認することによって、どのような状態および環境でその異常が発生したのか解析しやすくなり、異常の発生の原因が特定しやすくなる。   Further, in the example in which the above-described analysis area 501 is designated as the place where the drop of the parts is predicted in the production equipment, the portion of the difference graph 601 beyond the threshold line 603 is clicked and the frame at that time is displayed. By displaying the image on the image display unit 401 and confirming the images before and after the time by the slide operation of the slider 405, it becomes easy to identify the cause of how the component dropped and why. Further, in the example in which the image part of the blue lamp of the signal tower provided in the above-mentioned production facility is designated as the analysis region 501, similarly, a part of the difference graph 601 beyond the threshold line 603 is clicked, and the time Is displayed on the image display unit 401, and the images before and after the time are checked by sliding the slider 405, which makes it easier to analyze in what state and environment the abnormality has occurred, and the abnormality has occurred. It is easier to identify the cause of.

また、図７に示すように、分析領域５０１において落下物が映り込んだ状態、すなわち分析領域５０１において動きが発生した状態において、ユーザが入力装置３０３の操作によりマーキングボタン４０３ｆを押下すると、補助情報生成部３１０は、シークバー４０４上のスライダー４０５の直上部分にマーク８０１を表示させる。このマーク８０１を表示させることによって、シークバー４０４上において動きが発生した時刻をマーキングしておくことができ、動きが発生した原因を解析するための手がかりとすることができる。   Further, as shown in FIG. 7, when a user presses the marking button 403f by operating the input device 303 in a state where a falling object is reflected in the analysis area 501, that is, in a state where a movement occurs in the analysis area 501, auxiliary information is displayed. The generation unit 310 displays the mark 801 on the seek bar 404 immediately above the slider 405. By displaying this mark 801, it is possible to mark the time at which the motion has occurred on the seek bar 404, and this can be used as a clue for analyzing the cause of the motion.

以上のように、差分演算部３０８は、フレーム取得部３０７により取得された分析時間分のフレームを受け取り、対象フレームと、比較対象となるフレームとの画素値についての特徴量（差分等）を演算し、グラフ生成部３０９は、差分演算部３０８により演算された特徴量の情報から、特徴量のグラフ（例えば、差分グラフ６０１）を生成して、表示装置３１２に表示させている。これによって、特徴量が大きくなる時間を特定しやすくなり、映像データにおいて何らかの動きが発生した時間を特定しやすくなる。   As described above, the difference calculation unit 308 receives the frames for the analysis time acquired by the frame acquisition unit 307, and calculates the feature amount (difference or the like) regarding the pixel value between the target frame and the frame to be compared. Then, the graph generation unit 309 generates a graph of the characteristic amount (for example, the difference graph 601) from the information of the characteristic amount calculated by the difference calculation unit 308 and causes the display device 312 to display the graph. As a result, it is easy to identify the time when the feature amount becomes large, and it is easy to identify the time when some movement occurs in the video data.

さらに、補助情報生成部３１０は、グラフ表示部４０２に表示された差分グラフ６０１に重畳して、最大の特徴量を示す最大値線（例えば、最大差分値線６０２）を表示させ、閾値を示す補助線である閾値線（例えば、閾値線６０３）を表示させるものとしている。これによって、差分グラフ６０１において何らかの動きが発生した時間をさらに特定しやすくなる。   Further, the auxiliary information generation unit 310 displays the maximum value line (for example, the maximum difference value line 602) indicating the maximum feature amount by superimposing it on the difference graph 601 displayed on the graph display unit 402 and indicating the threshold value. A threshold line (for example, threshold line 603) that is an auxiliary line is displayed. This makes it easier to specify the time when some movement occurs in the difference graph 601.

また、領域指定部３０６は、映像データの表示領域（映像表示部４０１）において分析領域を指定し、差分演算部３０８は、フレーム取得部３０７により取得されたフレームに対して、対象フレームの分析領域と、比較対象となるフレームの分析領域との画素値についての特徴量として演算するものとしている。これによって、動きが発生していると思われる箇所を分析領域として指定することができるので、差分演算部３０８によって演算される特徴量について、動きが発生した場合の特徴量の変化が顕著になるので、特徴量が大きく変化する時間を特定しやすくなり、映像データにおいて何らかの動きが発生した時間をさらに特定しやすくなる。例えば、差分演算部３０８による特徴量の演算の対象をフレーム全体とした場合、映像データの表示領域全体で常時動きがあると、その全体の動きによる特徴量の変化がグラフに出ることになる。そのため、映像データの表示領域のうち、ユーザが分析を所望し、動き（例えば、物体の落下等）が発生していると思われる箇所において、当該動きが発生しても、特徴量の変化としてグラフに現れない可能性がある。一方、領域指定部３０６によって分析領域として上述の箇所が指定されることによって、分析領域内で発生する動きが、特徴量の変化としてグラフに突出して現れる可能性が高くなり、当該動きが発生する状態を把握しやすくなる。   Further, the area designation unit 306 designates an analysis area in the display area of the video data (video display unit 401), and the difference calculation unit 308 sets the analysis area of the target frame for the frame acquired by the frame acquisition unit 307. And the pixel value of the analysis area of the frame to be compared is calculated as a feature amount. As a result, it is possible to specify a portion in which motion is considered to occur as the analysis area, so that the feature amount calculated by the difference calculation unit 308 changes significantly when the motion occurs. Therefore, it becomes easier to specify the time when the feature amount changes significantly, and it becomes easier to specify the time when some movement occurs in the video data. For example, when the target of the calculation of the characteristic amount by the difference calculation unit 308 is the entire frame, and there is always movement in the entire display area of the video data, the change in the characteristic amount due to the entire movement appears in the graph. Therefore, in the display area of the video data, when the user desires analysis and movement (for example, a fall of an object) seems to occur, even if the movement occurs, the change in the feature amount It may not appear on the graph. On the other hand, when the above-mentioned location is designated as the analysis area by the area designation unit 306, the movement occurring in the analysis area is highly likely to appear as a change in the feature amount in the graph, and the movement occurs. It becomes easier to understand the status.

また、特徴量のグラフが表示されたグラフ表示部４０２の領域の特定部分を入力装置３０３によって指示する操作（例えば、マウス１０８によるクリック操作）によって、再生部３０５は、指示された特定部分のフレームを映像表示部４０１に表示させるものとしている。これによって、ユーザが所望する撮像時刻のフレームを素早く表示させることができ、動きが発生した原因、またはその動きに伴う事象が発生した原因を特定しやすくすることができる。   In addition, by an operation (for example, a click operation by the mouse 108) of instructing a specific portion of the area of the graph display unit 402 in which the graph of the characteristic amount is displayed, the reproducing unit 305 causes the frame of the instructed specific portion to be displayed. Is displayed on the video display unit 401. This makes it possible to quickly display the frame at the imaging time desired by the user, and to easily identify the cause of the motion or the cause of the event accompanying the motion.

また、上述のように、再生部３０５により、指示された特定部分に対応する撮像時刻のフレームが映像表示部４０１により表示されてから、シークバー４０４のスライダー４０５をスライドさせることにより、ユーザは、その撮像時刻を基準にして前後の映像を確認することができる。これによって、動きが発生した原因、またはその動きに伴う事象が発生した原因をさらに特定しやすくなる。   In addition, as described above, the playback unit 305 causes the video display unit 401 to display the frame of the image capturing time corresponding to the specified specific portion, and then the slider 405 of the seek bar 404 is slid to allow the user to It is possible to check the front and back images based on the image capturing time. This makes it easier to identify the cause of the movement or the cause of the event accompanying the movement.

（差分グラフを表示させる画像処理動作）
図８は、実施の形態の画像処理システムにおいて差分グラフを表示させる画像処理動作の一例を示すフローチャートである。図８を参照しながら、差分グラフを表示させるまでの画像処理（分析）の動作の流れを総括的に説明する。 (Image processing operation to display difference graph)
FIG. 8 is a flowchart showing an example of an image processing operation for displaying a difference graph in the image processing system according to the embodiment. The flow of the image processing (analysis) operation until the difference graph is displayed will be generally described with reference to FIG.

＜ステップＳ１１＞
再生部３０５は、記憶部３０２から取得した撮像装置２の映像データを、アプリケーション画面４００の映像表示部４０１に再生表示させる。そして、ステップＳ１２へ移行する。 <Step S11>
The reproduction unit 305 reproduces and displays the video data of the imaging device 2 acquired from the storage unit 302 on the video display unit 401 of the application screen 400. Then, the process proceeds to step S12.

＜ステップＳ１２＞
領域指定部３０６は、ユーザによる入力装置３０３の操作（例えば、ドラッグ操作）に従って、映像表示部４０１におけるフレームの差分を求めるための指定した領域である分析領域５０１を指定し、指定した分析領域５０１の情報を記憶部３０２に記憶させる。そして、ステップＳ１３へ移行する。 <Step S12>
The area designating unit 306 designates an analysis area 501 which is a designated area for obtaining a frame difference in the video display unit 401 in accordance with an operation (for example, a drag operation) of the input device 303 by the user, and the designated analysis area 501. Information is stored in the storage unit 302. Then, the process proceeds to step S13.

＜ステップＳ１３＞
フレーム取得部３０７は、ユーザによる入力装置３０３の操作により分析開始ボタン４１０が押下されることによって、映像表示部４０１で再生表示されている映像データのうち、分析開始ボタン４１０が押下されたときの映像データの撮像時刻から、設定部３０４により設定された分析時間前までのフレームを取得する。そして、ステップＳ１４へ移行する。なお、ステップＳ１４へ移行するタイミングは、必ずしも、検知領域指定部３０７によって、設定された分析時間前までのすべてのフレームが取得された後である必要はなく、フレームが取得されている途中であってもよい。 <Step S13>
When the analysis start button 410 is pressed by the user operating the input device 303 by the user operating the input device 303, the frame acquisition unit 307 detects that the analysis start button 410 of the video data reproduced and displayed on the video display unit 401 is pressed. The frames from the image capturing time of the video data up to the analysis time set by the setting unit 304 are acquired. Then, the process proceeds to step S14. The timing of shifting to step S14 does not necessarily have to be after the detection area designating unit 307 has acquired all the frames up to the set analysis time, and may be during the acquisition of the frames. May be.

＜ステップＳ１４＞
差分演算部３０８が、フレーム取得部３０７により取得された各フレーム（対象フレーム）に対して、対象フレームの直前のフレーム、または所定時間前のフレームを比較対象となるフレームとして、画素値についての差分を演算する場合（ステップＳ１４：前フレーム）、ステップＳ１６へ移行する。一方、差分演算部３０８が、フレーム取得部３０７により取得された各フレーム（対象フレーム）に対して、特定の固定フレームを比較対象となるフレームとして、画素値についての差分を演算する場合（ステップＳ１４：特定フレーム）、ステップＳ１５へ移行する。なお、比較対象となるフレームを対象フレームの直前のフレームもしくは所定時間前のフレーム、または、特定の固定フレームとするかは、設定部３０４によって設定情報として設定されているものとしてもよい。 <Step S14>
The difference calculation unit 308 regards each frame (target frame) acquired by the frame acquisition unit 307 as a frame to be compared with a frame immediately before the target frame or a frame before a predetermined time, and calculates a difference in pixel value. Is calculated (step S14: previous frame), the process proceeds to step S16. On the other hand, in the case where the difference calculation unit 308 calculates the difference in pixel value with respect to each frame (target frame) acquired by the frame acquisition unit 307, using a specific fixed frame as a comparison target frame (step S14). : Specific frame), the process proceeds to step S15. The setting unit 304 may set, as setting information, whether the frame to be compared is a frame immediately before the target frame, a frame before a predetermined time, or a specific fixed frame.

＜ステップＳ１５＞
差分演算部３０８は、フレーム取得部３０７により取得されたフレームを受け取り、かつ、記憶部３０２に記憶された分析領域５０１の情報を受け取り、対象フレームの分析領域５０１と、特定の固定フレームの分析領域５０１との画素値についての差分を、フレームの特徴量として演算する。このとき、差分演算部３０８は、フレーム取得部３０７により取得された全フレームについて差分を演算する。そして、ステップＳ１７へ移行する。 <Step S15>
The difference calculation unit 308 receives the frame acquired by the frame acquisition unit 307, receives the information of the analysis area 501 stored in the storage unit 302, and analyzes the analysis area 501 of the target frame and the analysis area of the specific fixed frame. The difference between the pixel value and 501 is calculated as the frame feature amount. At this time, the difference calculation unit 308 calculates the difference for all the frames acquired by the frame acquisition unit 307. Then, the process proceeds to step S17.

＜ステップＳ１６＞
差分演算部３０８は、フレーム取得部３０７により取得されたフレームを受け取り、かつ、記憶部３０２に記憶された分析領域５０１の情報を受け取り、対象フレームの分析領域５０１と、対象フレームの直前のフレーム、または所定時間前のフレームの分析領域５０１との画素値についての差分を、フレームの特徴量として演算する。このとき、差分演算部３０８は、フレーム取得部３０７により取得された全フレームについて差分を演算する。そして、ステップＳ１７へ移行する。 <Step S16>
The difference calculation unit 308 receives the frame acquired by the frame acquisition unit 307, receives the information of the analysis area 501 stored in the storage unit 302, and analyzes the analysis area 501 of the target frame and the frame immediately before the target frame. Alternatively, the difference between the pixel value and the analysis area 501 of the frame a predetermined time before is calculated as the feature amount of the frame. At this time, the difference calculation unit 308 calculates the difference for all the frames acquired by the frame acquisition unit 307. Then, the process proceeds to step S17.

＜ステップＳ１７＞
補助情報生成部３１０は、フレーム取得部３０７により取得された各フレームについて差分演算部３０８により演算された差分の情報から、最大の差分を検出して、最大の差分を示す補助線を生成する。補助情報生成部３１０は、最大の差分の値の所定割合の値を閾値として求め、閾値を示す補助線を生成する。そして、ステップＳ１８へ移行する。 <Step S17>
The auxiliary information generation unit 310 detects the maximum difference from the difference information calculated by the difference calculation unit 308 for each frame acquired by the frame acquisition unit 307, and generates an auxiliary line indicating the maximum difference. The auxiliary information generation unit 310 obtains a value of a predetermined ratio of the maximum difference value as a threshold value, and generates an auxiliary line indicating the threshold value. Then, the process proceeds to step S18.

＜ステップＳ１８＞
グラフ生成部３０９が、フレーム取得部３０７により取得された各フレームについて差分演算部３０８により演算された差分の情報から、すべての差分値を時系列に表すグラフを生成する場合（ステップＳ１８：Ｎｏ）、ステップＳ１９へ移行し、所定のサンプリング幅に含まれるフレームごとに対応する差分値を時系列に表すグラフを生成する場合（ステップＳ１８：Ｙｅｓ）、ステップＳ２０へ移行する。なお、すべての差分値のグラフを生成するか、所定のサンプリング幅に含まれるフレームごとに対応する差分値のグラフを生成するかは、設定部３０４によって設定情報として設定されているものとしてもよい。 <Step S18>
In the case where the graph generation unit 309 generates a graph that represents all the difference values in time series from the difference information calculated by the difference calculation unit 308 for each frame acquired by the frame acquisition unit 307 (step S18: No) Then, the process proceeds to step S19, and when a graph representing the time series of the difference values corresponding to each frame included in the predetermined sampling width is generated (step S18: Yes), the process proceeds to step S20. It should be noted that whether to generate a graph of all difference values or a graph of difference values corresponding to each frame included in a predetermined sampling width may be set as setting information by the setting unit 304. .

＜ステップＳ１９＞
グラフ生成部３０９は、フレーム取得部３０７により取得された各フレームについて差分演算部３０８により演算された差分の情報から、すべての差分値を時系列に表すグラフを生成し、グラフ表示部４０２に表示させる。そして、ステップＳ２１へ移行する。 <Step S19>
The graph generation unit 309 generates a graph showing all the difference values in time series from the difference information calculated by the difference calculation unit 308 for each frame acquired by the frame acquisition unit 307, and displays the graph on the graph display unit 402. Let Then, the process proceeds to step S21.

＜ステップＳ２０＞
グラフ生成部３０９は、フレーム取得部３０７により取得された各フレームについて差分演算部３０８により演算された差分の情報から、所定のサンプリング幅に含まれるフレームごとに対応する差分値を時系列に表すグラフを生成し、グラフ表示部４０２に表示させる。ここで、所定のサンプリング幅（例えば、上述のように１秒）に含まれるフレームごとに対応する差分は、例えば、そのサンプリング幅に含まれるフレームに対して、それぞれ差分演算部３０８により演算された差分のうち、最大となる差分をサンプリングしたものとする。なお、この場合、図７で上述したように、差分グラフが表示されたグラフ表示部４０２においてクリック操作がされた場合、カーソル７０１のポイントに対応する撮像時刻が含まれるサンプリング幅に属する最大の差分に対応するフレームの撮像時刻を、指定時刻Ｔ１とすればよい。そして、ステップＳ２１へ移行する。 <Step S20>
The graph generation unit 309 is a graph that represents, in time series, a difference value corresponding to each frame included in a predetermined sampling width, based on the difference information calculated by the difference calculation unit 308 for each frame acquired by the frame acquisition unit 307. Is generated and displayed on the graph display unit 402. Here, the difference corresponding to each frame included in a predetermined sampling width (for example, 1 second as described above) is calculated by the difference calculation unit 308 for each frame included in the sampling width. Among the differences, the maximum difference is sampled. In this case, as described above with reference to FIG. 7, when the click operation is performed on the graph display unit 402 in which the difference graph is displayed, the maximum difference belonging to the sampling width that includes the imaging time corresponding to the point of the cursor 701. The imaging time of the frame corresponding to is designated time T1. Then, the process proceeds to step S21.

＜ステップＳ２１＞
グラフ表示部４０２におけるユーザによる入力装置３０３の操作、例えば、マウス１０８によってカーソル７０１を移動させ、差分グラフ６０１が表示されたグラフ表示部４０２上でクリック操作がなされることにより、クリック操作したときのカーソル７０１のポイントに対応する撮像時刻である指定時刻Ｔ１のフレーム（または、ポイントに対応する枚数目の映像データにおけるフレーム）が映像表示部４０１に表示される。以上で、差分値のグラフを表示させ、指定時刻Ｔ１のフレームを映像表示部４０１に表示させる画像処理（分析）の動作を終了する。 <Step S21>
When the user operates the input device 303 in the graph display unit 402, for example, the cursor 701 is moved by the mouse 108, and the click operation is performed on the graph display unit 402 in which the difference graph 601 is displayed. A frame at the designated time T1 that is the imaging time corresponding to the point of the cursor 701 (or a frame in the number of pieces of video data corresponding to the point) is displayed on the video display unit 401. Thus, the operation of the image processing (analysis) for displaying the graph of the difference value and displaying the frame at the designated time T1 on the video display unit 401 is completed.

また、本実施の形態の設定部３０４、再生部３０５、領域指定部３０６、フレーム取得部３０７、差分演算部３０８、グラフ生成部３０９、補助情報生成部３１０および表示制御部３１１の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、本実施の形態の情報処理装置３で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、本実施の形態の情報処理装置３で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態の情報処理装置３で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。本実施の形態の情報処理装置３で実行されるプログラムは、上述した設定部３０４、再生部３０５、領域指定部３０６、フレーム取得部３０７、差分演算部３０８、グラフ生成部３０９、補助情報生成部３１０および表示制御部３１１の少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上述のＲＯＭからプログラムを読み出して実行することにより、上述の各部が主記憶装置上にロードされて生成されるようになっている。   Further, at least one of the setting unit 304, the reproduction unit 305, the area designation unit 306, the frame acquisition unit 307, the difference calculation unit 308, the graph generation unit 309, the auxiliary information generation unit 310, and the display control unit 311 according to the present embodiment. When realized by executing the program, the program is provided by being pre-installed in a ROM or the like. The program executed by the information processing device 3 of the present embodiment is a file in an installable format or an executable format, and is read by a computer such as a CD-ROM, a flexible disk (FD), a CD-R, or a DVD. It may be configured to be recorded and provided on a possible recording medium. Further, the program executed by the information processing device 3 of the present embodiment may be stored in a computer connected to a network such as the Internet and provided by being downloaded via the network. Further, the program executed by the information processing device 3 of the present embodiment may be provided or distributed via a network such as the Internet. The program executed by the information processing device 3 according to the present embodiment includes the setting unit 304, the reproduction unit 305, the area designation unit 306, the frame acquisition unit 307, the difference calculation unit 308, the graph generation unit 309, and the auxiliary information generation unit described above. A module configuration including at least one of 310 and a display control unit 311 is provided, and as actual hardware, the CPU reads a program from the ROM and executes the program so that the above-described units are loaded onto the main storage device. It is designed to be generated.

１ 画像処理システム
２、２ａ〜２ｄ 撮像装置
３ 情報処理装置
４ ネットワーク
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 外部記憶装置
１０５ ディスプレイ
１０６ ネットワークＩ／Ｆ
１０７ キーボード
１０８ マウス
１０９ ＤＶＤドライブ
１１０ ＤＶＤ
１１１ バス
３０１ 映像受信部
３０２ 記憶部
３０３ 入力装置
３０４ 設定部
３０５ 再生部
３０６ 領域指定部
３０７ フレーム取得部
３０８ 差分演算部
３０９ グラフ生成部
３１０ 補助情報生成部
３１１ 表示制御部
３１２ 表示装置
４００ アプリケーション画面
４０１ 映像表示部
４０１ａ カメラ選択部
４０２ グラフ表示部
４０３ａ 再生ボタン
４０３ｂ 一時停止ボタン
４０３ｃ 早送りボタン
４０３ｄ 早戻しボタン
４０３ｅ 停止ボタン
４０３ｆ マーキングボタン
４０４ シークバー
４０５ スライダー
４０６ａ 映像拡大ボタン
４０６ｂ 映像縮小ボタン
４０７ａ スパン拡大ボタン
４０７ｂ スパン縮小ボタン
４０８ 時刻表示部
４０９ 分析時間設定部
４１０ 分析開始ボタン
４１１ 分析停止ボタン
５０１ 分析領域
６０１ 差分グラフ
６０２ 最大差分値線
６０３ 閾値線
６０４ 終了時刻表示部
６０５ 開始時刻表示部
７０１ カーソル
８０１ マーク
Ｔ１ 指定時刻 DESCRIPTION OF SYMBOLS 1 Image processing system 2, 2a-2d Imaging device 3 Information processing device 4 Network 101 CPU
102 ROM
103 RAM
104 External Storage Device 105 Display 106 Network I / F
107 Keyboard 108 Mouse 109 DVD Drive 110 DVD
111 bus 301 video receiving unit 302 storage unit 303 input device 304 setting unit 305 reproducing unit 306 region specifying unit 307 frame obtaining unit 308 difference calculating unit 309 graph generating unit 310 auxiliary information generating unit 311 display control unit 312 display device 400 application screen 401 Image display unit 401a Camera selection unit 402 Graph display unit 403a Play button 403b Pause button 403c Fast forward button 403d Fast rewind button 403e Stop button 403f Marking button 404 Seek bar 405 Slider 406a Image enlargement button 406b Image reduction button 407a Span enlargement button 407b Span reduction Button 408 Time display section 409 Analysis time setting section 410 Analysis start button 411 Analysis stop button 501 Analysis area 601 Difference Graph 602 maximum difference value line 603 the threshold line 604 end time display part 605 starts the time display unit 701 cursor 801 marks T1 specified time

特許第４７０６５７３号公報Japanese Patent No. 4706573

上述した課題を解決し、目的を達成するために、本発明は、撮像手段により撮像された映像データを表示手段に再生表示させる再生手段と、前記映像データに含まれるフレームごとに画素値の特徴量を演算する演算手段と、前記演算手段により演算された前記特徴量によって、該特徴量を時系列に表すグラフを生成して前記表示手段に表示させる生成手段と、前記表示手段により表示された前記グラフの表示領域のいずれかの部分を指定し、前記部分に対応する前記フレームを、前記再生手段により前記表示手段に表示させるフレーム指定手段と、前記表示手段により表示された前記映像データの表示領域において分析領域を指定する領域指定手段と、を備え、前記演算手段は、前記映像データに含まれる前記フレームごとに、該フレームの前記分析領域と、基準フレームの前記分析領域とにおいて画素のユークリッド距離による色差に基づく前記特徴量を演算することを特徴とする。 To solve the above problems and achieve the object, the present invention includes a reproduction means for the video data captured by an imaging unit is reproduced and displayed on the Viewing means, pixel values for each frame included in the video data Calculating means for calculating the characteristic amount, generating means for generating a graph representing the characteristic amount in time series by the characteristic amount calculated by the calculating means and displaying the graph on the displaying means, and displaying by the displaying means. A frame designating unit that designates any part of the display area of the displayed graph, and causes the display unit to display the frame corresponding to the part, and the video data displayed by the display unit. and an area specifying means for specifying the analysis region in the display area of said calculating means, for each of the frames included in the video data, of the frame And serial analysis region, characterized by calculating the feature data based on the color difference due to the Euclidean distance of the pixel in said analysis region of the reference frame.

Claims (16)

表示手段と、
撮像手段により撮像された映像データを前記表示手段に再生表示させる再生手段と、
前記映像データに含まれるフレームごとに画素値の特徴量を演算する演算手段と、
前記演算手段により演算された前記特徴量によって、該特徴量を時系列に表すグラフを生成して前記表示手段に表示させる生成手段と、
前記表示手段により表示された前記グラフの表示領域のいずれかの部分を指定し、前記部分に対応する前記フレームを、前記再生手段により前記表示手段に表示させるフレーム指定手段と、
を備えた画像処理装置。 Display means,
Reproduction means for reproducing and displaying the video data imaged by the imaging means on the display means,
Calculation means for calculating a feature value of a pixel value for each frame included in the video data,
Generating means for generating a graph representing the characteristic amount in time series by the characteristic amount calculated by the calculating means and displaying the graph on the display means;
Frame designating means for designating any part of the display area of the graph displayed by the display means and displaying the frame corresponding to the part on the display means by the reproducing means,
An image processing apparatus equipped with. 前記フレーム指定手段は、前記部分に対応する撮像時刻の前記フレームを、前記再生手段により前記表示手段に表示させる請求項１に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the frame designation unit causes the display unit to display the frame at the image capturing time corresponding to the portion by the reproduction unit. 入力手段を、さらに備え、
前記フレーム指定手段は、前記入力手段からの操作信号に従って、前記部分を指定する請求項１または２に記載の画像処理装置。 Further comprising input means,
The image processing apparatus according to claim 1, wherein the frame designation unit designates the portion according to an operation signal from the input unit. 前記表示手段により表示された前記映像データの表示領域において分析領域を指定する領域指定手段を、さらに備え、
前記演算手段は、前記映像データに含まれる前記フレームごとに前記分析領域の前記特徴量を演算する請求項１または２に記載の画像処理装置。 Further comprising area specifying means for specifying an analysis area in the display area of the video data displayed by the display means,
The image processing apparatus according to claim 1, wherein the calculation unit calculates the characteristic amount of the analysis region for each frame included in the video data. 入力手段を、さらに備え、
前記領域指定手段は、前記入力手段からの操作信号に従って、前記分析領域を指定する請求項４に記載の画像処理装置。 Further comprising input means,
The image processing apparatus according to claim 4, wherein the area designating unit designates the analysis area according to an operation signal from the input unit. 前記演算手段は、前記映像データに含まれる前記フレームの前記分析領域と、基準フレームの前記分析領域との画素値についての差分を前記特徴量として演算する請求項４または５に記載の画像処理装置。   The image processing apparatus according to claim 4, wherein the calculation unit calculates a difference between a pixel value of the analysis area of the frame included in the video data and a difference of a pixel value of the analysis area of a reference frame as the feature amount. . 前記基準フレームは、前記演算手段による前記差分の演算対象となる前記フレームの直前または所定時間前のフレームである請求項６に記載の画像処理装置。   7. The image processing apparatus according to claim 6, wherein the reference frame is a frame immediately before or a predetermined time before the frame on which the difference is calculated by the calculation unit. 前記基準フレームは、特定の固定フレームである請求項６に記載の画像処理装置。   The image processing apparatus according to claim 6, wherein the reference frame is a specific fixed frame. 前記演算手段は、前記映像データに含まれる前記フレームの前記分析領域における所定の色に関する画素値の合計を前記特徴量として演算する請求項４または５に記載の画像処理装置。   The image processing device according to claim 4, wherein the calculation unit calculates a sum of pixel values regarding a predetermined color in the analysis region of the frame included in the video data as the feature amount. 前記領域指定手段は、前記映像データの表示領域において、複数の前記分析領域を指定する請求項３〜７のいずれか一項に記載の画像処理装置。   The image processing device according to claim 3, wherein the area designating unit designates a plurality of the analysis areas in a display area of the video data. 前記表示手段により表示されている前記映像データに含まれる前記フレームのうち、所定期間に含まれる前記フレームを取得する取得手段を、さらに備え、
前記演算手段は、前記取得手段により取得された前記フレームごとに前記特徴量を演算する請求項１〜１０のいずれか一項に記載の画像処理装置。 Out of the frames included in the video data displayed by the display unit, further includes an acquisition unit that acquires the frame included in a predetermined period,
The image processing apparatus according to claim 1, wherein the calculation unit calculates the feature amount for each of the frames acquired by the acquisition unit. 前記演算手段により演算された前記特徴量から最大値を求め、前記最大値の所定割合の値を閾値として算出し前記グラフに重畳して前記閾値の補助線を前記表示手段に表示させる閾値算出手段を、さらに備えた請求項１〜１１のいずれか一項に記載の画像処理装置。   A threshold value calculating unit that obtains a maximum value from the characteristic amount calculated by the calculating unit, calculates a value of a predetermined ratio of the maximum value as a threshold value, and superimposes the value on the graph to display the auxiliary line of the threshold value on the display unit. The image processing apparatus according to claim 1, further comprising: 前記撮像時刻の前記フレームの前後のフレームに基づく映像を、前記再生手段により前記表示手段に表示させる表示操作手段を、さらに備えた請求項１〜１２のいずれか一項に記載の画像処理装置。   The image processing apparatus according to claim 1, further comprising a display operation unit that causes the display unit to display images based on frames before and after the frame at the image capturing time. １以上の前記撮像手段と、
請求項１〜１３のいずれか一項に記載された画像処理装置と、
を備えた画像処理システム。 One or more of the imaging means,
An image processing apparatus according to any one of claims 1 to 13,
Image processing system equipped with. 撮像手段により撮像された映像データを表示手段に再生表示させる再生ステップと、
前記映像データに含まれるフレームごとに画素値の特徴量を演算する演算ステップと、
演算した前記特徴量によって、該特徴量を時系列に表すグラフを生成して前記表示手段に表示させる生成ステップと、
前記表示手段により表示された前記グラフの表示領域のいずれかの部分を指定し、前記部分に対応する前記フレームを前記表示手段に表示させるフレーム指定ステップと、
を有する画像処理方法。 A reproduction step of reproducing and displaying the video data imaged by the imaging means on the display means,
A calculation step of calculating a feature value of a pixel value for each frame included in the video data,
A generation step of generating a graph representing the characteristic amount in time series by the calculated characteristic amount and displaying the graph on the display means;
A frame designating step of designating any part of the display area of the graph displayed by the display means and displaying the frame corresponding to the part on the display means;
An image processing method including. コンピュータに、
撮像手段により撮像された映像データを表示手段に再生表示させる再生処理と、
前記映像データに含まれるフレームごとに画素値の特徴量を演算する演算処理と、
演算した前記特徴量によって、該特徴量を時系列に表すグラフを生成して前記表示手段に表示させる生成処理と、
前記表示手段により表示された前記グラフの表示領域のいずれかの部分を指定し、前記部分に対応する前記フレームを前記表示手段に表示させるフレーム指定処理と、
を実行させるプログラム。 On the computer,
A reproduction process for reproducing and displaying the video data imaged by the imaging means on the display means,
A calculation process for calculating a feature value of a pixel value for each frame included in the video data,
A generation process of generating a graph representing the feature amount in time series based on the calculated feature amount and displaying the graph on the display means;
A frame designation process of designating any part of the display area of the graph displayed by the display means and displaying the frame corresponding to the part on the display means;
A program to execute.
JP2019161379A 2019-09-04 2019-09-04 Image processing apparatus, image processing system, image processing method and program Pending JP2020065248A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019161379A JP2020065248A (en) 2019-09-04 2019-09-04 Image processing apparatus, image processing system, image processing method and program
JP2021153929A JP2022000970A (en) 2019-09-04 2021-09-22 Image processing apparatus, image processing system, image processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019161379A JP2020065248A (en) 2019-09-04 2019-09-04 Image processing apparatus, image processing system, image processing method and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014161715A Division JP2016039496A (en) 2014-08-07 2014-08-07 Image processing apparatus, image processing system, image processing method and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021153929A Division JP2022000970A (en) 2019-09-04 2021-09-22 Image processing apparatus, image processing system, image processing method and program

Publications (1)

Publication Number Publication Date
JP2020065248A true JP2020065248A (en) 2020-04-23

Family

ID=70387626

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019161379A Pending JP2020065248A (en) 2019-09-04 2019-09-04 Image processing apparatus, image processing system, image processing method and program
JP2021153929A Pending JP2022000970A (en) 2019-09-04 2021-09-22 Image processing apparatus, image processing system, image processing method and program

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021153929A Pending JP2022000970A (en) 2019-09-04 2021-09-22 Image processing apparatus, image processing system, image processing method and program

Country Status (1)

Country Link
JP (2) JP2020065248A (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06343146A (en) * 1993-03-15 1994-12-13 Toshiba Corp Reproducing device and reproducing method
JP2000099701A (en) * 1998-09-24 2000-04-07 Dainippon Screen Mfg Co Ltd Image color processor, image color processing method and recording medium
JP2000224542A (en) * 1999-01-29 2000-08-11 Hitachi Ltd Image storage device, monitor system and storage medium
JP2002335478A (en) * 2001-05-07 2002-11-22 Ricoh Co Ltd Video recording reproducing system
JP2012099979A (en) * 2010-10-29 2012-05-24 Keyence Corp Moving image capturing device, moving image observation method, moving image observation program, and computer-readable recording medium
JP2013239031A (en) * 2012-05-15 2013-11-28 Tukuyomi Kk Program for making buy/sell decisions, system for making buy/sell decisions, and method for making buy/sell decisions
JP2014033429A (en) * 2012-07-12 2014-02-20 Nk Works Co Ltd Image processing program and image processing apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06343146A (en) * 1993-03-15 1994-12-13 Toshiba Corp Reproducing device and reproducing method
JP2000099701A (en) * 1998-09-24 2000-04-07 Dainippon Screen Mfg Co Ltd Image color processor, image color processing method and recording medium
JP2000224542A (en) * 1999-01-29 2000-08-11 Hitachi Ltd Image storage device, monitor system and storage medium
JP2002335478A (en) * 2001-05-07 2002-11-22 Ricoh Co Ltd Video recording reproducing system
JP2012099979A (en) * 2010-10-29 2012-05-24 Keyence Corp Moving image capturing device, moving image observation method, moving image observation program, and computer-readable recording medium
JP2013239031A (en) * 2012-05-15 2013-11-28 Tukuyomi Kk Program for making buy/sell decisions, system for making buy/sell decisions, and method for making buy/sell decisions
JP2014033429A (en) * 2012-07-12 2014-02-20 Nk Works Co Ltd Image processing program and image processing apparatus

Also Published As

Publication number Publication date
JP2022000970A (en) 2022-01-04

Similar Documents

Publication Publication Date Title
JP6816802B2 (en) Image processing equipment, image processing systems, image processing methods and programs
JP6733785B2 (en) Image processing apparatus, image processing system, image processing method, and program
JP6390720B2 (en) Image processing apparatus, image processing system, and image processing method
JP3823333B2 (en) Moving image change point detection method, moving image change point detection apparatus, moving image change point detection system
JP6756338B2 (en) Image processing equipment, image processing systems, image processing methods and programs
JP2018073176A (en) Image processing device, image processing system, image processing method and program
JP2016039496A (en) Image processing apparatus, image processing system, image processing method and program
JP6828377B2 (en) Image processing equipment, image processing systems, image processing methods and programs
JP2021027579A (en) Image determination device and image determination system
JP2007149095A (en) Method and device for detecting variation point of moving image
JP2020065248A (en) Image processing apparatus, image processing system, image processing method and program
EP4294003A2 (en) Image-based determination apparatus and image-based determination system
JP3941808B2 (en) Moving image change point detection method and apparatus
JP2008263657A (en) Image processor, thumbnail moving image creation method and thumbnail moving image creation program
JP2017011498A (en) Moving image reproduction device and moving image reproduction method
US11330140B2 (en) Image processing apparatus and image processing method
CN111459590A (en) Screenshot processing method and electronic equipment
JP2015156658A (en) Information processing unit, control method of the same and program
JP2012222651A (en) Video playback device, video playback method, and video playback program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191003

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191003

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210324

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210622