JP2020129741A - Image data extraction device and image data extraction method - Google Patents

Image data extraction device and image data extraction method Download PDF

Info

Publication number
JP2020129741A
JP2020129741A JP2019021389A JP2019021389A JP2020129741A JP 2020129741 A JP2020129741 A JP 2020129741A JP 2019021389 A JP2019021389 A JP 2019021389A JP 2019021389 A JP2019021389 A JP 2019021389A JP 2020129741 A JP2020129741 A JP 2020129741A
Authority
JP
Japan
Prior art keywords
image
input
unit
command
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019021389A
Other languages
Japanese (ja)
Other versions
JP7398869B2 (en
Inventor
涼平 戸崎
Ryohei Tozaki
涼平 戸崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba IT and Control Systems Corp
Original Assignee
Toshiba IT and Control Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba IT and Control Systems Corp filed Critical Toshiba IT and Control Systems Corp
Priority to JP2019021389A priority Critical patent/JP7398869B2/en
Publication of JP2020129741A publication Critical patent/JP2020129741A/en
Application granted granted Critical
Publication of JP7398869B2 publication Critical patent/JP7398869B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

To extract a desired image as an object image from each of a plurality of continuous frames structuring a moving image by a simple operation.SOLUTION: An image data extraction device 1 includes: a display part 3 that reproduces a moving image structured by a plurality of continuous frames; an input part 2 into which a first coordinate and a second coordinate in the moving image reproduced by the display part 3 are input; a selection part 41 that selects an image inside of a surrounding region surrounded by a polygon or an elliptical structured on the basis of the first and second coordinates input into the input part 2 as a reference image from one frame among the plurality of continuous frames; an extraction part 42 that extracts the image corresponding to the reference image as an object image from each of the plurality of continuous frames structuring the moving image on the basis of the reference image selected from the selection part 41; and a storage part 5 that stores the object image extracted from the extraction part 42.SELECTED DRAWING: Figure 1

Description

本実施形態は連続した複数のフレームにより構成された動画における対象となる画像を抽出する画像データ抽出装置および画像データ抽出方法に関する。 The present embodiment relates to an image data extraction device and an image data extraction method for extracting a target image in a moving image composed of a plurality of continuous frames.

複数のフレームにより構成された動画における対象となる画像を抽出する画像データ抽出装置が知られている。 There is known an image data extraction device that extracts a target image in a moving image composed of a plurality of frames.

特開２０１５−６９４３２号公報JP, 2005-69432, A 特開２０１６−２１２７８４号公報JP, 2016-212784, A

近年、デジタルムービーやスマートフォンが普及し、動画の撮影が多く行われている。また、防犯カメラ等により動画が撮影される場合もある。撮影された画像データは膨大なデータ量となる。 2. Description of the Related Art In recent years, digital movies and smartphones have become widespread, and a lot of moving pictures have been taken. In addition, a moving image may be taken by a security camera or the like. The captured image data has a huge amount of data.

また近年、機械学習による物体解析に、画像データが用いられる。機械学習による物体解析は、膨大な過去の基本データに基づき行われる。過去の基本データの数量が多いほど解析の精度を向上させることができる。機械学習による物体解析に用いられる基本データとして、多数の画像データが予め記憶されていることが望ましい。 In recent years, image data has been used for object analysis by machine learning. Object analysis by machine learning is performed based on a huge amount of basic data in the past. The accuracy of analysis can be improved as the number of basic data in the past increases. It is desirable that a large number of image data be stored in advance as basic data used for object analysis by machine learning.

動画は連続した複数のフレームにより構成されている。さらに作業者の所望する画像データは、動画として撮影された画面の一部分である場合が多い。したがって、作業者の所望する画像データは、動画として撮影された画面の一部分を切り出して対象画像として抽出される。しかしながら、動画は多数のフレームにより構成されており、この多数のフレームから１枚ずつ画面の一部分を切りだして対象画像を作成するには、多大な労力が費やされる。 The moving image is composed of a plurality of consecutive frames. Furthermore, the image data desired by the operator is often a part of the screen shot as a moving image. Therefore, the image data desired by the operator is extracted as a target image by cutting out a part of the screen shot as a moving image. However, a moving image is composed of a large number of frames, and a great deal of labor is spent to cut out a part of the screen one by one from the large number of frames to create a target image.

このため、動画を構成する多数のフレームから画面の一部分を切り出して対象画像を作成する場合、コンピュータにより構成された装置が用いられる。しかしながら、多数のフレームから画面の一部分を切りだして対象画像を作成するには、手作業の依存が多く、作業者にとって作業を行いにくい、との問題点があった。 Therefore, when a target image is created by cutting out a part of the screen from a large number of frames forming a moving image, a device configured by a computer is used. However, in order to cut out a part of the screen from a large number of frames to create a target image, there is a problem that there is a lot of manual work and it is difficult for the worker to do the work.

本実施形態は、上記問題点を解決するために、作業者による短時間かつ単純な作業で、動画を構成する連続した複数のフレームの各々から、所望する画像を対象画像として抽出することができる画像データ抽出装置および画像データ抽出方法を提供することを目的とする。 In the present embodiment, in order to solve the above-mentioned problems, a desired image can be extracted as a target image from each of a plurality of continuous frames forming a moving image by a worker in a short time and simple work. An object is to provide an image data extraction device and an image data extraction method.

本実施形態の画像データ抽出装置は、次のような構成を有することを特徴とする。
（１）連続した複数のフレームにより構成された動画を再生する表示部。
（２）前記表示部により再生された動画における第１の座標と第２の座標が入力される入力部。
（３）前記入力部に入力された前記第１の座標と前記第２の座標に基づき構成された多角形または楕円形により囲まれた囲み領域の内側の画像を、連続した前記複数のフレームのうちの一つのフレームから基準画像として選択する選択部。
（４）前記選択部により選択された前記基準画像に基づき、前記動画を構成する連続した前記複数のフレームの各々から、前記基準画像に相当する画像を対象画像として抽出する抽出部。
（５）前記抽出部により抽出された対象画像を記憶する記憶部。 The image data extraction device of the present embodiment is characterized by having the following configuration.
(1) A display unit that reproduces a moving image composed of a plurality of consecutive frames.
(2) An input unit for inputting the first coordinates and the second coordinates in the moving image reproduced by the display unit.
(3) The image inside the enclosed area surrounded by the polygon or the ellipse configured based on the first coordinates and the second coordinates input to the input unit is displayed in the continuous frames. A selection unit that selects one of the frames as a reference image.
(4) An extraction unit that extracts an image corresponding to the reference image as a target image from each of the plurality of continuous frames that form the moving image, based on the reference image selected by the selection unit.
(5) A storage unit that stores the target image extracted by the extraction unit.

第１実施形態にかかる画像データ抽出装置を示す図The figure which shows the image data extraction device concerning 1st Embodiment. 第１実施形態にかかる画像データ抽出装置の外観図External view of the image data extraction device according to the first embodiment 第１実施形態にかかる画像データ抽出装置の選択部のプログラムのフローを示す図The figure which shows the flow of the program of the selection part of the image data extraction device concerning 1st Embodiment. 第１実施形態にかかる画像データ抽出装置の抽出部のプログラムのフローを示す図The figure which shows the flow of the program of the extraction part of the image data extraction device concerning 1st Embodiment. 第１実施形態にかかる画像データ抽出装置の画像抽出にかかる動作を説明する図The figure explaining the operation|movement concerning the image extraction of the image data extraction device concerning 1st Embodiment. 第１実施形態にかかる画像データ抽出装置の画像調整部のプログラムのフローを示す図The figure which shows the flow of the program of the image adjustment part of the image data extraction device concerning 1st Embodiment.

［１．第１実施形態］
［１−１．構成］
図１〜２を参照して本実施形態の一例としての画像データ抽出装置１について説明する。画像データ抽出装置１は、マイクロコンピュータ等により構成された装置である。画像データ抽出装置１は、作業者により操作され、動画からの画像データの抽出に用いられる。画像データ抽出装置１は、対象となる人物、物品、設備等の物体解析を行うためのデータ抽出に利用される。抽出された画像および特徴の位置を示す座標データは、機械学習における教師データ等に用いられる。 [1. First Embodiment]
[1-1. Constitution]
An image data extraction device 1 as an example of the present embodiment will be described with reference to FIGS. The image data extraction device 1 is a device including a microcomputer or the like. The image data extraction device 1 is operated by an operator and used to extract image data from a moving image. The image data extraction device 1 is used for data extraction for performing object analysis of a target person, article, equipment or the like. Coordinate data indicating the positions of the extracted image and features are used as teacher data and the like in machine learning.

画像データ抽出装置１において、以下のコマンド、データが、入力、出力、記憶される。
コマンドＪ１：抽出する画像のポイントＡを示す指令
コマンドＪ２：抽出する画像のポイントＢを示す指令
コマンドＫ１：囲み領域の縦方向の拡大を指示する指令
コマンドＫ２：囲み領域の縦方向の縮小を指示する指令
コマンドＫ３：囲み領域の横方向の拡大を指示する指令
コマンドＫ４：囲み領域の横方向の縮小を指示する指令
コマンドＬ１：動画の再生停止を指示する指令
コマンドＬ２：動画の再生開始を指示する指令
コマンドＬ３：動画の低速再生を指示する指令
コマンドＬ４：動画の高速再生を指示する指令
コマンドＬ５：動画の巻き戻し再生を指示する指令
座標データＡ：抽出する画像のポイントＡの座標を示すデータ
座標データＢ：抽出する画像のポイントＢの座標を示すデータ
動画データＤ１：連続した複数のフレームにより構成された動画のデータ
基準画像データＥ１：動画Ｄ１のうち作業者により選択された対象画像のデータ
対象画像データＦ１：動画Ｄ１の複数のフレームから抽出された複数の対象画像のデータ
図５のポイントＡの座標が請求項における第１の座標、ポイントＢの座標が請求項における第２の座標に相当する。囲み領域は、ポイントＡの座標と、ポイントＢの座標に基づき、画面上に構成された図形により囲まれた領域である。囲み領域の内側の画像が抽出される。 In the image data extracting device 1, the following commands and data are input, output and stored.
Command J1: Command indicating the point A of the image to be extracted Command J2: Command indicating the point B of the image to be extracted Command K1: Command for instructing the vertical expansion of the enclosed area Command K2: Instruction for the vertical contraction of the enclosed area Command K3: Command to instruct the lateral expansion of the enclosed area Command K4: Command to instruct lateral reduction of the enclosed area Command L1: Command to stop the playing of the moving image Command L2: Instruct to start the playing of the moving image Command L3: Command for instructing low-speed reproduction of moving image Command L4: Command for instructing high-speed reproduction of moving image Command L5: Command for instructing rewinding reproduction of moving image Coordinate data A: Indicates the coordinates of point A of the image to be extracted Data Coordinate data B: Data indicating the coordinates of the point B of the image to be extracted Movie data D1: Movie data composed of a plurality of continuous frames Reference image data E1: Of the target image selected by the operator from the movie D1 Data Target image data F1: Data of a plurality of target images extracted from a plurality of frames of moving image D1 The coordinates of point A in FIG. 5 are the first coordinates in the claims, and the coordinates of point B are the second coordinates in the claims. Equivalent to. The enclosed area is an area surrounded by a figure formed on the screen based on the coordinates of the point A and the coordinates of the point B. The image inside the enclosed area is extracted.

画像データ抽出装置１は、入力部２、表示部３、演算部４、記憶部５を有する。演算部４は、選択部４１、抽出部４２、画像調整部４３を含む。画像データ抽出装置１の画像データ抽出に関する機能は、搭載されたコンピュータプログラムにより実現される。 The image data extraction device 1 includes an input unit 2, a display unit 3, a calculation unit 4, and a storage unit 5. The calculation unit 4 includes a selection unit 41, an extraction unit 42, and an image adjustment unit 43. The image data extraction function of the image data extraction device 1 is realized by a computer program installed.

（入力部２）
入力部２は、入力部２は、マウス２１、キーボード２２により構成された入力装置である。入力部２は、演算部４に接続される。入力部２は、作業者により操作されコマンドＪ１〜Ｊ２、Ｋ１〜Ｋ４、Ｌ１〜Ｌ５が入力される。入力部２は、入力されたコマンドを演算部４に出力する。 (Input section 2)
The input unit 2 is an input device including a mouse 21 and a keyboard 22. The input unit 2 is connected to the calculation unit 4. The input unit 2 is operated by the operator to input commands J1 to J2, K1 to K4, and L1 to L5. The input unit 2 outputs the input command to the arithmetic unit 4.

（表示部３）
表示部３は、プラズマディスプレイ、液晶パネル等により構成された表示装置である。表示部３は、演算部４に接続される。表示部３は、演算部４から出力された動画データＤ１、基準画像データＥ１に基づき画像を表示する。 (Display unit 3)
The display unit 3 is a display device including a plasma display, a liquid crystal panel, and the like. The display unit 3 is connected to the calculation unit 4. The display unit 3 displays an image based on the moving image data D1 and the reference image data E1 output from the calculation unit 4.

（記憶部５）
記憶部５は、半導体メモリやハードディスクのような記憶媒体にて構成される。記憶部５は、演算部４に接続される。記憶部５は、座標データＡ、座標データＢ、動画データＤ１、基準画像データＥ１、対象画像データＦ１を記憶する。記憶部５は、演算部４に書込み、読み出しを制御される。記憶部５は、コンソール９に内蔵される。 (Storage unit 5)
The storage unit 5 is composed of a storage medium such as a semiconductor memory or a hard disk. The storage unit 5 is connected to the calculation unit 4. The storage unit 5 stores coordinate data A, coordinate data B, moving image data D1, reference image data E1, and target image data F1. The storage unit 5 is controlled to write to and read from the arithmetic unit 4. The storage unit 5 is built in the console 9.

（演算部４）
演算部４は、マイクロコンピュータのＣＰＵ等により構成される。演算部４は、選択部４１、抽出部４２、画像調整部４３を含む。選択部４１、抽出部４２、画像調整部４３は、プログラムモジュールにより構成される。選択部４１、抽出部４２、画像調整部４３は、後述するコンピュータプログラムを内蔵する。演算部４は、入力部２、表示部３、記憶部５に接続される。演算部４は、入力部２、表示部３、記憶部５と連携し、以下の演算および制御を行う。演算部４は、コンソール９に内蔵される。 (Calculator 4)
The arithmetic unit 4 is composed of a CPU of a microcomputer or the like. The calculation unit 4 includes a selection unit 41, an extraction unit 42, and an image adjustment unit 43. The selection unit 41, the extraction unit 42, and the image adjustment unit 43 are composed of program modules. The selection unit 41, the extraction unit 42, and the image adjustment unit 43 incorporate a computer program described later. The calculation unit 4 is connected to the input unit 2, the display unit 3, and the storage unit 5. The calculation unit 4 cooperates with the input unit 2, the display unit 3, and the storage unit 5 to perform the following calculation and control. The arithmetic unit 4 is built in the console 9.

ａ．選択部４１の演算、制御
選択部４１は、入力部２から前述のコマンドＪ１、コマンドＪ２を受信する。選択部４１は、コマンドＪ１、コマンドＪ２に基づき座標データＡ（抽出する画像のポイントＡの座標を示すデータ）、座標データＢ（抽出する画像のポイントＢの座標を示すデータ）を作成し記憶部５に記憶させる。 a. Calculation and Control of Selection Unit 41 The selection unit 41 receives the above-mentioned command J1 and command J2 from the input unit 2. The selection unit 41 creates coordinate data A (data indicating the coordinates of the point A of the image to be extracted) and coordinate data B (data indicating the coordinates of the point B of the image to be extracted) based on the commands J1 and J2, and the storage unit Store in 5.

選択部４１は、ポイントＡの座標にかかる座標データＡと、ポイントＢの座標にかかる座標データＢに基づき、画面上に四角形を構成し、構成された四角形により囲まれた囲み領域の内側の画像を、連続した複数のフレームのうちの一つのフレームから基準画像として選択し、基準画像データＥ１（動画Ｄ１のうち作業者により選択された対象画像のデータ）を作成し記憶部５に記憶させる。選択部４１は、図２に示すプログラムに基づき動作を行う。 The selection unit 41 forms a quadrangle on the screen based on the coordinate data A relating to the coordinates of the point A and the coordinate data B relating to the coordinates of the point B, and the image inside the enclosed area surrounded by the constituted rectangles. Is selected as a reference image from one of a plurality of consecutive frames, reference image data E1 (data of the target image selected by the operator in the moving image D1) is created and stored in the storage unit 5. The selection unit 41 operates based on the program shown in FIG.

ｂ．抽出部４２の演算、制御
抽出部４２は、記憶部５に記憶された基準画像データＥ１（動画Ｄ１のうち作業者により選択された対象画像のデータ）に基づき、動画データＤ１（連続した複数のフレームにより構成された動画のデータ）にかかる動画を構成する連続した複数のフレームの各々から、基準画像に相当する画像を対象画像として抽出し、対象画像データＦ１（動画Ｄ１の複数のフレームから抽出された複数の対象画像のデータ）を作成し記憶部５に記憶させる。抽出部４２は、図３に示すプログラムに基づき動作を行う。 b. Calculation and Control of Extraction Unit 42 The extraction unit 42 calculates moving image data D1 (successive continuous data) based on the reference image data E1 (data of the target image selected by the operator among the moving images D1) stored in the storage unit 5. An image corresponding to a reference image is extracted as a target image from each of a plurality of continuous frames that form a moving image related to a moving image formed by frames), and target image data F1 (the plurality of frames of the moving image D1 is extracted). Data of a plurality of target images thus created) is created and stored in the storage unit 5. The extraction unit 42 operates based on the program shown in FIG.

抽出部４２は、抽出した対象画像にかかる対象画像データＦ１（動画Ｄ１の複数のフレームから抽出された複数の対象画像のデータ）に、予め設定した名称を付与し、記憶部５に記憶させる。 The extraction unit 42 assigns a preset name to the target image data F1 (data of the plurality of target images extracted from the plurality of frames of the moving image D1) related to the extracted target image, and causes the storage unit 5 to store the name.

ｃ．画像調整部４３の演算、制御
画像調整部４３は、入力部２からコマンドＬ１〜Ｌ５を受信する。画像調整部４３は、コマンドＬ１〜Ｌ５に基づき、記憶部５に記憶された動画データＤ１（連続した複数のフレームにより構成された動画のデータ）を表示部３に表示させる。 c. Calculation and Control of Image Adjusting Unit 43 The image adjusting unit 43 receives the commands L1 to L5 from the input unit 2. The image adjustment unit 43 causes the display unit 3 to display the moving image data D1 (moving image data composed of a plurality of continuous frames) stored in the storage unit 5 based on the commands L1 to L5.

画像調整部４３は、入力部２からコマンドＫ１〜Ｋ４を受信する。画像調整部４３は、コマンドＫ１〜Ｋ４に基づき、囲み領域の縦方向または横方向の長さを変更し、表示部３に表示させる。囲み領域は、ポイントＡの座標にかかる座標データＡと、ポイントＢの座標にかかる座標データＢに基づき、画面上に構成された四角形により囲まれた領域である。囲み領域の内側の画像が、選択部４１により基準画像として選択される。画像調整部４３は、図６に示すプログラムに基づき上記動作を行う。 The image adjustment unit 43 receives the commands K1 to K4 from the input unit 2. The image adjustment unit 43 changes the length of the enclosed area in the vertical direction or the horizontal direction based on the commands K1 to K4, and causes the display unit 3 to display the changed length. The enclosed area is an area surrounded by a rectangle formed on the screen based on the coordinate data A concerning the coordinates of the point A and the coordinate data B concerning the coordinates of the point B. The image inside the enclosed area is selected as the reference image by the selection unit 41. The image adjustment unit 43 performs the above operation based on the program shown in FIG.

以上が、画像データ抽出装置１の構成である。 The above is the configuration of the image data extraction device 1.

［１−２．作用］
次に、本実施形態の画像データ抽出装置１の作用を、図１〜図６に基づき説明する。画像データ抽出装置１は、対象となる人物、物品、設備を検出し、物体解析を行うためのデータ抽出に利用される。抽出された画像は、機械学習における教師データ等に用いられる。画像データ抽出装置１は、作業者により操作され、動画からの画像データの抽出を行う。 [1-2. Action]
Next, the operation of the image data extraction device 1 of the present embodiment will be described based on FIGS. The image data extraction device 1 is used for data extraction for detecting an object person, an article, or equipment and performing object analysis. The extracted image is used as teacher data in machine learning. The image data extraction device 1 is operated by a worker and extracts image data from a moving image.

画像データ抽出装置１の選択部４１は、入力部２に入力された第１の座標であるポイントＡの座標と第２の座標であるポイントＢの座標に基づき構成された四角形により囲まれた囲み領域の内側の画像を、動画を構成する連続した複数のフレームのうちの一つのフレームから基準画像として選択する。 The selection unit 41 of the image data extraction device 1 has a box surrounded by a rectangle formed based on the coordinates of the point A, which is the first coordinate, and the coordinates of the point B, which is the second coordinate, input to the input unit 2. An image inside the area is selected as a reference image from one of a plurality of consecutive frames that form a moving image.

画像データ抽出装置１の抽出部４２は、選択部４１により選択された基準画像に基づき、動画を構成する連続した複数のフレームの各々から、基準画像に相当する画像を対象画像として抽出する。 The extraction unit 42 of the image data extraction device 1 extracts an image corresponding to the reference image as a target image from each of a plurality of continuous frames forming a moving image based on the reference image selected by the selection unit 41.

［ａ．選択部４１の動作］
以下に選択部４１の動作を説明する。選択部４１は、図３に示すプログラムに従って動作を行う。図３に示すプログラムは、演算部４に内蔵される。図３に示すプログラムは、演算部４により、繰り返し実行される。 [A. Operation of selection unit 41]
The operation of the selection unit 41 will be described below. The selection unit 41 operates according to the program shown in FIG. The program shown in FIG. 3 is built in the arithmetic unit 4. The program shown in FIG. 3 is repeatedly executed by the arithmetic unit 4.

（ステップＳ０１：動画を再生する）
選択部４１は、対象画像抽出の対象となる動画を再生する。予め、動画データＤ１（連続した複数のフレームにより構成された動画）が記憶部５に記憶されている。動画データＤ１にかかる動画が表示部３に表示される。動画の再生中に、対象画像の抽出を行う作業者によりコマンドＪ１〜Ｊ２、Ｋ１〜Ｋ４、Ｌ１〜Ｌ５が、入力部２から入力される。本実施形態では、コマンドＪ１、Ｊ２の入力は、入力部２を構成するマウス２１により、Ｋ１〜Ｋ４、Ｌ１〜Ｌ５の入力は、入力部２を構成するキーボード２２により行われるものとする。 (Step S01: Play the video)
The selection unit 41 reproduces a moving image that is a target of target image extraction. The moving image data D1 (moving image composed of a plurality of continuous frames) is stored in the storage unit 5 in advance. The moving image related to the moving image data D1 is displayed on the display unit 3. During reproduction of a moving image, an operator who extracts a target image inputs commands J1 to J2, K1 to K4, and L1 to L5 from the input unit 2. In the present embodiment, it is assumed that commands J1 and J2 are input by the mouse 21 configuring the input unit 2 and inputs K1 to K4 and L1 to L5 are performed by the keyboard 22 configuring the input unit 2.

（ステップＳ０２：コマンドＪ１が入力されたか判断する）
次に選択部４１は、コマンドＪ１（抽出する画像のポイントＡを示す指令）が入力されたかの判断を行う。作業者は、表示部３に再生された動画を見て、表示部３に表示されたカーソルをマウス２１によりポイントＡに移動させる。ポイントＡは、抽出を所望する画像の始点である。選択部４１は、入力部２を構成するマウス２１の左クリックがＯＮとされたことを検出し、コマンドＪ１が入力されたと判断する。 (Step S02: Determine whether command J1 has been input)
Next, the selection unit 41 determines whether the command J1 (command indicating the point A of the image to be extracted) has been input. The operator sees the moving image reproduced on the display unit 3 and moves the cursor displayed on the display unit 3 to the point A with the mouse 21. Point A is the starting point of the image desired to be extracted. The selection unit 41 detects that the left click of the mouse 21 forming the input unit 2 is turned on, and determines that the command J1 is input.

コマンドＪ１が入力されたと判断した場合（ステップＳ０２のＹＥＳ）、選択部４１は、ステップＳ０３に移行する。コマンドＪ１が入力されたと判断しない場合（ステップＳ０２のＮＯ）、コマンドＪ１の入力待ち状態となる。 When it is determined that the command J1 is input (YES in step S02), the selection unit 41 proceeds to step S03. When it is not determined that the command J1 has been input (NO in step S02), the command J1 input waiting state is entered.

（ステップＳ０３：座標データＡを作成、記憶し、ポイントＡを表示する）
ステップＳ０２にてコマンドＪ１が入力されたと判断した場合、選択部４１は、コマンドＪ１が入力された、動画上のポイントＡの座標を検出し座標データＡ（抽出する画像のポイントＡの座標を示すデータ）を作成する。選択部４１は、座標データＡを記憶部５に記憶させる。また、図５に示すように選択部４１は、座標データＡに基づき表示部３に表示された動画上のポイントＡにドット「・」を表示する。 (Step S03: Create and store coordinate data A, and display point A)
When it is determined that the command J1 is input in step S02, the selection unit 41 detects the coordinates of the point A on the moving image to which the command J1 is input and detects the coordinate data A (indicates the coordinates of the point A of the image to be extracted. Data). The selection unit 41 stores the coordinate data A in the storage unit 5. Further, as shown in FIG. 5, the selection unit 41 displays a dot “•” at the point A on the moving image displayed on the display unit 3 based on the coordinate data A.

（ステップＳ０４：コマンドＪ２が入力されたか判断する）
次に選択部４１は、コマンドＪ２（抽出する画像のポイントＢを示す指令）が入力されたかの判断を行う。作業者は、表示部３に再生された動画を見て、表示部３に表示されたカーソルをマウス２１によりポイントＢに移動させる。ポイントＢは、抽出を所望する画像の終点である。ポイントＡとポイントＢを対頂角とする四角形が、表示部３に表示された動画上に描かれる。選択部４１は、入力部２を構成するマウス２１の左クリックがＯＦＦされたことを検出し、コマンドＪ２が入力されたと判断する。 (Step S04: Determine whether command J2 is input)
Next, the selection unit 41 determines whether the command J2 (command indicating the point B of the image to be extracted) has been input. The operator sees the moving image reproduced on the display unit 3 and moves the cursor displayed on the display unit 3 to the point B with the mouse 21. Point B is the end point of the image desired to be extracted. A quadrangle with the vertical angle of points A and B is drawn on the moving image displayed on the display unit 3. The selection unit 41 detects that the left click of the mouse 21 forming the input unit 2 has been turned off, and determines that the command J2 has been input.

コマンドＪ２が入力されたと判断した場合（ステップＳ０３のＹＥＳ）、選択部４１は、ステップＳ０５に移行する。コマンドＪ２が入力されたと判断しない場合（ステップＳ０３のＮＯ）、コマンドＪ２の入力待ち状態となる。 When it is determined that the command J2 is input (YES in step S03), the selection unit 41 proceeds to step S05. When it is not determined that the command J2 is input (NO in step S03), the command J2 input waiting state is entered.

（ステップＳ０５：座標データＢを作成、記憶し、ポイントＢおよび囲み領域を表示する）
ステップＳ０４にてコマンドＪ２が入力されたと判断した場合、選択部４１は、コマンドＪ２が入力された、動画上のポイントＢの座標を検出し座標データＢ（抽出する画像のポイントＢの座標を示すデータ）を作成する。選択部４１は、座標データＢを記憶部５に記憶させる。また、図５に示すように選択部４１は、座標データＡ、座標データＢに基づき、表示部３に表示された動画上にポイントＡとポイントＢを対頂角とする四角形を形成し、囲み領域として表示する。 (Step S05: Create and store the coordinate data B, and display the point B and the enclosed area)
When it is determined that the command J2 is input in step S04, the selection unit 41 detects the coordinates of the point B on the moving image to which the command J2 is input and detects the coordinate data B (indicates the coordinates of the point B of the image to be extracted. Data). The selection unit 41 stores the coordinate data B in the storage unit 5. Further, as shown in FIG. 5, the selection unit 41 forms a quadrangle having an apex angle of the points A and B on the moving image displayed on the display unit 3 based on the coordinate data A and the coordinate data B, and defines the rectangle as an enclosed area. indicate.

（ステップＳ０６：コマンドＪ２が入力された時点のフレームを記憶する）
選択部４１は、コマンドＪ２が入力された時点の動画にかかるフレームを記憶する。例えば、図５に示すように、コマンドＪ１がｎ番目のフレームの表示時点に入力され、コマンドＪ２がｎ＋ｋ番目のフレームの表示時点に入力された場合、選択部４１は、コマンドＪ２が入力されたフレームは、「ｎ＋ｋ」番目のフレームであることを記憶部５に記憶させる。 (Step S06: The frame at the time when the command J2 is input is stored)
The selection unit 41 stores the frame of the moving image at the time when the command J2 is input. For example, as shown in FIG. 5, when the command J1 is input at the display time of the nth frame and the command J2 is input at the display time of the n+kth frame, the selection unit 41 receives the command J2. The storage unit 5 stores that the frame is the “n+k”th frame.

（ステップＳ０７：基準画像データＥ１を作成、記憶する）
選択部４１は、入力部２に入力された座標データＡと座標データＢに基づき構成された四角形により囲まれた囲み領域の内側の画像を、連続した複数のフレームのうちの一つのフレームから基準画像として選択する。座標データＡにかかる座標が請求項における第１の座標に、座標データＢにかかる座標が請求項における第２の座標に相当する。 (Step S07: Create and store reference image data E1)
The selection unit 41 refers to the image inside the enclosed area surrounded by the quadrangle formed based on the coordinate data A and the coordinate data B input to the input unit 2 from one of a plurality of continuous frames as a reference. Select as image. The coordinates associated with the coordinate data A correspond to the first coordinates in the claims, and the coordinates associated with the coordinate data B correspond to the second coordinates in the claims.

選択部４１は、「ｎ＋ｋ」番目のフレームにおける、座標データＡにかかるポイントＡと座標データＢにかかるポイントＢを対頂角とする四角形により囲まれた、囲み領域の内側の画像を基準画像として選択し、基準画像データＥ１（動画Ｄ１のうち作業者により選択された対象画像のデータ）を作成し、記憶部５に記憶させる。 The selection unit 41 selects, as a reference image, an image inside the enclosed area, which is surrounded by a quadrangle having an apex angle of the point A relating to the coordinate data A and the point B relating to the coordinate data B in the “n+k”th frame. The reference image data E1 (data of the target image selected by the operator in the moving image D1) is created and stored in the storage unit 5.

以上が、選択部４１の動作である。 The above is the operation of the selection unit 41.

［ｂ．抽出部４２の動作］
以下に抽出部４２の動作を説明する。抽出部４２は、図４に示すプログラムに従って動作を行う。図４に示すプログラムは、演算部４に内蔵される。図４に示すプログラムは、演算部４により、繰り返し実行される。 [B. Operation of Extractor 42]
The operation of the extraction unit 42 will be described below. The extraction unit 42 operates according to the program shown in FIG. The program shown in FIG. 4 is incorporated in the arithmetic unit 4. The program shown in FIG. 4 is repeatedly executed by the arithmetic unit 4.

（ステップＳ１１：対象画像データＦ１を作成、記憶する）
抽出部４２は、選択部４１により選択された基準画像に基づき、動画を構成する連続した複数のフレームの各々から、基準画像に相当する画像を対象画像として抽出する。 (Step S11: Create and store the target image data F1)
The extraction unit 42 extracts an image corresponding to the reference image as a target image from each of a plurality of continuous frames that form a moving image, based on the reference image selected by the selection unit 41.

具体的には、抽出部４２は、選択部４１により作成され記憶部５に記憶された、基準画像データＥ１（動画Ｄ１のうち作業者により選択された対象画像のデータ）に基づき、動画データＤ１（連続した複数のフレームにより構成された動画のデータ）を構成する複数のフレームから基準画像データＥ１に相当する画像を抽出し、対象画像データＦ１（動画Ｄ１の複数のフレームから抽出された複数の対象画像のデータ）を作成し、記憶部５に記憶させる。 Specifically, the extraction unit 42, based on the reference image data E1 (data of the target image selected by the operator among the moving images D1) created by the selection unit 41 and stored in the storage unit 5, the moving image data D1. An image corresponding to the reference image data E1 is extracted from a plurality of frames forming (data of a moving image formed of a plurality of continuous frames), and the target image data F1 (a plurality of images extracted from a plurality of frames of the moving image D1) is extracted. Data of the target image) is created and stored in the storage unit 5.

（ステップＳ１２：対象画像データＦ１に画像の名称を付ける）
抽出部４２は、対象画像データＦ１（動画Ｄ１の複数のフレームから抽出された複数の対象画像のデータ）に、既に記憶部５に記憶されている過去の画像に、予め設定された名称を付与し記憶部５に記憶させる。 (Step S12: Assign image name to target image data F1)
The extraction unit 42 assigns a preset name to the target image data F1 (data of the plurality of target images extracted from the plurality of frames of the moving image D1) to the past images already stored in the storage unit 5. Then, it is stored in the storage unit 5.

以上が、抽出部４２の動作である。 The above is the operation of the extraction unit 42.

［ｃ．画像調整部４３の動作］
以下に画像調整部４３の動作を説明する。画像調整部４３は、図６に示すプログラムに従って動作を行う。図６に示すプログラムは、演算部４に内蔵される。図６に示すプログラムは、選択部４１または抽出部４２の実行中に、割り込みにより実行される。入力部２を構成するキーボード２２のいずれかのキーが押された場合、割り込みが発生し、図６に示すプログラムが起動する。 [C. Operation of image adjustment unit 43]
The operation of the image adjustment unit 43 will be described below. The image adjustment unit 43 operates according to the program shown in FIG. The program shown in FIG. 6 is incorporated in the arithmetic unit 4. The program shown in FIG. 6 is executed by interruption during execution of the selecting unit 41 or the extracting unit 42. When any key of the keyboard 22 that constitutes the input unit 2 is pressed, an interrupt occurs and the program shown in FIG. 6 is activated.

コマンドＫ１〜Ｋ４、Ｌ１〜Ｌ５は、キーボード２２の下記に示すキーが押されることにより入力される。
コマンドＫ１（囲み領域の縦方向の拡大を指示する指令）：キー［↑］
コマンドＫ２（囲み領域の縦方向の縮小を指示する指令）：キー［↓］
コマンドＫ３（囲み領域の横方向の拡大を指示する指令）：キー［→］
コマンドＫ４（囲み領域の横方向の縮小を指示する指令）：キー［←］
コマンドＬ１（動画の再生停止を指示する指令）：キー［Ｓ］
コマンドＬ２（動画の再生開始を指示する指令）：キー［Ｒ］
コマンドＬ３（動画の低速再生を指示する指令）：キー［Ｔ］
コマンドＬ４（動画の高速再生を指示する指令）：キー［Ｕ］
コマンドＬ５（動画の巻き戻し再生を指示する指令）：キー［Ｖ］ The commands K1 to K4 and L1 to L5 are input by pressing the following keys on the keyboard 22.
Command K1 (command for instructing vertical expansion of the enclosed area): key [↑]
Command K2 (command instructing vertical reduction of the enclosed area): Key [↓]
Command K3 (command for instructing lateral expansion of the enclosed area): key [→]
Command K4 (command for instructing horizontal reduction of the enclosed area): key [←]
Command L1 (command to instruct playback stop of moving image): key [S]
Command L2 (command to start playback of moving image): key [R]
Command L3 (command for instructing low-speed playback of moving image): key [T]
Command L4 (command to instruct high-speed playback of moving image): Key [U]
Command L5 (command to instruct rewinding reproduction of moving image): key [V]

（ステップＳ２１：コマンドＬ１が入力された場合、動画の再生を停止する）
画像調整部４３は、キーボード２２のキー［Ｓ］が押され、コマンドＬ１が入力されたと判断した場合（ステップＳ２１ａ）、記憶部５に記憶された動画データＤ１にかかる動画の再生を停止し、静止画像を表示部３に表示させる（ステップＳ２１ｂ）。 (Step S21: When the command L1 is input, the reproduction of the moving image is stopped)
When the image adjusting unit 43 determines that the key [S] of the keyboard 22 is pressed and the command L1 is input (step S21a), the image adjusting unit 43 stops the reproduction of the moving image related to the moving image data D1 stored in the storage unit 5, The still image is displayed on the display unit 3 (step S21b).

（ステップＳ２２：コマンドＬ２が入力された場合、動画の再生を行う）
画像調整部４３は、キーボード２２のキー［Ｒ］が押され、コマンドＬ２が入力されたと判断した場合（ステップＳ２２ａ）、記憶部５に記憶された動画データＤ１にかかる動画を再生し、表示部３に表示させる（ステップＳ２２ｂ）。 (Step S22: When the command L2 is input, the moving image is reproduced)
When the image adjustment unit 43 determines that the key [R] of the keyboard 22 is pressed and the command L2 is input (step S22a), the image adjustment unit 43 reproduces the moving image of the moving image data D1 stored in the storage unit 5, and the display unit 3 is displayed (step S22b).

（ステップＳ２３：コマンドＬ３が入力された場合、動画の低速再生を行う）
画像調整部４３は、キーボード２２のキー［Ｔ］が押され、コマンドＬ３が入力されたと判断した場合（ステップＳ２３ａ）、再生速度を低速にして動画データＤ１にかかる動画を表示部３に表示させる（ステップＳ２３ｂ）。画像調整部４３は、現在再生している動画の再生速度を、例えば２０％低速にする。コマンドＬ３が複数回入力された場合、動画の再生速度は累積して低速にされる。 (Step S23: When the command L3 is input, low-speed playback of the moving image is performed)
When the image adjustment unit 43 determines that the key [T] of the keyboard 22 has been pressed and the command L3 has been input (step S23a), the reproduction speed is reduced to display the moving image on the moving image data D1 on the display unit 3. (Step S23b). The image adjustment unit 43 reduces the reproduction speed of the moving image currently being reproduced, for example, by 20%. When the command L3 is input a plurality of times, the playback speed of the moving image is cumulatively lowered.

（ステップＳ２４：コマンドＬ４が入力された場合、動画の高速再生を行う）
画像調整部４３は、キーボード２２のキー［Ｕ］が押され、コマンドＬ４が入力されたと判断した場合（ステップＳ２４ａ）、再生速度を高速にして動画データＤ１にかかる動画を表示部３に表示させる（ステップＳ２４ｂ）。画像調整部４３は、現在再生している動画の再生速度を、例えば２０％高速にする。コマンドＬ３が複数回入力された場合、動画の再生速度は累積して高速にされる。 (Step S24: When command L4 is input, high-speed playback of the moving image is performed)
When the image adjustment unit 43 determines that the key [U] of the keyboard 22 has been pressed and the command L4 has been input (step S24a), the reproduction speed is increased to display the moving image on the moving image data D1 on the display unit 3. (Step S24b). The image adjustment unit 43 increases the reproduction speed of the moving image currently being reproduced, for example, by 20%. When the command L3 is input a plurality of times, the moving image playback speed is cumulatively increased.

（ステップＳ２５：コマンドＬ５が入力された場合、動画の巻き戻し再生を行う）
画像調整部４３は、キーボード２２のキー［Ｖ］が押され、コマンドＬ５が入力されたと判断した場合（ステップＳ２５ａ）、動画データＤ１にかかる動画を巻き戻し再生にて表示部３に表示させる（ステップＳ２５ｂ）。コマンドＬ３が複数回入力された場合、動画の巻き戻し再生速度は累積して高速にされる。 (Step S25: When command L5 is input, rewinding reproduction of the moving image is performed)
When the image adjustment unit 43 determines that the key [V] on the keyboard 22 is pressed and the command L5 is input (step S25a), the image adjustment unit 43 causes the display unit 3 to display the moving image of the moving image data D1 by rewinding reproduction ( Step S25b). When the command L3 is input a plurality of times, the rewinding reproduction speed of the moving image is cumulatively increased.

基準画像データＥ１（動画Ｄ１のうち作業者により選択された対象画像のデータ）の作成は、作業者により上記のステップＳ２１〜Ｓ２５により調整された動画上にて行われる。 The reference image data E1 (data of the target image selected by the worker in the moving image D1) is created on the moving image adjusted by the worker in steps S21 to S25.

（ステップＳ２６：コマンドＫ１が入力された場合、囲み領域の縦の長さを拡大する）
画像調整部４３は、キーボード２２のキー［↑］が押され、コマンドＫ１が入力されたと判断した場合（ステップＳ２６ａ）、囲み領域の縦方向の長さを拡大する（ステップＳ２６ｂ）。囲み領域は、座標データＡと座標データＢの座標に基づき構成された四角形に囲まれた領域である。囲み領域は、表示部３に再生された動画上に表示される。画像調整部４３は、現在表示されている囲み領域の縦方向の長さを、例えば１０ピクセル拡大する。コマンドＫ１が複数回入力された場合、囲み領域の縦方向の長さは累積して拡大される。 (Step S26: When the command K1 is input, the vertical length of the enclosed area is enlarged)
When the image adjustment unit 43 determines that the key [↑] of the keyboard 22 is pressed and the command K1 is input (step S26a), the image adjustment unit 43 enlarges the length of the enclosed area in the vertical direction (step S26b). The enclosed area is an area enclosed by a quadrangle formed based on the coordinates of the coordinate data A and the coordinate data B. The enclosed area is displayed on the moving image reproduced on the display unit 3. The image adjustment unit 43 enlarges the length of the currently displayed enclosed area in the vertical direction by, for example, 10 pixels. When the command K1 is input a plurality of times, the length of the enclosed area in the vertical direction is cumulatively expanded.

（ステップＳ２７：コマンドＫ２が入力された場合、囲み領域の縦の長さを縮小する）
画像調整部４３は、キーボード２２のキー［↓］が押され、コマンドＫ２が入力されたと判断した場合（ステップＳ２７ａ）、囲み領域の縦方向の長さを縮小する（ステップＳ２７ｂ）。画像調整部４３は、現在表示されている囲み領域の縦方向の長さを、例えば１０ピクセル縮小する。コマンドＫ２が複数回入力された場合、囲み領域の縦方向の長さは累積して縮小される。 (Step S27: When the command K2 is input, the vertical length of the enclosed area is reduced)
When the image adjustment unit 43 determines that the key [↓] of the keyboard 22 has been pressed and the command K2 has been input (step S27a), the image adjustment unit 43 reduces the vertical length of the enclosed area (step S27b). The image adjustment unit 43 reduces the vertical length of the currently displayed enclosed area by, for example, 10 pixels. When the command K2 is input multiple times, the vertical length of the enclosed area is cumulatively reduced.

（ステップＳ２８：コマンドＫ３が入力された場合、囲み領域の横の長さを拡大する）
画像調整部４３は、キーボード２２のキー［→］が押され、コマンドＫ３が入力されたと判断した場合（ステップＳ２８ａ）、囲み領域の横方向の長さを拡大する（ステップＳ２８ｂ）。画像調整部４３は、現在表示されている囲み領域の横方向の長さを、例えば１０ピクセル拡大する。コマンドＫ３が複数回入力された場合、囲み領域の横方向の長さは累積して拡大される。 (Step S28: When the command K3 is input, the horizontal length of the enclosed area is enlarged)
When the image adjustment unit 43 determines that the command [K3] is input by pressing the key [→] on the keyboard 22 (step S28a), the horizontal length of the enclosed area is enlarged (step S28b). The image adjustment unit 43 enlarges the lateral length of the currently displayed enclosed area by, for example, 10 pixels. When the command K3 is input a plurality of times, the lateral length of the enclosed area is cumulatively expanded.

（ステップＳ２９：コマンドＫ４が入力された場合、囲み領域の横の長さを縮小する）
画像調整部４３は、キーボード２２のキー［←］が押され、コマンドＫ４が入力されたと判断した場合（ステップＳ２９ａ）、囲み領域の横方向の長さを縮小する（ステップＳ２９ｂ）。画像調整部４３は、現在表示されている囲み領域の横方向の長さを、例えば１０ピクセル縮小する。コマンドＫ４が複数回入力された場合、囲み領域の横方向の長さは累積して縮小される。 (Step S29: When the command K4 is input, the horizontal length of the enclosed area is reduced)
When the image adjustment unit 43 determines that the key [←] of the keyboard 22 is pressed and the command K4 is input (step S29a), the image adjustment unit 43 reduces the horizontal length of the enclosed area (step S29b). The image adjustment unit 43 reduces the horizontal length of the currently displayed enclosed area by, for example, 10 pixels. When the command K4 is input a plurality of times, the lateral length of the enclosed area is cumulatively reduced.

基準画像データＥ１（動画Ｄ１のうち作業者により選択された対象画像のデータ）は、上記のステップＳ２６〜Ｓ２９にて囲み領域の大きさが調整され作成される。 The reference image data E1 (data of the target image selected by the operator in the moving image D1) is created by adjusting the size of the enclosed area in steps S26 to S29.

以上が、画像調整部４３の動作である。 The above is the operation of the image adjustment unit 43.

以上が、画像データ抽出装置１の動作である。上記のように画像データ抽出装置１の表示部３に表示された動画データＤ１にかかる動画上に囲み領域が表示され、囲み領域に基づき基準画像データＥ１（動画Ｄ１のうち作業者により選択された対象画像のデータ）が作成される。基準画像データＥ１に基づき、対象画像データＦ１（動画Ｄ１の複数のフレームから抽出された複数の対象画像のデータ）が作成される。 The above is the operation of the image data extraction device 1. As described above, the enclosing area is displayed on the moving image corresponding to the moving image data D1 displayed on the display unit 3 of the image data extracting device 1, and the reference image data E1 (selected by the operator in the moving image D1 based on the enclosing area). Data of the target image) is created. Target image data F1 (data of a plurality of target images extracted from a plurality of frames of the moving image D1) is created based on the reference image data E1.

［１−３．効果］
（１）本実施形態によれば、画像データ抽出装置１は、連続した複数のフレームにより構成された動画を再生する表示部３と、表示部３により再生された動画における第１の座標と第２の座標が入力される入力部２と、入力部２に入力された第１の座標と第２の座標に基づき構成された多角形または楕円形により囲まれた囲み領域の内側の画像を、連続した複数のフレームのうちの一つのフレームから基準画像として選択する選択部４１と、選択部４１により選択された基準画像に基づき、動画を構成する連続した複数のフレームの各々から、基準画像に相当する画像を対象画像として抽出する抽出部４２と、抽出部４２により抽出された対象画像を記憶する記憶部５とを有するので、作業者による単純な作業で、動画を構成する連続した複数のフレームの各々から、所望する画像を対象画像として抽出することができる画像データ抽出装置を提供することができる。 [1-3. effect]
(1) According to the present embodiment, the image data extraction device 1 includes a display unit 3 that reproduces a moving image composed of a plurality of consecutive frames, a first coordinate and a first coordinate in the moving image reproduced by the display unit 3. The input part 2 into which the coordinates of 2 are input, and the image inside the enclosed area surrounded by the polygon or the ellipse configured based on the first coordinates and the second coordinates input to the input part 2, A selection unit 41 that selects a reference image from one of a plurality of consecutive frames and a reference image from each of the plurality of consecutive frames that form a moving image based on the reference image selected by the selection unit 41. Since the extraction unit 42 that extracts the corresponding image as the target image and the storage unit 5 that stores the target image extracted by the extraction unit 42 are included, a plurality of consecutive continuous images that form a moving image can be formed by a simple work performed by an operator. It is possible to provide an image data extraction device that can extract a desired image as a target image from each frame.

本実施形態によれば、作業者は、表示部３に表示された動画上で第１の座標と第２の座標を入力部２から入力し、所望の画像を基準画像として選択することができるので、簡単な作業で基準画像を選択することができる。作業者は、動画を静止させ、静止画像から基準画像を個別に選択することを必要とされない。 According to the present embodiment, the operator can input the first coordinate and the second coordinate on the moving image displayed on the display unit 3 from the input unit 2 and select a desired image as the reference image. Therefore, the reference image can be selected with a simple operation. The operator is not required to freeze the video and individually select the reference image from the still images.

本実施形態によれば、抽出部４２は、選択部４１により選択された基準画像に基づき、動画を構成する連続した複数のフレームの各々から、基準画像に相当する画像を対象画像として抽出するので、作業者は、動画を静止させ、静止画像から多数の画像を選択することが必要とされない。その結果、短時間に大量の画像データを抽出することができる。抽出された大量の画像データは、機械学習による物体解析等に利用される。 According to the present embodiment, the extraction unit 42 extracts an image corresponding to the reference image as a target image from each of a plurality of consecutive frames that form a moving image, based on the reference image selected by the selection unit 41. The operator is not required to freeze the video and select a large number of images from the still images. As a result, a large amount of image data can be extracted in a short time. The large amount of extracted image data is used for object analysis by machine learning.

（２）本実施形態によれば、囲み領域の縦方向または横方向の長さは、入力部２に入力されたコマンドに基づき変更されるので、作業者は、容易に基準画像の大きさを変更することができる。 (2) According to the present embodiment, the length in the vertical direction or the horizontal direction of the enclosed area is changed based on the command input to the input unit 2, so that the operator can easily change the size of the reference image. Can be changed.

（３）本実施形態によれば、動画を構成する連続した複数のフレームの再生速度は、入力部２に入力されたコマンドに基づき変更されるので、作業者は、任意の再生速度で再生された動画上で、基準画像の選択を行うことができる。これにより、作業者による基準画像の選択作業は、より容易なものとなる。 (3) According to the present embodiment, the reproduction speed of a plurality of consecutive frames that form a moving image is changed based on the command input to the input unit 2, so that the worker reproduces at an arbitrary reproduction speed. The reference image can be selected on the moving image. This makes it easier for the operator to select the reference image.

（４）本実施形態によれば、対象画像は、過去に記憶した画像のうち最も類似する画像の名称が付与され記憶部５に記憶されるので、作業者は容易に、記憶部５に記憶されたデータの内容を知ることができる。また、類似した対象画像は、同様の名称が付与されて記憶部５に記憶されるので、作業者は、容易にデータの分類を行うことができる。また、作業者は、対象画像の名称を頼りに、データを抽出し、時間的な経緯の把握に役立てることができる。 (4) According to the present embodiment, the target image is given the name of the most similar image among the images stored in the past and stored in the storage unit 5, so that the worker can easily store it in the storage unit 5. It is possible to know the content of the data that was created. Further, since similar target images are stored in the storage unit 5 with the same name, the worker can easily classify the data. Further, the operator can rely on the name of the target image to extract the data and use it for grasping the temporal history.

（５）本実施形態によれば、入力部２は、マウス２１、キーボード２２、音声入力装置、視線追跡装置のうち少なくとも一つにより構成されるので、作業者は、安価に容易に一般的な装置により画像データ抽出装置１を構成することができる。 (5) According to the present embodiment, the input unit 2 includes at least one of the mouse 21, the keyboard 22, the voice input device, and the eye gaze tracking device. The image data extraction device 1 can be configured by the device.

［２．他の実施形態］
変形例を含めた実施形態を説明したが、これらの実施形態は例として提示したものであって、発明の範囲を限定することを意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略や置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。以下は、その一例である。 [2. Other Embodiments]
Although the embodiments including the modified examples have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and modifications thereof are included in the invention described in the claims and equivalents thereof as well as included in the scope and the gist of the invention. The following is an example.

（１）上記実施形態では、入力部２は、マウス２１、キーボード２２により構成され、コマンドＪ１〜Ｊ２はマウス２１、Ｋ１〜Ｋ４、Ｌ１〜Ｌ５はキーボード２２により入力されるものとした。しかしながらこれらのコマンドは、他の入力装置により構成された入力部２により入力されるようにしてもよい。例えば、入力部２は、音声入力装置が含まれ構成されるようにし、以下のコマンドが音声により音声入力装置に入力されるようにしてもよい。
コマンドＫ１（囲み領域の縦方向の拡大を指示する指令）：音声［うえ］
コマンドＫ２（囲み領域の縦方向の縮小を指示する指令）：音声［した］
コマンドＫ３（囲み領域の横方向の拡大を指示する指令）：音声［みぎ］
コマンドＫ４（囲み領域の横方向の縮小を指示する指令）：音声［ひだり］
コマンドＬ１（動画の再生停止を指示する指令）：音声［一時停止］
コマンドＬ２（動画の再生開始を指示する指令）：音声［再生］
コマンドＬ３（動画の低速再生を指示する指令）：音声［低速］
コマンドＬ４（動画の高速再生を指示する指令）：音声［高速］
コマンドＬ５（動画の巻き戻し再生を指示する指令）：音声［巻き戻し］ (1) In the above embodiment, the input unit 2 is composed of the mouse 21 and the keyboard 22, and the commands J1 to J2 are inputted by the mouse 21, K1 to K4, and L1 to L5 are inputted by the keyboard 22. However, these commands may be input by the input unit 2 configured by another input device. For example, the input unit 2 may be configured to include a voice input device, and the following commands may be input to the voice input device by voice.
Command K1 (command for instructing vertical expansion of the enclosed area): voice [up]
Command K2 (command instructing vertical reduction of the enclosed area): Voice [Yes]
Command K3 (command for instructing lateral expansion of the enclosed area): Voice [Migi]
Command K4 (command for instructing lateral reduction of the enclosed area): Voice [Hidari]
Command L1 (command to instruct playback stop of video): voice [pause]
Command L2 (command to start playback of video): voice [play]
Command L3 (command for instructing low speed playback of moving image): voice [low speed]
Command L4 (command to instruct high-speed playback of video): Voice [high speed]
Command L5 (command to instruct rewind reproduction of video): voice [rewind]

（２）上記実施形態では、作業者に操作された入力部２のマウス２１により、コマンドＪ１（抽出する画像のポイントＡを示す指令）、コマンドＪ２（抽出する画像のポイントＢを示す指令）が入力されるものとした。しかしながらこれらのコマンドは、他の入力装置により構成された入力部２により入力されるようにしてもよい。例えば、視線追跡装置を含め入力部２を構成するようにし、コマンドＪ１、Ｊ２は、作業者の視線の方向により視線追跡装置に入力されるようにしてもよい。 (2) In the above embodiment, the command J1 (command indicating the point A of the image to be extracted) and command J2 (command indicating the point B of the image to be extracted) are operated by the mouse 21 of the input unit 2 operated by the operator. It was supposed to be entered. However, these commands may be input by the input unit 2 configured by another input device. For example, the input unit 2 may be configured to include the line-of-sight tracking device, and the commands J1 and J2 may be input to the line-of-sight tracking device according to the direction of the line of sight of the worker.

（３）上記実施形態では、囲み領域は、ポイントＡの座標とポイントＢの座標に基づき構成された四角形であるものとした。しかしながら囲み領域の形状は、これに限られない。囲み領域の形状は、ポイントＡの座標とポイントＢの座標に基づき構成された、例えば三角形、五角形以上の多角形または楕円形であってもよい。 (3) In the above embodiment, the enclosed area is a quadrangle formed based on the coordinates of the point A and the coordinates of the point B. However, the shape of the enclosed area is not limited to this. The shape of the enclosed area may be, for example, a triangle, a polygon of pentagon or more, or an ellipse, which is configured based on the coordinates of the point A and the coordinates of the point B.

（４）上記実施形態ではコマンドＪ２が入力された時点の動画のフレームから基準画像データＥ１を作成するものとしたが、基準画像データＥ１が作成される動画のフレームはこれに限られない。コマンドＪ１が入力された動画のフレームから基準画像データＥ１が作成されるようにしてもよい。またはコマンドＪ１コマンドＪ２が入力された間の動画のフレームが選択され、基準画像データＥ１が作成されるようにしてもよい。 (4) In the above embodiment, the reference image data E1 is created from the moving image frame at the time when the command J2 is input, but the moving image frame in which the reference image data E1 is created is not limited to this. The reference image data E1 may be created from the frame of the moving image in which the command J1 is input. Alternatively, the frame of the moving image while the command J1 and the command J2 are input may be selected and the reference image data E1 may be created.

１・・・画像データ抽出装置
２・・・入力部
３・・・表示部
４・・・演算部
５・・・記憶部
９・・・コンソール
２１・・・マウス
２２・・・キーボード
４１・・・選択部
４２・・・抽出部
４３・・・画像調整部

1... Image data extracting device 2... Input unit 3... Display unit 4... Calculation unit 5... Storage unit 9... Console 21... Mouse 22... Keyboard 41... -Selection unit 42... Extraction unit 43... Image adjustment unit

Claims (6)

連続した複数のフレームにより構成された動画を再生する表示部と、
前記表示部により再生された動画における第１の座標と第２の座標が入力される入力部と、
前記入力部に入力された前記第１の座標と前記第２の座標に基づき構成された多角形または楕円形により囲まれた囲み領域の内側の画像を、連続した前記複数のフレームのうちの一つのフレームから基準画像として選択する選択部と、
前記選択部により選択された前記基準画像に基づき、前記動画を構成する連続した前記複数のフレームの各々から、前記基準画像に相当する画像を対象画像として抽出する抽出部と、
前記抽出部により抽出された対象画像を記憶する記憶部と、
を有する画像データ抽出装置。 A display unit for playing back a video composed of a plurality of consecutive frames,
An input unit for inputting first coordinates and second coordinates in the moving image reproduced by the display unit;
An image inside an enclosed area surrounded by a polygon or an ellipse configured based on the first coordinates and the second coordinates input to the input unit is used as one of the continuous frames. A selection section that selects from one frame as a reference image,
An extraction unit that extracts an image corresponding to the reference image as a target image from each of the plurality of continuous frames that form the moving image, based on the reference image selected by the selection unit,
A storage unit that stores the target image extracted by the extraction unit;
Image data extraction device having a. 前記囲み領域の縦方向または横方向の長さは、前記入力部に入力されたコマンドに基づき変更される、
請求項１に記載の画像データ抽出装置。 The length in the vertical direction or the horizontal direction of the enclosed area is changed based on the command input to the input unit,
The image data extraction device according to claim 1. 前記動画を構成する連続した前記複数のフレームの再生速度は、前記入力部に入力されたコマンドに基づき変更される、
請求項１または２に記載の画像データ抽出装置。 The playback speed of the plurality of consecutive frames forming the moving image is changed based on the command input to the input unit,
The image data extraction device according to claim 1. 前記対象画像は、過去に記憶した画像のうち最も類似する画像の名称が付与され前記記憶部に記憶される、
請求項１乃至３のいずれか１項に記載の画像データ抽出装置。 The target image is given the name of the most similar image among the images stored in the past and stored in the storage unit,
The image data extraction device according to any one of claims 1 to 3. 前記入力部は、マウス、キーボード、音声入力装置、視線追跡装置のうち少なくとも一つにより構成された、
請求項１乃至４のいずれか１項に記載の画像データ抽出装置。 The input unit includes at least one of a mouse, a keyboard, a voice input device, and a line-of-sight tracking device,
The image data extraction device according to any one of claims 1 to 4. 動画を再生する表示部により再生された、連続した複数のフレームにより構成された動画の第１の座標と第２の座標とを入力する入力手順と、
前記入力手順により入力された前記第１の座標と前記第２の座標に基づき構成された多角形または楕円形により囲まれた囲み領域の内側の画像を、連続した前記複数のフレームのうちの一つのフレームから基準画像として選択する選択手順と、
前記選択手順により選択された前記基準画像に基づき、前記動画を構成する連続した前記複数のフレームの各々から、前記基準画像に相当する画像を対象画像として抽出する抽出手順と、
前記抽出手順により抽出された対象画像を記憶する記憶手順と、
を有する画像データ抽出方法。

An input procedure for inputting the first coordinate and the second coordinate of the moving image which is reproduced by the display unit for reproducing the moving image and is constituted by a plurality of continuous frames;
An image inside an enclosed area surrounded by a polygon or an ellipse configured based on the first coordinates and the second coordinates input by the input procedure is set to one of the plurality of continuous frames. Selection procedure to select as a reference image from one frame,
An extraction procedure for extracting an image corresponding to the reference image as a target image from each of the plurality of continuous frames that form the moving image, based on the reference image selected by the selection procedure,
A storage procedure for storing the target image extracted by the extraction procedure,
An image data extraction method having:

JP2019021389A 2019-02-08 2019-02-08 Image data extraction device and image data extraction method Active JP7398869B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019021389A JP7398869B2 (en) 2019-02-08 2019-02-08 Image data extraction device and image data extraction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019021389A JP7398869B2 (en) 2019-02-08 2019-02-08 Image data extraction device and image data extraction method

Publications (2)

Publication Number Publication Date
JP2020129741A true JP2020129741A (en) 2020-08-27
JP7398869B2 JP7398869B2 (en) 2023-12-15

Family

ID=72174896

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019021389A Active JP7398869B2 (en) 2019-02-08 2019-02-08 Image data extraction device and image data extraction method

Country Status (1)

Country Link
JP (1) JP7398869B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187759A (en) * 1996-01-31 1998-07-21 Mitsubishi Electric Corp Moving picture anchor displaying, selecting, and stetting device, moving picture hypermedia device using moving picture anchor, and moving picture provision system
JP2015115940A (en) * 2014-04-01 2015-06-22 株式会社Ｐｕｍｏ Interface device for designating link destination, interface device for viewer, and computer program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187759A (en) * 1996-01-31 1998-07-21 Mitsubishi Electric Corp Moving picture anchor displaying, selecting, and stetting device, moving picture hypermedia device using moving picture anchor, and moving picture provision system
JP2015115940A (en) * 2014-04-01 2015-06-22 株式会社Ｐｕｍｏ Interface device for designating link destination, interface device for viewer, and computer program

Also Published As

Publication number Publication date
JP7398869B2 (en) 2023-12-15

Similar Documents

Publication Publication Date Title
US10656811B2 (en) Animation of user interface elements
US10698587B2 (en) Display-efficient text entry and editing
TWI478045B (en) Dynamic wallppaper of mobile systes
JP2017162507A5 (en)
EP2987077B1 (en) Application window divider control for window layout management
US9836203B2 (en) Grid-based visual design environment
AU2013222958B2 (en) Method and apparatus for object size adjustment on a screen
KR20090085777A (en) Method for providing gui and multimedia device thereof
JP3291311B2 (en) Scroll control device and scroll display method
JP2005202062A (en) Comics display device, comics display method, comics editing system, and comics editing method
JP2020129741A (en) Image data extraction device and image data extraction method
JPH10105153A (en) Information processor and its enlargement display method, and storage medium
US20160196054A1 (en) Application switching on mobile devices
KR101944454B1 (en) Information processing program and information processing method
US10347297B2 (en) Moving picture playback method, moving picture playback program, and moving picture playback apparatus
US20220129069A1 (en) Information processing apparatus, information processing method, and program
CN114610192A (en) Text selection method, text selection device, electronic equipment and readable storage medium
JP7422784B2 (en) Information processing device, information processing method, and program
KR102057805B1 (en) interaction scroll control method, apparatus, program and computer readable recording medium
JP2015075989A (en) System, program, and method for manipulating objects
US10564989B2 (en) Thread independent parametric positioning for rendering elements
WO2020134864A1 (en) Video playback method, apparatus, and device
KR101116538B1 (en) Choreography production system and choreography production method
US10979777B2 (en) Processing system for performing reverse video content output generation
US20200275172A1 (en) Step by step interactive video

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231205

R150 Certificate of patent or registration of utility model

Ref document number: 7398869

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150