JP2018005316A - Work record analysis reading system - Google Patents

Work record analysis reading system Download PDF

Info

Publication number
JP2018005316A
JP2018005316A JP2016127380A JP2016127380A JP2018005316A JP 2018005316 A JP2018005316 A JP 2018005316A JP 2016127380 A JP2016127380 A JP 2016127380A JP 2016127380 A JP2016127380 A JP 2016127380A JP 2018005316 A JP2018005316 A JP 2018005316A
Authority
JP
Japan
Prior art keywords
work
unit
browsing system
record analysis
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016127380A
Other languages
Japanese (ja)
Inventor
春美 清水
Harumi Shimizu
春美 清水
大介 勝又
Daisuke Katsumata
大介 勝又
孝史 野口
Takashi Noguchi
孝史 野口
健太郎 大西
Kentaro Onishi
健太郎 大西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Systems Ltd
Original Assignee
Hitachi Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Systems Ltd filed Critical Hitachi Systems Ltd
Priority to JP2016127380A priority Critical patent/JP2018005316A/en
Priority to PCT/JP2017/021259 priority patent/WO2018003447A1/en
Publication of JP2018005316A publication Critical patent/JP2018005316A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide work scenes necessary for a supervision task, for example, from pictures taken for a long time.SOLUTION: A work record analysis reading system 10 includes: a sensor unit 102; a feature extraction unit 114; a work content determination unit 115; a picture imaging device 101; and a display generation unit. The sensor unit 102 detects work data. The feature extraction unit 114 extracts a feature amount from the work data measured by the sensor unit 102. A work content determination unit 115 determines whether a work is being done based on the feature amount extracted by the extraction feature unit 114. The picture imaging device 101 images a work record. The display generation unit has a display device 103 and a display content generation unit 117, and generates a time run indicating a work period based on the result of the determination obtained by the work content determination unit 115, and displays the time run. The display generation unit acquires a picture according to the work period from the picture of the work record and displays the picture, when the time run showing the work period is selected.SELECTED DRAWING: Figure 1

Description

本発明は、作業記録解析閲覧システムに関し、特に、監視カメラなどによって撮影された映像における作業シーンの監視および検索に有効な技術に関する。   The present invention relates to a work record analysis and browsing system, and more particularly to a technique effective for monitoring and searching for a work scene in a video shot by a surveillance camera or the like.

作業者が行う作業がマニュアル通りに行われているかなどを確認する技術として、例えば監視カメラなどを用いて確認するものが知られている。この場合、監視カメラによって作業者の作業を撮影し、撮影した映像を解析することによって、例えば作業者の行動を検出して特定する。   As a technique for confirming whether the work performed by the worker is performed according to the manual, for example, a technique for confirming using a monitoring camera or the like is known. In this case, for example, the operator's action is detected and identified by photographing the worker's work with the monitoring camera and analyzing the photographed video.

この種の映像解析技術としては、例えば特許文献1および非特許文献1などが知られている。特許文献1には、ユーザに保持される可搬型装置に記録されたユーザ識別子をカメラで撮影されるユーザに対応付け、カメラで撮影されるユーザの行動を装置識別子またはユーザ識別子に対応付けすることによって店舗内でのユーザの行動をユーザを特定する情報と対応付けて追跡する旨が記載されている。   As this type of video analysis technology, for example, Patent Literature 1 and Non-Patent Literature 1 are known. In Patent Literature 1, a user identifier recorded on a portable device held by a user is associated with a user who is photographed with a camera, and a user's action photographed with a camera is associated with a device identifier or a user identifier. Describes that the behavior of the user in the store is tracked in association with information specifying the user.

また、非特許文献1には、カメラが撮影した映像から人物を検出して、検出した人物を追跡して行動を認識する旨が記載されている。   Non-Patent Document 1 describes that a person is detected from video captured by a camera, and the detected person is tracked to recognize an action.

特開2015−041194号公報Japanese Patent Laying-Open No. 2015-04194

OKIテクニカルビュー 2014年 10月/第224号 Vol.81 No.2 P42-P45OKI Technical View October 2014 / No.224 Vol.81 No.2 P42-P45

上述した特許文献1に記載の技術は、特定したユーザの行動を追跡するのみであり、詳細な行動を認識することができないという問題がある。   The technique described in Patent Document 1 described above has a problem that only the behavior of the identified user is tracked, and detailed behavior cannot be recognized.

また、非特許文献1などによる映像の解析は、主に人物の歩行経路の追跡、異常行動の認識、人数カウントなどの大きい動きのみである。よって、人物の動作や追跡などの大きな動き以外の条件については、検出することが困難である。そのため、作業形態によっては、上述した大きな動き以外の作業条件などがマニュアル通りの作業であるか否かの確認ができない恐れが生じてしまうという問題がある。   In addition, video analysis according to Non-Patent Document 1 mainly includes large movements such as tracking a person's walking route, recognizing abnormal behavior, and counting people. Therefore, it is difficult to detect conditions other than large movements such as human motion and tracking. Therefore, depending on the work mode, there is a problem that it may not be possible to confirm whether or not work conditions other than the above-described large movements are manual work.

本発明の目的は、長時間撮影された映像の中から、監督業務などに必要な作業シーンを提供することのできる技術を提供することにある。   An object of the present invention is to provide a technique capable of providing a work scene necessary for a supervisory work or the like from an image shot for a long time.

本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。   The above and other objects and novel features of the present invention will be apparent from the description of this specification and the accompanying drawings.

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。   Of the inventions disclosed in the present application, the outline of typical ones will be briefly described as follows.

すなわち、代表的な作業記録解析閲覧システムは、作業記録の映像を解析して抽出対象となる映像を提供する。この作業記録解析閲覧システムは、検出部、特徴抽出部、作業判別部、映像撮影部、および表示生成部を有する。   That is, a typical work record analysis browsing system analyzes a work record video and provides a video to be extracted. The work record analysis browsing system includes a detection unit, a feature extraction unit, a work determination unit, a video shooting unit, and a display generation unit.

検出部は、作業データを検出する。特徴抽出部は、検出部が検出した作業データから特徴量を抽出する。作業判別部は、特徴抽出部が抽出した特徴量に基づいて、作業中であるか否かを判別する。映像撮影部は、作業記録を撮影する。表示生成部は、作業判別部が判別した判別結果に基づいて、作業期間および作業をしていない期間を時系列に示すタイムランを生成して表示する。   The detection unit detects work data. The feature extraction unit extracts a feature amount from the work data detected by the detection unit. The work determination unit determines whether the work is in progress based on the feature amount extracted by the feature extraction unit. The video shooting unit takes a work record. The display generation unit generates and displays a time run indicating a work period and a non-working period in time series based on the determination result determined by the work determination unit.

また、表示生成部は、前記作業期間を示す前記タイムランが選択された際に、作業期間に対応する映像を映像撮影部が撮影した作業記録の映像から取得して表示する。   In addition, when the time run indicating the work period is selected, the display generation unit acquires and displays a video corresponding to the work period from the video of the work record taken by the video photographing unit.

特に作業判別部は、特徴抽出部が抽出した特徴量と標準特徴量との類似度に基づいて、作業中であるか否かを判別する。標準特徴量は、作業が標準化された標準作業(標準行程)から抽出した特徴量である。   In particular, the work determination unit determines whether the work is in progress based on the similarity between the feature amount extracted by the feature extraction unit and the standard feature amount. The standard feature quantity is a feature quantity extracted from a standard work (standard process) in which work is standardized.

また、検出部が検出する作業データは、少なくとも温度データである。特徴抽出部は、検出部が検出した温度データを周波数解析して特徴量を抽出する。作業判別部は、特徴抽出部が抽出した特徴量と標準特徴量との類似度に基づいて、作業中であるか否かを判別する。標準特徴量は、作業が標準化された標準作業から抽出した特徴量であり、標準作業において検出部が検出した温度データを周波数解析して抽出したものである。   Further, the work data detected by the detection unit is at least temperature data. The feature extraction unit performs frequency analysis on the temperature data detected by the detection unit and extracts a feature amount. The work determination unit determines whether the work is in progress based on the similarity between the feature quantity extracted by the feature extraction unit and the standard feature quantity. The standard feature amount is a feature amount extracted from the standard work in which the work is standardized, and is extracted by frequency analysis of temperature data detected by the detection unit in the standard work.

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。   Among the inventions disclosed in the present application, effects obtained by typical ones will be briefly described as follows.

(1)容易に作業確認に必要な映像シーンを閲覧することができる。   (1) A video scene required for work confirmation can be easily browsed.

(2)上記(1)により、監督業務の効率を向上させることができる。   (2) According to the above (1), the efficiency of the supervisory work can be improved.

一実施の形態による作業記録解析閲覧システムにおける構成の一例を示す説明図である。It is explanatory drawing which shows an example of a structure in the work record analysis browsing system by one embodiment. 図1の作業記録解析閲覧システムにおける他の構成例を示す説明図である。It is explanatory drawing which shows the other structural example in the work record analysis browsing system of FIG. 図2の記憶装置に格納される検出情報の一例を示した説明図である。It is explanatory drawing which showed an example of the detection information stored in the memory | storage device of FIG. 図2の作業情報蓄積部に蓄積される作業情報の一例を示す説明図である。It is explanatory drawing which shows an example of the work information accumulate | stored in the work information storage part of FIG. 図2の作業記録解析閲覧システムによる動作の一例を示すフローチャートである。It is a flowchart which shows an example of the operation | movement by the work record analysis browsing system of FIG. 図2の表示内容生成部が生成したビューワー画面の一例を示す説明図である。It is explanatory drawing which shows an example of the viewer screen which the display content generation part of FIG. 2 produced | generated. 図6のビューワー画面における他の例を示す説明図である。It is explanatory drawing which shows the other example in the viewer screen of FIG. 図7のビューワー画面における他の例を示す説明図である。It is explanatory drawing which shows the other example in the viewer screen of FIG.

以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。   In the following embodiments, when it is necessary for the sake of convenience, the description will be divided into a plurality of sections or embodiments. However, unless otherwise specified, they are not irrelevant to each other. There are some or all of the modifications, details, supplementary explanations, and the like.

また、以下の実施の形態において、要素の数等(個数、数値、量、範囲等を含む)に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。   Further, in the following embodiments, when referring to the number of elements (including the number, numerical value, quantity, range, etc.), especially when clearly indicated and when clearly limited to a specific number in principle, etc. Except, it is not limited to the specific number, and may be more or less than the specific number.

さらに、以下の実施の形態において、その構成要素(要素ステップ等も含む)は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。   Further, in the following embodiments, the constituent elements (including element steps and the like) are not necessarily indispensable unless otherwise specified and apparently essential in principle. Needless to say.

同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。   Similarly, in the following embodiments, when referring to the shape, positional relationship, etc. of components, etc., the shape of the component is substantially the case unless it is clearly specified and the case where it is clearly not apparent in principle. And the like are included. The same applies to the above numerical values and ranges.

また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。   In all the drawings for explaining the embodiments, the same members are denoted by the same reference symbols in principle, and the repeated explanation thereof is omitted.

以下、実施の形態を詳細に説明する。   Hereinafter, embodiments will be described in detail.

〈作業記録解析閲覧システムの構成例〉
図1は、一実施の形態による作業記録解析閲覧システム10における構成の一例を示す説明図である。
<Configuration example of work record analysis browsing system>
FIG. 1 is an explanatory diagram illustrating an example of a configuration in a work record analysis browsing system 10 according to an embodiment.

作業記録解析閲覧システム10は、作業者が作業を行っている作業内容を特定して、監督者などが作業中の映像を効率よく閲覧できるように提示するシステムである。この作業記録解析閲覧システム10は、様々な作業形態に適用することができるが、ここでは、一例として、飲食店などの調理場の作業に適用するものとする。この場合、作業記録解析閲覧システム10は、調理者の調理動作を記録解析して調理中の映像を提示する。   The work record analysis / viewing system 10 is a system that identifies the work content that the worker is working on and presents it so that the supervisor or the like can efficiently view the video being worked on. Although this work record analysis browsing system 10 can be applied to various work forms, here, as an example, it is assumed to be applied to work in a kitchen such as a restaurant. In this case, the work record analysis browsing system 10 records and analyzes the cooking operation of the cook and presents an image during cooking.

作業記録解析閲覧システム10は、図1に示すように、映像撮影装置101、センサ部102、表示装置103、および映像情報解析装置104を有する構成からなる。映像撮影部である映像撮影装置101は、例えばネットワークカメラやデジタルカメラなどである。映像撮影装置101は、調理場内の様々な場所に設けられており、該調理場内における映像を撮影する。   As shown in FIG. 1, the work record analysis browsing system 10 has a configuration including a video imaging device 101, a sensor unit 102, a display device 103, and a video information analysis device 104. The video imaging device 101 that is a video imaging unit is, for example, a network camera or a digital camera. The video imaging device 101 is provided in various places in the cooking place, and takes pictures in the cooking place.

検出部であるセンサ部102は、例えば温度センサである。温度センサは、鍋や揚げ物などを調理する調理器具であるフライヤなどに取りけられ、鍋の温度やフライヤの油の温度などを検出する。   The sensor unit 102 that is a detection unit is, for example, a temperature sensor. The temperature sensor is attached to a fryer, which is a cooking utensil for cooking pans and fried foods, and detects the temperature of the pan, the temperature of the fryer oil, and the like.

その他に、センサ部102を構成するセンサとしては、例えば、振動センサ、湿度センサ、あるいは集音マイクなどを有してもよい。振動センサは、振動を検出するセンサであり、例えば鍋などのあおりを検出する。   In addition, as a sensor which comprises the sensor part 102, you may have a vibration sensor, a humidity sensor, or a sound collection microphone, for example. The vibration sensor is a sensor that detects vibration, and detects, for example, a tilt such as a pan.

湿度センサは、湿度を検出するセンサであり、例えば蒸し器内の湿度や調理場の湿度などを検出する。集音マイクは、調理場の音を取得する。表示装置103は、例えば液晶ディスプレイなどからなり 後述する表示内容生成部117が生成した映像データを表示する。また、表示装置103および表示内容生成部117によって表示生成部が構成される。   A humidity sensor is a sensor which detects humidity, for example, detects the humidity in a steamer, the humidity of a kitchen, etc. The sound collection microphone acquires the sound of the kitchen. The display device 103 is composed of a liquid crystal display, for example, and displays video data generated by a display content generation unit 117 described later. In addition, the display device 103 and the display content generation unit 117 constitute a display generation unit.

映像情報解析装置104は、映像撮影装置101が取得した映像を解析して作業内容を判別すると共に、調理中の映像などを再生する。   The video information analysis device 104 analyzes the video acquired by the video shooting device 101 to determine the work content and reproduces the video being cooked.

この映像情報解析装置104は、映像入力部111、映像蓄積部112、センサデータ入力部113、特徴抽出部114、作業内容判別部115、作業情報蓄積部116、表示内容生成部117、および学習済みデータ蓄積部118を有する。   The video information analysis device 104 includes a video input unit 111, a video storage unit 112, a sensor data input unit 113, a feature extraction unit 114, a work content determination unit 115, a work information storage unit 116, a display content generation unit 117, and a learned version. A data storage unit 118 is included.

映像入力部111は、映像撮影装置101が撮影した画像データが入力される。映像撮影装置101が撮影した映像データには、該映像データを構成する各々のフレームに対して撮影日時がそれぞれ付与されている。映像蓄積部112は、映像入力部111から取り込んだ映像撮影装置101の画像データを蓄積する。センサデータ入力部113は、センサ部102が検出する検出データが入力される。   The image input unit 111 receives image data captured by the image capturing apparatus 101. In the video data shot by the video shooting device 101, a shooting date and time is assigned to each frame constituting the video data. The video storage unit 112 stores the image data of the video shooting device 101 captured from the video input unit 111. The sensor data input unit 113 receives detection data detected by the sensor unit 102.

特徴抽出部114は、センサデータ入力部113から取り込んだ検出データを解析して特徴量を抽出する。この検出データは、作業データとなる。センサ部102が温度センサの場合、特徴抽出部114は、温度センサが検出した温度データから特徴量を抽出する。   The feature extraction unit 114 analyzes the detection data fetched from the sensor data input unit 113 and extracts feature amounts. This detection data becomes work data. When the sensor unit 102 is a temperature sensor, the feature extraction unit 114 extracts a feature amount from the temperature data detected by the temperature sensor.

特徴量としては、例えば油の単位時間当たりの最小温度や平均温度値などを用いることができる。その他に、フーリエ変換あるいはウェーブレット変換などの周波数解析を用いることによって調理中の時間帯の検出を容易にすることができる。   As the feature amount, for example, the minimum temperature or average temperature value per unit time of oil can be used. In addition, the time zone during cooking can be easily detected by using frequency analysis such as Fourier transform or wavelet transform.

例えば揚げ物調理の際にフライヤに食材が投入されると、油の温度は大幅に低下した後、再び上昇して揚げ物に適した温度近傍を保つことになる。このような温度変化を周波数解析すると高周波成分が得られることになり、この高周波成分を特徴量として抽出する。なお、上記した特徴量の抽出は、一例を示したものであり、これに限定されるものではない。   For example, when food is introduced into the fryer during frying cooking, the temperature of the oil drops significantly and then rises again to maintain a temperature suitable for the fried food. When such a temperature change is subjected to frequency analysis, a high frequency component is obtained, and this high frequency component is extracted as a feature amount. Note that the feature amount extraction described above is an example, and the present invention is not limited to this.

作業内容判別部115は、特徴抽出部114が抽出した特徴量と学習済みデータ蓄積部118に蓄積されている学習済み特徴量とを比較して作業内容を判定する。具体的には、前述した周波数解析によって抽出された高周波成分と学習済み特徴量との類似度に基づいて、調理中であるかなどの作業内容を判定する。この学習済み特徴量は、標準特徴量となる。   The work content determination unit 115 determines the work content by comparing the feature amount extracted by the feature extraction unit 114 with the learned feature amount stored in the learned data storage unit 118. Specifically, based on the similarity between the high-frequency component extracted by the above-described frequency analysis and the learned feature amount, the work content such as whether cooking is in progress is determined. This learned feature amount is a standard feature amount.

学習済みデータ蓄積部118は、学習済み特徴量データを蓄積する。学習済み特徴量データは、学習済み特徴量および該学習済み特徴量に対応する作業内容からなる。学習済み特徴量は、模範的な調理、言い換えればマニュアル通りの調理によって得られた温度データから特徴量を抽出したものである。また、作業内容は、この特徴量に対応する作業内容を表したものである。   The learned data accumulation unit 118 accumulates learned feature data. The learned feature quantity data includes a learned feature quantity and work contents corresponding to the learned feature quantity. The learned feature amount is a feature amount extracted from temperature data obtained by exemplary cooking, in other words, manual cooking. The work content represents work content corresponding to the feature amount.

作業情報蓄積部116は、作業内容判別部115が判別した作業内容を作業情報として蓄積する。表示内容生成部117は、映像蓄積部112に蓄積されている映像データおよび該映像データに対応付けされた作業内容を例えばビューワー形式に生成して表示装置103に出力する。   The work information storage unit 116 stores the work content determined by the work content determination unit 115 as work information. The display content generation unit 117 generates the video data stored in the video storage unit 112 and the work content associated with the video data in a viewer format, for example, and outputs the generated data to the display device 103.

〈映像検索システムの適用例〉
続いて、図1の作業記録解析閲覧システム10の適用例について説明する。
<Application example of video search system>
Next, an application example of the work record analysis browsing system 10 in FIG. 1 will be described.

図2は、図1の作業記録解析閲覧システム10における他の構成例を示す説明図である。   FIG. 2 is an explanatory diagram showing another configuration example of the work record analysis browsing system 10 of FIG.

この図2では、図1の作業記録解析閲覧システム10が有する映像情報解析装置104を計算機であるパーソナルコンピュータを適用して構成した際の例を示したものである。   FIG. 2 shows an example in which the video information analysis apparatus 104 included in the work record analysis browsing system 10 of FIG. 1 is configured by applying a personal computer which is a computer.

図2における映像撮影装置101、センサ部102、および表示装置103は、図1と同様であるので、説明は省略する。   The video photographing device 101, the sensor unit 102, and the display device 103 in FIG. 2 are the same as those in FIG.

図2において、映像情報解析装置104は、上述したように一般的なパーソナルコンピュータなどの計算機であり、プロセッサ150、メインメモリ151、映像入力インタフェース152、センサ情報入力インタフェース153、出力インタフェース154、および記憶装置155を有する。これらは、バスBなどによって相互に接続された構成からなる。   In FIG. 2, the video information analysis device 104 is a computer such as a general personal computer as described above, and includes a processor 150, a main memory 151, a video input interface 152, a sensor information input interface 153, an output interface 154, and a storage. Device 155. These are configured to be connected to each other by a bus B or the like.

プロセッサ150は、メインメモリ151に格納されたプログラムを実行する。メインメモリ151は、例えばフラッシュメモリなどに例示される半導体メモリなどからなり、プロセッサ150によって実行されるプログラムおよび該プロセッサ150によって参照されるデータを格納する。   The processor 150 executes a program stored in the main memory 151. The main memory 151 includes a semiconductor memory exemplified by a flash memory, for example, and stores a program executed by the processor 150 and data referred to by the processor 150.

具体的には、記憶装置155に格納されたプログラムおよびデータの少なくとも一部が、必要に応じてメインメモリ151にコピーされる。映像入力インタフェース152は、映像データを取得するためのインタフェースであり、映像撮影装置101が接続されている。   Specifically, at least a part of the program and data stored in the storage device 155 is copied to the main memory 151 as necessary. The video input interface 152 is an interface for acquiring video data, and is connected to the video shooting apparatus 101.

センサ情報入力インタフェース153は、センサ部102が検出したセンサ情報を取得するインタフェースであり、センサ部102が接続されている。出力インタフェース154は、表示装置103にて表示する画面を出力するインタフェースである。   The sensor information input interface 153 is an interface for acquiring sensor information detected by the sensor unit 102, and is connected to the sensor unit 102. The output interface 154 is an interface that outputs a screen to be displayed on the display device 103.

記憶装置155は、例えばハードディスク装置(HDD)あるいはフラッシュメモリのような不揮発性の記憶装置である。図2における記憶装置155には、少なくとも図1の特徴抽出部114、作業内容判別部115、および表示内容生成部117による機能を実行するプログラム形式のソフトウェアが格納されている。   The storage device 155 is a non-volatile storage device such as a hard disk device (HDD) or a flash memory. The storage device 155 in FIG. 2 stores at least software in a program format for executing the functions of the feature extraction unit 114, the work content determination unit 115, and the display content generation unit 117 in FIG.

また、記憶装置155は、データ格納領域を有している。このデータ格納領域には、図1の映像蓄積部112に蓄積される映像データ、図1の作業情報蓄積部116に蓄積されるデータ、図1の学習済みデータ蓄積部118に蓄積されるデータ、および後述する検出情報がそれぞれ格納される。   The storage device 155 has a data storage area. The data storage area includes video data stored in the video storage unit 112 in FIG. 1, data stored in the work information storage unit 116 in FIG. 1, data stored in the learned data storage unit 118 in FIG. And the detection information mentioned later is stored, respectively.

上述した特徴抽出部114、作業内容判別部115、および表示内容生成部117の各機能を実行するプログラムは、プロセッサ150によって実行されるプログラムである。   The programs that execute the functions of the feature extraction unit 114, the work content determination unit 115, and the display content generation unit 117 described above are programs executed by the processor 150.

以下の説明において、これらの各機能が実行する処理は、プロセッサ150によって実行される。   In the following description, processing executed by each of these functions is executed by the processor 150.

〈データ例〉
図3は、図2の記憶装置155に格納される検出情報の一例を示した説明図である。
<Data example>
FIG. 3 is an explanatory diagram showing an example of detection information stored in the storage device 155 of FIG.

この図3は、センサ部102が検出する検出データを記憶装置155に格納する際のデータ形式を示している。   FIG. 3 shows a data format when the detection data detected by the sensor unit 102 is stored in the storage device 155.

センサ部102は、前述したように例えば調理器具であるフライヤに設けられた温度センサからなり、フライヤの油の温度を検出データとして検出する。センサ部102が検出する油の温度は、プロセッサ150によってある間隔毎に定期的に取得される。   As described above, the sensor unit 102 includes a temperature sensor provided in, for example, a fryer that is a cooking utensil, and detects the temperature of the fryer oil as detection data. The temperature of the oil detected by the sensor unit 102 is periodically acquired by the processor 150 at certain intervals.

ここでは、プロセッサ150が1秒毎に油の温度を検出する例を示している。なお、温度の検出間隔については、特に限定されるものでなく、例えば5秒毎などの異なる間隔であってもよい。   Here, an example is shown in which the processor 150 detects the oil temperature every second. The temperature detection interval is not particularly limited, and may be a different interval such as every 5 seconds.

プロセッサ150は、取得した油の温度に温度検出した際の検出時間を付加した検出情報を図3に示すデータ形式にて記憶装置155に格納する。   The processor 150 stores, in the storage device 155, detection information obtained by adding a detection time when the temperature is detected to the obtained oil temperature in the data format shown in FIG.

図4は、図2の作業情報蓄積部116に蓄積される作業情報の一例を示す説明図である。   FIG. 4 is an explanatory diagram showing an example of work information stored in the work information storage unit 116 of FIG.

作業情報蓄積部116に蓄積される作業情報は、図4に示すように、日時と作業内容とからなる。作業内容は、図2の作業内容判別部115が判別した作業内容であり、例えば「0」、「1」、「2」などの数字によって格納される。   As shown in FIG. 4, the work information stored in the work information storage unit 116 includes date and time and work contents. The work content is the work content determined by the work content determination unit 115 in FIG. 2, and is stored by numbers such as “0”, “1”, “2”, for example.

図4の場合、作業内容「0」は、「作業なし」を示しており、これはフライヤがオフされており、油の温度が上がっていない状態を示している。作業内容「1」は、「調理」であることを示している。すなわちフライヤを用いて揚げ物を上げている調理中であることを示している。作業内容「2」は、「保温」であることを示している。これは揚げ物の調理がされずにフライヤの油が保温されている状態を示している。   In the case of FIG. 4, the work content “0” indicates “no work”, which indicates that the fryer is turned off and the temperature of the oil is not increased. The work content “1” indicates “cooking”. In other words, it shows that cooking is being done using a fryer. The work content “2” indicates “warming”. This shows that the fryer oil is kept warm without cooking the fried food.

〈映像検索システムの動作例〉
続いて、図2の作業記録解析閲覧システム10による動作について説明する。
<Operation example of video search system>
Next, the operation of the work record analysis browsing system 10 in FIG. 2 will be described.

図5は、図2の作業記録解析閲覧システム10による動作の一例を示すフローチャートである。   FIG. 5 is a flowchart showing an example of operation by the work record analysis browsing system 10 of FIG.

まず、センサ部102が取得した温度データをセンサ情報入力インタフェース153を通じて取得する(ステップS101)。取得した温度データは、上述した図3に示す形式によって記憶装置155に格納される。また、映像撮影装置101によって撮影された撮影データは、映像蓄積部112に格納される。ここで、格納する温度データおよび撮影データは、例えば飲食店の開店から閉店までとする。   First, the temperature data acquired by the sensor unit 102 is acquired through the sensor information input interface 153 (step S101). The acquired temperature data is stored in the storage device 155 in the format shown in FIG. Also, shooting data shot by the video shooting device 101 is stored in the video storage unit 112. Here, the stored temperature data and photographing data are, for example, from the opening to closing of a restaurant.

続いて、特徴抽出部114による特徴量の抽出処理が実行される(ステップS102)。この特徴量の抽出処理は、上述したように映像蓄積部112に格納されている温度データから特徴量を抽出する。   Subsequently, feature amount extraction processing by the feature extraction unit 114 is executed (step S102). In the feature amount extraction process, the feature amount is extracted from the temperature data stored in the video storage unit 112 as described above.

そして、作業内容判別部115による作業内容判別処理が実行される(ステップS103)。この作業内容判別処理は、特徴抽出部114が抽出した特徴量と学習済みデータ蓄積部118に蓄積された学習済み特徴量データとを比較して、その類似度に基づいて作業内容を判別する。例えば抽出した特徴量が作業内容「1」の学習済みデータ蓄積部118と類似している際には、調理中であると判別する。   Then, work content determination processing by the work content determination unit 115 is executed (step S103). In this work content determination process, the feature amount extracted by the feature extraction unit 114 and the learned feature amount data stored in the learned data storage unit 118 are compared, and the work content is determined based on the similarity. For example, when the extracted feature amount is similar to the learned data storage unit 118 of the work content “1”, it is determined that cooking is in progress.

作業内容判別部115は、判別した作業内容および日時を作業情報蓄積部116に作業情報として蓄積する。作業情報における日時は、特徴量の変化の始まりから次の特徴量の始まり直前までとする。これにより、作業情報蓄積部116には、図4に示す作業情報が蓄積される。   The work content determination unit 115 stores the determined work content and date and time as work information in the work information storage unit 116. The date and time in the work information is from the beginning of the change of the feature quantity to just before the start of the next feature quantity. As a result, the work information shown in FIG.

続いて、表示内容生成部117による表示内容の生成が行われる(ステップS104)。表示内容生成部117は、作業情報蓄積部116に蓄積される作業情報を取り込み、該作業情報に基づいて図6のビューワー画面200を生成して図2の表示装置103に出力する。これにより、表示内容生成部117が生成したビューワー画面200が表示装置103に表示される。   Subsequently, the display content generation unit 117 generates display content (step S104). The display content generation unit 117 takes in the work information stored in the work information storage unit 116, generates the viewer screen 200 of FIG. 6 based on the work information, and outputs it to the display device 103 of FIG. As a result, the viewer screen 200 generated by the display content generation unit 117 is displayed on the display device 103.

〈ビューワー画面の表示例〉
図6は、図2の表示内容生成部117が生成したビューワー画面200の一例を示す説明図である。図6は、表示内容生成部117が生成したビューワー画面200を図2の表示装置103が表示した際の例を示している。
<Viewer screen display example>
FIG. 6 is an explanatory diagram illustrating an example of the viewer screen 200 generated by the display content generation unit 117 of FIG. FIG. 6 shows an example when the display device 103 of FIG. 2 displays the viewer screen 200 generated by the display content generation unit 117.

ビューワー画面200は、図6に示すように、左上部に映像撮影装置101によって撮影された映像を表示する映像表示部201が設けられ、ビューワー画面200の下部には、タイムライン202が表示されている。   As shown in FIG. 6, the viewer screen 200 is provided with a video display unit 201 that displays a video shot by the video camera 101 at the upper left, and a timeline 202 is displayed at the bottom of the viewer screen 200. Yes.

このタイムライン202は、作業内容が時系列に示されたものであり、作業情報蓄積部116に蓄積される作業情報の作業内容と日時に基づいて生成する。これにより、作業内容が変化したことおよび変化した時間を視覚的に確認できるように表示されている。   The timeline 202 shows work contents in time series, and is generated based on the work contents and the date / time of the work information stored in the work information storage unit 116. Thereby, it is displayed so that the change of work contents and the changed time can be visually confirmed.

図6のタイムライン202において、白抜きの部分は、作業内容「0」、すなわち作業していない状態を示しており、ドットにて示す部分は、作業内容「2」、すなわち油が保温中であることを示している。また、黒塗りの部分は、作業内容「1」、すなわち調理中であることを示している。   In the timeline 202 of FIG. 6, the white portion indicates the work content “0”, that is, the state of not working, and the portion indicated by a dot indicates the work content “2”, that is, the oil is warm. It shows that there is. Also, the black portion indicates the work content “1”, that is, cooking is in progress.

タイムライン202における作業内容の表示は、これに限定されるものではなく、作業内容が変化したことを確認することができればよい。例えば作業内容毎に表示色を変えるようにしたり、作業内容毎にコントラストを付けて表示するようにしてもよい。   The display of the work content in the timeline 202 is not limited to this, and it is only necessary to confirm that the work content has changed. For example, the display color may be changed for each work content, or the work content may be displayed with a contrast.

監督者などが調理中の映像を確認したい場合には、作業内容が調理であることを示すタイムライン202の黒塗りの先頭部分をマウスなどによってクリックして選択する。タイムライン202がマウスなどによってクリックされると、表示内容生成部117は、クリックして選択された作業内容の日時に合致する日時が付与されたフレームを映像蓄積部112から検索し、検索されたフレームから映像の再生を開始する。   When the supervisor or the like wants to check the video being cooked, the user clicks and selects the black top portion of the timeline 202 indicating that the work content is cooking with the mouse or the like. When the timeline 202 is clicked with a mouse or the like, the display content generation unit 117 searches the video storage unit 112 for a frame to which a date and time that matches the date and time of the work content selected by clicking is searched. Video playback starts from the frame.

これによって、調理が開始された時点からの映像が映像表示部201に表示される。ここで、タイムライン202におけるクリック位置は任意であるので、表示内容生成部117は、選択されたタイムライン202の日時に合致するフレームを映像蓄積部112から検索し映像の再生を開始する。   As a result, an image from the time when cooking is started is displayed on the image display unit 201. Here, since the click position on the timeline 202 is arbitrary, the display content generation unit 117 searches the video storage unit 112 for a frame that matches the date and time of the selected timeline 202 and starts playback of the video.

飲食店の開店から閉店までの映像を全て確認することは時間的に困難であり、また、その映像から調理中の映像のみを探し出す作業だけでも多大な労力が必要である。   It is difficult in terms of time to confirm all the images from the opening and closing of the restaurant, and a great deal of labor is required just for searching for only the images being cooked from the images.

しかしながら、作業記録解析閲覧システム10では、上述したように、表示装置103に表示されたタイムライン202を視覚的に確認するだけで調理中の映像であるか否かを容易に確認することができる。   However, in the work record analysis browsing system 10, as described above, it is possible to easily confirm whether or not the image is being cooked simply by visually confirming the timeline 202 displayed on the display device 103. .

これにより、効率よく短時間で調理を行っている映像を再生することができる。よって、監督者などがマニュアルに定められた標準作業である標準行程に沿った調理を調理者が行っているかの確認を効率よく行うことができる。   Thereby, the image | video which is cooking efficiently in a short time can be reproduced | regenerated. Therefore, it is possible to efficiently check whether the cook is performing cooking along the standard process, which is a standard operation defined in the manual by the supervisor.

また、タイムライン202を指定することにより、任意の映像を容易に閲覧することができるので、調理中あるいは調理中以外の映像に関係なく、簡単に再生閲覧することができる。   In addition, since any video can be easily browsed by designating the timeline 202, it can be easily reproduced and browsed regardless of the video during cooking or other than cooking.

〈ビューワー画面の他の表示例〉
図7は、図6のビューワー画面200における他の例を示す説明図である。
<Other display examples on the viewer screen>
FIG. 7 is an explanatory diagram showing another example of the viewer screen 200 of FIG.

この図7のビューワー画面200では、図6のビューワー画面200に温度表示部203が新たに設けられた構成となっている。温度表示部203は、タイムライン202に対応して時系列に油の温度が線グラフとなって表示される画面である。この線グラフは、図2の記憶装置155に格納される検出情報に基づいて、表示内容生成部117が生成する。   The viewer screen 200 of FIG. 7 has a configuration in which a temperature display unit 203 is newly provided in the viewer screen 200 of FIG. The temperature display unit 203 is a screen on which the oil temperature is displayed as a line graph in time series corresponding to the timeline 202. This line graph is generated by the display content generation unit 117 based on the detection information stored in the storage device 155 of FIG.

また、温度表示部203に表示された線グラフは、映像表示部201に表示される映像とリンクするように示される。表示内容生成部117は、監督者などがマウスなどによって任意の線グラフの位置を指定すると、該指定位置の日時に合致する日時が付与されたフレームを映像蓄積部112から検索し、検索されたフレームから映像の再生を開始する。   In addition, the line graph displayed on the temperature display unit 203 is shown to be linked to the video displayed on the video display unit 201. When the supervisor or the like designates the position of an arbitrary line graph with a mouse or the like, the display content generation unit 117 searches the video storage unit 112 for a frame having a date and time that matches the date and time of the designated position. Video playback starts from the frame.

例えば、調理中の油の温度がマニュアルなどの標準行程に決められている温度(以下、下限温度という)を下回った際の調理の映像を確認したい場合には、マウスなどによって該当する線グラフの位置を選択する。これにより、映像表示部201には、油の温度が下限温度を下回った場面からの映像が再生される。これによって、調理時間および調理中の油の温度などを容易に確認することができる。   For example, if you want to check the cooking video when the temperature of the oil being cooked falls below the temperature set in the standard process such as a manual (hereinafter referred to as the lower limit temperature), use the mouse to display the corresponding line graph. Select a position. Thereby, an image from a scene where the temperature of the oil falls below the lower limit temperature is reproduced on the image display unit 201. This makes it possible to easily check the cooking time and the temperature of the oil being cooked.

フライヤによる調理の際には、食材の加熱時間が味などを左右することがある。例えば食材を投入した際に、油の温度が上述した下限温度よりも下がってしまったり、あるいは食材の揚げ時間が標準行程通りでないなどである。   When cooking with a fryer, the heating time of the ingredients may affect the taste and the like. For example, when the food is added, the temperature of the oil falls below the lower limit temperature described above, or the frying time of the food is not according to the standard stroke.

作業記録解析閲覧システム10は、上記したように、調理工程の映像を監督者などに短時間で容易に提供することができる。よって、監督者は、調理中の映像を効率よく閲覧することが可能となる、これらによって、調理担当者の技術をより向上させることができる。   As described above, the work record analysis browsing system 10 can easily provide a video of the cooking process to a supervisor or the like in a short time. Therefore, the supervisor can efficiently browse the image being cooked. With these, the skill of the person in charge of cooking can be further improved.

図8は、図7のビューワー画面200における他の例を示す説明図である。   FIG. 8 is an explanatory diagram showing another example of the viewer screen 200 of FIG.

図8に示すビューワー画面200では、図7のビューワー画面200にアラート表示部204が新たに設けられた構成からなる。図8では、アラート表示部204が映像表示部201の右側に設けられた例を示している。   The viewer screen 200 shown in FIG. 8 has a configuration in which an alert display unit 204 is newly provided in the viewer screen 200 of FIG. FIG. 8 shows an example in which the alert display unit 204 is provided on the right side of the video display unit 201.

このアラート表示部204は、マニュアルなどにて規定された標準行程の調理条件に反した場合などに表示される。調理条件は、例えば学習済みデータ蓄積部118などに予め格納する。   This alert display unit 204 is displayed when the cooking conditions of the standard process specified in the manual or the like are violated. The cooking conditions are stored in advance in the learned data storage unit 118, for example.

そして、作業内容判別部115は、作業内容が調理中であると判別した際に、学習済みデータ蓄積部118に格納されている調理条件に基づいて、該調理条件に反する調理処理が行われているか否かを判定する。   Then, when the work content determination unit 115 determines that the work content is being cooked, a cooking process contrary to the cooking condition is performed based on the cooking condition stored in the learned data storage unit 118. It is determined whether or not.

調理条件は、例えば油の下限温度や食材の揚げ時間などである。作業内容判別部115は、例えば調理中の油の温度が調理条件に設定される下限温度よりも下がってしまったり、揚げ時間が調理条件よりも短い、あるいは揚げ時間が調理条件よりも長いなどを判定する。   The cooking conditions are, for example, the lower limit temperature of oil and the frying time of ingredients. For example, the work content determination unit 115 may detect that the temperature of oil during cooking falls below the lower limit temperature set in the cooking conditions, the frying time is shorter than the cooking conditions, or the frying time is longer than the cooking conditions. judge.

そして、作業内容判別部115は、調理条件に反する調理処理が行われていると判定した際に、その判定結果およびアラートの内容を作業情報蓄積部116に出力する。表示内容生成部117は、作業情報蓄積部116に蓄積されているアラート内容に基づいてアラート表示部204にアラート内容が表示されるようにビューワー画面200を生成する。   Then, when the work content determination unit 115 determines that the cooking process contrary to the cooking conditions is being performed, the work content determination unit 115 outputs the determination result and the content of the alert to the work information storage unit 116. The display content generation unit 117 generates the viewer screen 200 so that the alert content is displayed on the alert display unit 204 based on the alert content stored in the work information storage unit 116.

これにより、より容易にマニュアルに反する調理処理などを確認することができ、調理者によるばらつきを低減して味の均一化などを実現することができる。   Thereby, the cooking process etc. which are contrary to a manual can be confirmed more easily, the variation by a cook can be reduced, and a uniform taste etc. can be implement | achieved.

以上により、容易に調理中の映像を確認することができる。これにより、調理者の調理を確認する監督者などの利便性を向上することができる。監督者の監視業務の効率を一層向上させることができる。   As described above, an image during cooking can be easily confirmed. Thereby, the convenience of the supervisor etc. who confirm cooking of a cook can be improved. The efficiency of supervisory monitoring work can be further improved.

図8においては、油の温度をセンサ部102によって検出した例を示したが、該センサ部102の取り付けは、例えばフライパンなどの他の調理器具に取り付けるようにしてもよい。   Although FIG. 8 shows an example in which the temperature of the oil is detected by the sensor unit 102, the sensor unit 102 may be attached to another cooking utensil such as a frying pan.

例えば炒め物を調理するフライパンにセンサ部102として温度センサを取り付けた場合には、調理中のフライパンの温度の下がり具合などから食材をフライパンに投入した時間を判別することができる。   For example, when a temperature sensor is attached as a sensor unit 102 to a frying pan for cooking fried food, it is possible to determine the time when the food is put into the frying pan based on the temperature drop of the frying pan during cooking.

また、フライパンに温度センサの他にセンサ部102として振動センサを取り付けた場合には、炒め物調理中におけるフライパンのあおり回数や期間などを判定することができる。上記した温度センサが検出する温度と振動センサが検出するあおり回数などから、炒め物の調理を判別することができる。   Further, when a vibration sensor is attached to the frying pan as the sensor unit 102 in addition to the temperature sensor, it is possible to determine the number of times the pan is tilted and the period during frying. Cooking of the fried food can be determined from the temperature detected by the temperature sensor and the number of tilts detected by the vibration sensor.

また、調理中において、フライパンに食材を投入してから食材の炒めが終了するまでの時間なども取得することができる。調理条件に炒め物調理時のフライパンのあおり回数あるいは炒め時間などを設定することにより、反作業内容判別部115は、炒め物が調理条件に沿って調理されているか否かを判定することができる。   In addition, during cooking, it is possible to acquire the time from when the ingredients are put into the frying pan to when the ingredients are fried. By setting the number of times of pan frying or the time of frying when cooking the stir-fried food in the cooking conditions, the counter-work content determination unit 115 can determine whether or not the fried food is cooked according to the cooking conditions. .

また、フライパンのあおり回数が調理条件よりも少ない場合、あるいは炒め時間が調理条件よりも長かったり、短かったりした場合などにアラート表示部204がアラートを表示することともできる。   The alert display unit 204 can also display an alert when the number of times the pan is tilted is less than the cooking condition, or when the fried time is longer or shorter than the cooking condition.

これによっても、監督者に対してマニュアル通りに調理されていない恐れのある調理映像などを容易に閲覧することのできる作業記録解析閲覧システム10を提供することができる。   Also by this, it is possible to provide the work record analysis browsing system 10 that allows the supervisor to easily browse cooking images that may not be cooked according to the manual.

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。   As mentioned above, the invention made by the present inventor has been specifically described based on the embodiment. However, the present invention is not limited to the embodiment, and various modifications can be made without departing from the scope of the invention. Needless to say.

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。   In addition, this invention is not limited to above-described embodiment, Various modifications are included. For example, the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to one having all the configurations described.

また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。   Further, a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. . In addition, it is possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.

10 作業記録解析閲覧システム
101 映像撮影装置
102 センサ部
103 表示装置
104 映像情報解析装置
111 映像入力部
112 映像蓄積部
113 センサデータ入力部
114 特徴抽出部
115 作業内容判別部
116 作業情報蓄積部
117 表示内容生成部
118 学習済みデータ蓄積部
150 プロセッサ
151 メインメモリ
152 映像入力インタフェース
153 センサ情報入力インタフェース
154 出力インタフェース
155 記憶装置
200 ビューワー画面
201 映像表示部
202 タイムライン
203 温度表示部
204 アラート表示部
B バス
DESCRIPTION OF SYMBOLS 10 Work record analysis browsing system 101 Image | video imaging device 102 Sensor part 103 Display apparatus 104 Image | video information analysis apparatus 111 Image | video input part 112 Image | video storage part 113 Sensor data input part 114 Feature extraction part 115 Work content determination part 116 Work information storage part 117 Display Content generation unit 118 Learned data storage unit 150 Processor 151 Main memory 152 Video input interface 153 Sensor information input interface 154 Output interface 155 Storage device 200 Viewer screen 201 Video display unit 202 Timeline 203 Temperature display unit 204 Alert display unit B bus

Claims (9)

作業記録の映像を解析して抽出対象となる映像を提供する作業記録解析閲覧システムであって、
作業データを検出する検出部と、
前記検出部が検出した作業データから特徴量を抽出する特徴抽出部と、
前記特徴抽出部が抽出した特徴量に基づいて、作業中であるか否かを判別する作業判別部と、
前記作業記録を撮影する映像撮影部と、
前記作業判別部が判別した判別結果に基づいて、作業期間および作業をしていない期間を時系列に示すタイムランを生成して表示する表示生成部と、
を有し、
前記表示生成部は、前記作業期間を示す前記タイムランが選択された際に、前記作業期間に対応する映像を前記映像撮影部が撮影した作業記録の映像から取得して表示する、作業記録解析閲覧システム。
A work record analysis browsing system that analyzes work record video and provides a video to be extracted,
A detection unit for detecting work data;
A feature extraction unit for extracting feature amounts from the work data detected by the detection unit;
A work discriminating unit for discriminating whether or not the work is in progress based on the feature amount extracted by the feature extracting unit;
A video shooting unit for shooting the work record;
Based on the determination result determined by the work determination unit, a display generation unit that generates and displays a time run indicating a work period and a period in which work is not performed in time series, and
Have
The display generation unit obtains and displays a video corresponding to the work period from the video of the work record taken by the video photographing unit when the time run indicating the work period is selected. Browsing system.
請求項1記載の作業記録解析閲覧システムにおいて、
前記作業判別部は、前記特徴抽出部が抽出した特徴量と予め取得した標準特徴量との類似度に基づいて、前記作業中であるか否かを判別し、
前記標準特徴量は、作業が標準化された標準作業から抽出した特徴量である、作業記録解析閲覧システム。
In the work record analysis browsing system according to claim 1,
The work determination unit determines whether the work is in progress based on the similarity between the feature amount extracted by the feature extraction unit and the standard feature amount acquired in advance.
The work record analysis browsing system, wherein the standard feature is a feature extracted from a standard work in which work is standardized.
請求項1または2記載の作業記録解析閲覧システムにおいて、
前記特徴抽出部は、前記検出部が検出した作業データを周波数解析して前記特徴量を抽出する、作業記録解析閲覧システム。
In the work record analysis browsing system according to claim 1 or 2,
The work record analysis browsing system, wherein the feature extraction unit extracts the feature amount by performing frequency analysis on the work data detected by the detection unit.
請求項1〜3のいずれか1項に記載の作業記録解析閲覧システムにおいて、
前記表示生成部は、前記検出部が検出した作業データを前記タイムランに対応させて表示する、作業記録解析閲覧システム。
In the work record analysis browsing system according to any one of claims 1 to 3,
The work record analysis browsing system, wherein the display generation unit displays work data detected by the detection unit in correspondence with the time run.
請求項1〜4のいずれか1項に記載の作業記録解析閲覧システムにおいて、
前記表示生成部は、前記作業判別部が作業期間中であると判別した期間に、前記検出部が検出した作業データが予め設定された標準作業データの範囲外となった場合にアラートを出力する、作業記録解析閲覧システム。
In the work record analysis browsing system according to any one of claims 1 to 4,
The display generation unit outputs an alert when the work data detected by the detection unit falls outside a preset standard work data range during a period when the work determination unit determines that the work is being performed. , Work record analysis browsing system.
請求項1記載の作業記録解析閲覧システムにおいて、
前記検出部が検出する作業データは、少なくとも温度データである、作業記録解析閲覧システム。
In the work record analysis browsing system according to claim 1,
A work record analysis browsing system, wherein the work data detected by the detector is at least temperature data.
請求項6記載の作業記録解析閲覧システムにおいて、
前記特徴抽出部は、前記検出部が検出した温度データを周波数解析して前記特徴量を抽出し、
前記作業判別部は、前記特徴抽出部が抽出した前記特徴量と標準特徴量との類似度に基づいて、前記作業中であるか否かを判別し、
前記標準特徴量は、作業が標準化された標準作業から抽出した特徴量であり、前記標準作業において前記検出部が検出した温度データを周波数解析して抽出したものである、作業記録解析閲覧システム。
In the work record analysis browsing system according to claim 6,
The feature extraction unit extracts the feature amount by performing frequency analysis on the temperature data detected by the detection unit,
The work determination unit determines whether the work is in progress based on the similarity between the feature amount extracted by the feature extraction unit and a standard feature amount,
The work record analysis browsing system, wherein the standard feature value is a feature value extracted from a standard work in which work is standardized, and is extracted by frequency analysis of temperature data detected by the detection unit in the standard work.
請求項6または7記載の作業記録解析閲覧システムにおいて、
前記表示生成部は、前記検出部が検出した温度データを前記タイムランに対応させて表示する、作業記録解析閲覧システム。
In the work record analysis browsing system according to claim 6 or 7,
The said display production | generation part is a work record analysis browsing system which displays the temperature data which the said detection part detected corresponding to the said time run.
請求項6〜8のいずれか1項に記載の作業記録解析閲覧システムにおいて、
前記表示生成部は、前記作業判別部が作業期間中であると判別した期間に、前記検出部が検出した温度データが予め設定された温度条件データの範囲外となった場合にアラートを出力する、作業記録解析閲覧システム。
In the work record analysis browsing system according to any one of claims 6 to 8,
The display generation unit outputs an alert when the temperature data detected by the detection unit falls outside the range of preset temperature condition data during the period when the operation determination unit determines that the operation is in progress. , Work record analysis browsing system.
JP2016127380A 2016-06-28 2016-06-28 Work record analysis reading system Pending JP2018005316A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016127380A JP2018005316A (en) 2016-06-28 2016-06-28 Work record analysis reading system
PCT/JP2017/021259 WO2018003447A1 (en) 2016-06-28 2017-06-08 Work record analysis and viewing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016127380A JP2018005316A (en) 2016-06-28 2016-06-28 Work record analysis reading system

Publications (1)

Publication Number Publication Date
JP2018005316A true JP2018005316A (en) 2018-01-11

Family

ID=60785351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016127380A Pending JP2018005316A (en) 2016-06-28 2016-06-28 Work record analysis reading system

Country Status (2)

Country Link
JP (1) JP2018005316A (en)
WO (1) WO2018003447A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10207530A (en) * 1997-01-21 1998-08-07 Hitachi Ltd Recording information display system and its method
US20020075244A1 (en) * 1991-04-08 2002-06-20 Masayuki Tani Video or information processing method and processing apparatus, and monitoring method and monitoring apparatus using the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020075244A1 (en) * 1991-04-08 2002-06-20 Masayuki Tani Video or information processing method and processing apparatus, and monitoring method and monitoring apparatus using the same
JPH10207530A (en) * 1997-01-21 1998-08-07 Hitachi Ltd Recording information display system and its method

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
大村 廉: "看護業務支援のためのセンサネットワーク・アーキテクチャ", 情報処理学会研究報告 平成21年度▲2▼ [CD−ROM], vol. Vol.2009−UBI−23, JPN6020017005, 15 August 2009 (2009-08-15), pages 1 - 8, ISSN: 0004437599 *
斉藤 清隆: "センサ情報と映像情報の対応付けを利用した調理動画の記録閲覧システム", 情報処理学会研究報告 2012(平成24)年度▲2▼ [CD−ROM], vol. Vol.2012−HCI−148 , JPN6020017004, 15 August 2012 (2012-08-15), pages 1 - 8, ISSN: 0004437598 *
斉藤 清隆: "表面温度分布を利用した調理状況推定手法およびインタラクティブ調理支援システム", 筑波大学大学院博士課程システム情報工学研究科修士論文[オンライン], JPN7020001334, March 2014 (2014-03-01), ISSN: 0004437600 *

Also Published As

Publication number Publication date
WO2018003447A1 (en) 2018-01-04

Similar Documents

Publication Publication Date Title
US11417094B2 (en) Method of selecting important digital images
US10599955B2 (en) Visual representations of photo albums
JP5735330B2 (en) Image processing apparatus and image processing method
JP6593742B2 (en) In-facility person search support apparatus, in-facility person search support system, and in-facility person search support method
CN106031154B (en) Handle the method for image and the electronic device for it
KR20170073589A (en) System and computer method for visually guiding a user to a current interest
US10497130B2 (en) Moving information analyzing system and moving information analyzing method
JP6828708B2 (en) Control device, surveillance system, and surveillance camera control method
JPWO2016199378A1 (en) Cooker
JP2008146191A (en) Image output device and image output method
JP2016015579A (en) Information processing apparatus,information processing method and program
JP2005159781A (en) Image selecting processing apparatus, image selecting method, program thereof, and recording medium
CN104036016A (en) Picture screening method and picture screening device
JP6618349B2 (en) Video search system
JP2006059038A (en) Faceup degree evaluation system and program
TWI397024B (en) Method for image auto-selection and computer system
JP6410427B2 (en) Information processing apparatus, information processing method, and program
WO2018003447A1 (en) Work record analysis and viewing system
JP4456437B2 (en) Image processing system, image processing program, and image processing method
JP5994974B2 (en) Information processing apparatus, program, and information processing method
WO2017092328A1 (en) Method and device for distinguishing user data of smart television
JP2008199330A (en) Moving image management apparatus
JP2004236211A (en) Image processing system
JP6865537B2 (en) Information processing equipment, information processing methods, and programs
JP7485893B2 (en) Information processing device, control program, and control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200609

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200925

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210202