JP2018005316A - Work record analysis reading system - Google Patents
Work record analysis reading system Download PDFInfo
- Publication number
- JP2018005316A JP2018005316A JP2016127380A JP2016127380A JP2018005316A JP 2018005316 A JP2018005316 A JP 2018005316A JP 2016127380 A JP2016127380 A JP 2016127380A JP 2016127380 A JP2016127380 A JP 2016127380A JP 2018005316 A JP2018005316 A JP 2018005316A
- Authority
- JP
- Japan
- Prior art keywords
- work
- unit
- browsing system
- record analysis
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、作業記録解析閲覧システムに関し、特に、監視カメラなどによって撮影された映像における作業シーンの監視および検索に有効な技術に関する。 The present invention relates to a work record analysis and browsing system, and more particularly to a technique effective for monitoring and searching for a work scene in a video shot by a surveillance camera or the like.
作業者が行う作業がマニュアル通りに行われているかなどを確認する技術として、例えば監視カメラなどを用いて確認するものが知られている。この場合、監視カメラによって作業者の作業を撮影し、撮影した映像を解析することによって、例えば作業者の行動を検出して特定する。 As a technique for confirming whether the work performed by the worker is performed according to the manual, for example, a technique for confirming using a monitoring camera or the like is known. In this case, for example, the operator's action is detected and identified by photographing the worker's work with the monitoring camera and analyzing the photographed video.
この種の映像解析技術としては、例えば特許文献1および非特許文献1などが知られている。特許文献1には、ユーザに保持される可搬型装置に記録されたユーザ識別子をカメラで撮影されるユーザに対応付け、カメラで撮影されるユーザの行動を装置識別子またはユーザ識別子に対応付けすることによって店舗内でのユーザの行動をユーザを特定する情報と対応付けて追跡する旨が記載されている。
As this type of video analysis technology, for example,
また、非特許文献1には、カメラが撮影した映像から人物を検出して、検出した人物を追跡して行動を認識する旨が記載されている。
Non-Patent
上述した特許文献1に記載の技術は、特定したユーザの行動を追跡するのみであり、詳細な行動を認識することができないという問題がある。
The technique described in
また、非特許文献1などによる映像の解析は、主に人物の歩行経路の追跡、異常行動の認識、人数カウントなどの大きい動きのみである。よって、人物の動作や追跡などの大きな動き以外の条件については、検出することが困難である。そのため、作業形態によっては、上述した大きな動き以外の作業条件などがマニュアル通りの作業であるか否かの確認ができない恐れが生じてしまうという問題がある。
In addition, video analysis according to Non-Patent
本発明の目的は、長時間撮影された映像の中から、監督業務などに必要な作業シーンを提供することのできる技術を提供することにある。 An object of the present invention is to provide a technique capable of providing a work scene necessary for a supervisory work or the like from an image shot for a long time.
本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。 The above and other objects and novel features of the present invention will be apparent from the description of this specification and the accompanying drawings.
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。 Of the inventions disclosed in the present application, the outline of typical ones will be briefly described as follows.
すなわち、代表的な作業記録解析閲覧システムは、作業記録の映像を解析して抽出対象となる映像を提供する。この作業記録解析閲覧システムは、検出部、特徴抽出部、作業判別部、映像撮影部、および表示生成部を有する。 That is, a typical work record analysis browsing system analyzes a work record video and provides a video to be extracted. The work record analysis browsing system includes a detection unit, a feature extraction unit, a work determination unit, a video shooting unit, and a display generation unit.
検出部は、作業データを検出する。特徴抽出部は、検出部が検出した作業データから特徴量を抽出する。作業判別部は、特徴抽出部が抽出した特徴量に基づいて、作業中であるか否かを判別する。映像撮影部は、作業記録を撮影する。表示生成部は、作業判別部が判別した判別結果に基づいて、作業期間および作業をしていない期間を時系列に示すタイムランを生成して表示する。 The detection unit detects work data. The feature extraction unit extracts a feature amount from the work data detected by the detection unit. The work determination unit determines whether the work is in progress based on the feature amount extracted by the feature extraction unit. The video shooting unit takes a work record. The display generation unit generates and displays a time run indicating a work period and a non-working period in time series based on the determination result determined by the work determination unit.
また、表示生成部は、前記作業期間を示す前記タイムランが選択された際に、作業期間に対応する映像を映像撮影部が撮影した作業記録の映像から取得して表示する。 In addition, when the time run indicating the work period is selected, the display generation unit acquires and displays a video corresponding to the work period from the video of the work record taken by the video photographing unit.
特に作業判別部は、特徴抽出部が抽出した特徴量と標準特徴量との類似度に基づいて、作業中であるか否かを判別する。標準特徴量は、作業が標準化された標準作業(標準行程)から抽出した特徴量である。 In particular, the work determination unit determines whether the work is in progress based on the similarity between the feature amount extracted by the feature extraction unit and the standard feature amount. The standard feature quantity is a feature quantity extracted from a standard work (standard process) in which work is standardized.
また、検出部が検出する作業データは、少なくとも温度データである。特徴抽出部は、検出部が検出した温度データを周波数解析して特徴量を抽出する。作業判別部は、特徴抽出部が抽出した特徴量と標準特徴量との類似度に基づいて、作業中であるか否かを判別する。標準特徴量は、作業が標準化された標準作業から抽出した特徴量であり、標準作業において検出部が検出した温度データを周波数解析して抽出したものである。 Further, the work data detected by the detection unit is at least temperature data. The feature extraction unit performs frequency analysis on the temperature data detected by the detection unit and extracts a feature amount. The work determination unit determines whether the work is in progress based on the similarity between the feature quantity extracted by the feature extraction unit and the standard feature quantity. The standard feature amount is a feature amount extracted from the standard work in which the work is standardized, and is extracted by frequency analysis of temperature data detected by the detection unit in the standard work.
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。 Among the inventions disclosed in the present application, effects obtained by typical ones will be briefly described as follows.
(1)容易に作業確認に必要な映像シーンを閲覧することができる。 (1) A video scene required for work confirmation can be easily browsed.
(2)上記(1)により、監督業務の効率を向上させることができる。 (2) According to the above (1), the efficiency of the supervisory work can be improved.
以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。 In the following embodiments, when it is necessary for the sake of convenience, the description will be divided into a plurality of sections or embodiments. However, unless otherwise specified, they are not irrelevant to each other. There are some or all of the modifications, details, supplementary explanations, and the like.
また、以下の実施の形態において、要素の数等(個数、数値、量、範囲等を含む)に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。 Further, in the following embodiments, when referring to the number of elements (including the number, numerical value, quantity, range, etc.), especially when clearly indicated and when clearly limited to a specific number in principle, etc. Except, it is not limited to the specific number, and may be more or less than the specific number.
さらに、以下の実施の形態において、その構成要素(要素ステップ等も含む)は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。 Further, in the following embodiments, the constituent elements (including element steps and the like) are not necessarily indispensable unless otherwise specified and apparently essential in principle. Needless to say.
同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。 Similarly, in the following embodiments, when referring to the shape, positional relationship, etc. of components, etc., the shape of the component is substantially the case unless it is clearly specified and the case where it is clearly not apparent in principle. And the like are included. The same applies to the above numerical values and ranges.
また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。 In all the drawings for explaining the embodiments, the same members are denoted by the same reference symbols in principle, and the repeated explanation thereof is omitted.
以下、実施の形態を詳細に説明する。 Hereinafter, embodiments will be described in detail.
〈作業記録解析閲覧システムの構成例〉
図1は、一実施の形態による作業記録解析閲覧システム10における構成の一例を示す説明図である。
<Configuration example of work record analysis browsing system>
FIG. 1 is an explanatory diagram illustrating an example of a configuration in a work record analysis browsing system 10 according to an embodiment.
作業記録解析閲覧システム10は、作業者が作業を行っている作業内容を特定して、監督者などが作業中の映像を効率よく閲覧できるように提示するシステムである。この作業記録解析閲覧システム10は、様々な作業形態に適用することができるが、ここでは、一例として、飲食店などの調理場の作業に適用するものとする。この場合、作業記録解析閲覧システム10は、調理者の調理動作を記録解析して調理中の映像を提示する。 The work record analysis / viewing system 10 is a system that identifies the work content that the worker is working on and presents it so that the supervisor or the like can efficiently view the video being worked on. Although this work record analysis browsing system 10 can be applied to various work forms, here, as an example, it is assumed to be applied to work in a kitchen such as a restaurant. In this case, the work record analysis browsing system 10 records and analyzes the cooking operation of the cook and presents an image during cooking.
作業記録解析閲覧システム10は、図1に示すように、映像撮影装置101、センサ部102、表示装置103、および映像情報解析装置104を有する構成からなる。映像撮影部である映像撮影装置101は、例えばネットワークカメラやデジタルカメラなどである。映像撮影装置101は、調理場内の様々な場所に設けられており、該調理場内における映像を撮影する。
As shown in FIG. 1, the work record analysis browsing system 10 has a configuration including a
検出部であるセンサ部102は、例えば温度センサである。温度センサは、鍋や揚げ物などを調理する調理器具であるフライヤなどに取りけられ、鍋の温度やフライヤの油の温度などを検出する。
The
その他に、センサ部102を構成するセンサとしては、例えば、振動センサ、湿度センサ、あるいは集音マイクなどを有してもよい。振動センサは、振動を検出するセンサであり、例えば鍋などのあおりを検出する。
In addition, as a sensor which comprises the
湿度センサは、湿度を検出するセンサであり、例えば蒸し器内の湿度や調理場の湿度などを検出する。集音マイクは、調理場の音を取得する。表示装置103は、例えば液晶ディスプレイなどからなり 後述する表示内容生成部117が生成した映像データを表示する。また、表示装置103および表示内容生成部117によって表示生成部が構成される。
A humidity sensor is a sensor which detects humidity, for example, detects the humidity in a steamer, the humidity of a kitchen, etc. The sound collection microphone acquires the sound of the kitchen. The
映像情報解析装置104は、映像撮影装置101が取得した映像を解析して作業内容を判別すると共に、調理中の映像などを再生する。
The video
この映像情報解析装置104は、映像入力部111、映像蓄積部112、センサデータ入力部113、特徴抽出部114、作業内容判別部115、作業情報蓄積部116、表示内容生成部117、および学習済みデータ蓄積部118を有する。
The video
映像入力部111は、映像撮影装置101が撮影した画像データが入力される。映像撮影装置101が撮影した映像データには、該映像データを構成する各々のフレームに対して撮影日時がそれぞれ付与されている。映像蓄積部112は、映像入力部111から取り込んだ映像撮影装置101の画像データを蓄積する。センサデータ入力部113は、センサ部102が検出する検出データが入力される。
The
特徴抽出部114は、センサデータ入力部113から取り込んだ検出データを解析して特徴量を抽出する。この検出データは、作業データとなる。センサ部102が温度センサの場合、特徴抽出部114は、温度センサが検出した温度データから特徴量を抽出する。
The
特徴量としては、例えば油の単位時間当たりの最小温度や平均温度値などを用いることができる。その他に、フーリエ変換あるいはウェーブレット変換などの周波数解析を用いることによって調理中の時間帯の検出を容易にすることができる。 As the feature amount, for example, the minimum temperature or average temperature value per unit time of oil can be used. In addition, the time zone during cooking can be easily detected by using frequency analysis such as Fourier transform or wavelet transform.
例えば揚げ物調理の際にフライヤに食材が投入されると、油の温度は大幅に低下した後、再び上昇して揚げ物に適した温度近傍を保つことになる。このような温度変化を周波数解析すると高周波成分が得られることになり、この高周波成分を特徴量として抽出する。なお、上記した特徴量の抽出は、一例を示したものであり、これに限定されるものではない。 For example, when food is introduced into the fryer during frying cooking, the temperature of the oil drops significantly and then rises again to maintain a temperature suitable for the fried food. When such a temperature change is subjected to frequency analysis, a high frequency component is obtained, and this high frequency component is extracted as a feature amount. Note that the feature amount extraction described above is an example, and the present invention is not limited to this.
作業内容判別部115は、特徴抽出部114が抽出した特徴量と学習済みデータ蓄積部118に蓄積されている学習済み特徴量とを比較して作業内容を判定する。具体的には、前述した周波数解析によって抽出された高周波成分と学習済み特徴量との類似度に基づいて、調理中であるかなどの作業内容を判定する。この学習済み特徴量は、標準特徴量となる。
The work
学習済みデータ蓄積部118は、学習済み特徴量データを蓄積する。学習済み特徴量データは、学習済み特徴量および該学習済み特徴量に対応する作業内容からなる。学習済み特徴量は、模範的な調理、言い換えればマニュアル通りの調理によって得られた温度データから特徴量を抽出したものである。また、作業内容は、この特徴量に対応する作業内容を表したものである。
The learned
作業情報蓄積部116は、作業内容判別部115が判別した作業内容を作業情報として蓄積する。表示内容生成部117は、映像蓄積部112に蓄積されている映像データおよび該映像データに対応付けされた作業内容を例えばビューワー形式に生成して表示装置103に出力する。
The work
〈映像検索システムの適用例〉
続いて、図1の作業記録解析閲覧システム10の適用例について説明する。
<Application example of video search system>
Next, an application example of the work record analysis browsing system 10 in FIG. 1 will be described.
図2は、図1の作業記録解析閲覧システム10における他の構成例を示す説明図である。 FIG. 2 is an explanatory diagram showing another configuration example of the work record analysis browsing system 10 of FIG.
この図2では、図1の作業記録解析閲覧システム10が有する映像情報解析装置104を計算機であるパーソナルコンピュータを適用して構成した際の例を示したものである。
FIG. 2 shows an example in which the video
図2における映像撮影装置101、センサ部102、および表示装置103は、図1と同様であるので、説明は省略する。
The
図2において、映像情報解析装置104は、上述したように一般的なパーソナルコンピュータなどの計算機であり、プロセッサ150、メインメモリ151、映像入力インタフェース152、センサ情報入力インタフェース153、出力インタフェース154、および記憶装置155を有する。これらは、バスBなどによって相互に接続された構成からなる。
In FIG. 2, the video
プロセッサ150は、メインメモリ151に格納されたプログラムを実行する。メインメモリ151は、例えばフラッシュメモリなどに例示される半導体メモリなどからなり、プロセッサ150によって実行されるプログラムおよび該プロセッサ150によって参照されるデータを格納する。
The
具体的には、記憶装置155に格納されたプログラムおよびデータの少なくとも一部が、必要に応じてメインメモリ151にコピーされる。映像入力インタフェース152は、映像データを取得するためのインタフェースであり、映像撮影装置101が接続されている。
Specifically, at least a part of the program and data stored in the
センサ情報入力インタフェース153は、センサ部102が検出したセンサ情報を取得するインタフェースであり、センサ部102が接続されている。出力インタフェース154は、表示装置103にて表示する画面を出力するインタフェースである。
The sensor
記憶装置155は、例えばハードディスク装置(HDD)あるいはフラッシュメモリのような不揮発性の記憶装置である。図2における記憶装置155には、少なくとも図1の特徴抽出部114、作業内容判別部115、および表示内容生成部117による機能を実行するプログラム形式のソフトウェアが格納されている。
The
また、記憶装置155は、データ格納領域を有している。このデータ格納領域には、図1の映像蓄積部112に蓄積される映像データ、図1の作業情報蓄積部116に蓄積されるデータ、図1の学習済みデータ蓄積部118に蓄積されるデータ、および後述する検出情報がそれぞれ格納される。
The
上述した特徴抽出部114、作業内容判別部115、および表示内容生成部117の各機能を実行するプログラムは、プロセッサ150によって実行されるプログラムである。
The programs that execute the functions of the
以下の説明において、これらの各機能が実行する処理は、プロセッサ150によって実行される。
In the following description, processing executed by each of these functions is executed by the
〈データ例〉
図3は、図2の記憶装置155に格納される検出情報の一例を示した説明図である。
<Data example>
FIG. 3 is an explanatory diagram showing an example of detection information stored in the
この図3は、センサ部102が検出する検出データを記憶装置155に格納する際のデータ形式を示している。
FIG. 3 shows a data format when the detection data detected by the
センサ部102は、前述したように例えば調理器具であるフライヤに設けられた温度センサからなり、フライヤの油の温度を検出データとして検出する。センサ部102が検出する油の温度は、プロセッサ150によってある間隔毎に定期的に取得される。
As described above, the
ここでは、プロセッサ150が1秒毎に油の温度を検出する例を示している。なお、温度の検出間隔については、特に限定されるものでなく、例えば5秒毎などの異なる間隔であってもよい。
Here, an example is shown in which the
プロセッサ150は、取得した油の温度に温度検出した際の検出時間を付加した検出情報を図3に示すデータ形式にて記憶装置155に格納する。
The
図4は、図2の作業情報蓄積部116に蓄積される作業情報の一例を示す説明図である。
FIG. 4 is an explanatory diagram showing an example of work information stored in the work
作業情報蓄積部116に蓄積される作業情報は、図4に示すように、日時と作業内容とからなる。作業内容は、図2の作業内容判別部115が判別した作業内容であり、例えば「0」、「1」、「2」などの数字によって格納される。
As shown in FIG. 4, the work information stored in the work
図4の場合、作業内容「0」は、「作業なし」を示しており、これはフライヤがオフされており、油の温度が上がっていない状態を示している。作業内容「1」は、「調理」であることを示している。すなわちフライヤを用いて揚げ物を上げている調理中であることを示している。作業内容「2」は、「保温」であることを示している。これは揚げ物の調理がされずにフライヤの油が保温されている状態を示している。 In the case of FIG. 4, the work content “0” indicates “no work”, which indicates that the fryer is turned off and the temperature of the oil is not increased. The work content “1” indicates “cooking”. In other words, it shows that cooking is being done using a fryer. The work content “2” indicates “warming”. This shows that the fryer oil is kept warm without cooking the fried food.
〈映像検索システムの動作例〉
続いて、図2の作業記録解析閲覧システム10による動作について説明する。
<Operation example of video search system>
Next, the operation of the work record analysis browsing system 10 in FIG. 2 will be described.
図5は、図2の作業記録解析閲覧システム10による動作の一例を示すフローチャートである。 FIG. 5 is a flowchart showing an example of operation by the work record analysis browsing system 10 of FIG.
まず、センサ部102が取得した温度データをセンサ情報入力インタフェース153を通じて取得する(ステップS101)。取得した温度データは、上述した図3に示す形式によって記憶装置155に格納される。また、映像撮影装置101によって撮影された撮影データは、映像蓄積部112に格納される。ここで、格納する温度データおよび撮影データは、例えば飲食店の開店から閉店までとする。
First, the temperature data acquired by the
続いて、特徴抽出部114による特徴量の抽出処理が実行される(ステップS102)。この特徴量の抽出処理は、上述したように映像蓄積部112に格納されている温度データから特徴量を抽出する。
Subsequently, feature amount extraction processing by the
そして、作業内容判別部115による作業内容判別処理が実行される(ステップS103)。この作業内容判別処理は、特徴抽出部114が抽出した特徴量と学習済みデータ蓄積部118に蓄積された学習済み特徴量データとを比較して、その類似度に基づいて作業内容を判別する。例えば抽出した特徴量が作業内容「1」の学習済みデータ蓄積部118と類似している際には、調理中であると判別する。
Then, work content determination processing by the work
作業内容判別部115は、判別した作業内容および日時を作業情報蓄積部116に作業情報として蓄積する。作業情報における日時は、特徴量の変化の始まりから次の特徴量の始まり直前までとする。これにより、作業情報蓄積部116には、図4に示す作業情報が蓄積される。
The work
続いて、表示内容生成部117による表示内容の生成が行われる(ステップS104)。表示内容生成部117は、作業情報蓄積部116に蓄積される作業情報を取り込み、該作業情報に基づいて図6のビューワー画面200を生成して図2の表示装置103に出力する。これにより、表示内容生成部117が生成したビューワー画面200が表示装置103に表示される。
Subsequently, the display
〈ビューワー画面の表示例〉
図6は、図2の表示内容生成部117が生成したビューワー画面200の一例を示す説明図である。図6は、表示内容生成部117が生成したビューワー画面200を図2の表示装置103が表示した際の例を示している。
<Viewer screen display example>
FIG. 6 is an explanatory diagram illustrating an example of the
ビューワー画面200は、図6に示すように、左上部に映像撮影装置101によって撮影された映像を表示する映像表示部201が設けられ、ビューワー画面200の下部には、タイムライン202が表示されている。
As shown in FIG. 6, the
このタイムライン202は、作業内容が時系列に示されたものであり、作業情報蓄積部116に蓄積される作業情報の作業内容と日時に基づいて生成する。これにより、作業内容が変化したことおよび変化した時間を視覚的に確認できるように表示されている。
The
図6のタイムライン202において、白抜きの部分は、作業内容「0」、すなわち作業していない状態を示しており、ドットにて示す部分は、作業内容「2」、すなわち油が保温中であることを示している。また、黒塗りの部分は、作業内容「1」、すなわち調理中であることを示している。
In the
タイムライン202における作業内容の表示は、これに限定されるものではなく、作業内容が変化したことを確認することができればよい。例えば作業内容毎に表示色を変えるようにしたり、作業内容毎にコントラストを付けて表示するようにしてもよい。
The display of the work content in the
監督者などが調理中の映像を確認したい場合には、作業内容が調理であることを示すタイムライン202の黒塗りの先頭部分をマウスなどによってクリックして選択する。タイムライン202がマウスなどによってクリックされると、表示内容生成部117は、クリックして選択された作業内容の日時に合致する日時が付与されたフレームを映像蓄積部112から検索し、検索されたフレームから映像の再生を開始する。
When the supervisor or the like wants to check the video being cooked, the user clicks and selects the black top portion of the
これによって、調理が開始された時点からの映像が映像表示部201に表示される。ここで、タイムライン202におけるクリック位置は任意であるので、表示内容生成部117は、選択されたタイムライン202の日時に合致するフレームを映像蓄積部112から検索し映像の再生を開始する。
As a result, an image from the time when cooking is started is displayed on the
飲食店の開店から閉店までの映像を全て確認することは時間的に困難であり、また、その映像から調理中の映像のみを探し出す作業だけでも多大な労力が必要である。 It is difficult in terms of time to confirm all the images from the opening and closing of the restaurant, and a great deal of labor is required just for searching for only the images being cooked from the images.
しかしながら、作業記録解析閲覧システム10では、上述したように、表示装置103に表示されたタイムライン202を視覚的に確認するだけで調理中の映像であるか否かを容易に確認することができる。
However, in the work record analysis browsing system 10, as described above, it is possible to easily confirm whether or not the image is being cooked simply by visually confirming the
これにより、効率よく短時間で調理を行っている映像を再生することができる。よって、監督者などがマニュアルに定められた標準作業である標準行程に沿った調理を調理者が行っているかの確認を効率よく行うことができる。 Thereby, the image | video which is cooking efficiently in a short time can be reproduced | regenerated. Therefore, it is possible to efficiently check whether the cook is performing cooking along the standard process, which is a standard operation defined in the manual by the supervisor.
また、タイムライン202を指定することにより、任意の映像を容易に閲覧することができるので、調理中あるいは調理中以外の映像に関係なく、簡単に再生閲覧することができる。
In addition, since any video can be easily browsed by designating the
〈ビューワー画面の他の表示例〉
図7は、図6のビューワー画面200における他の例を示す説明図である。
<Other display examples on the viewer screen>
FIG. 7 is an explanatory diagram showing another example of the
この図7のビューワー画面200では、図6のビューワー画面200に温度表示部203が新たに設けられた構成となっている。温度表示部203は、タイムライン202に対応して時系列に油の温度が線グラフとなって表示される画面である。この線グラフは、図2の記憶装置155に格納される検出情報に基づいて、表示内容生成部117が生成する。
The
また、温度表示部203に表示された線グラフは、映像表示部201に表示される映像とリンクするように示される。表示内容生成部117は、監督者などがマウスなどによって任意の線グラフの位置を指定すると、該指定位置の日時に合致する日時が付与されたフレームを映像蓄積部112から検索し、検索されたフレームから映像の再生を開始する。
In addition, the line graph displayed on the
例えば、調理中の油の温度がマニュアルなどの標準行程に決められている温度(以下、下限温度という)を下回った際の調理の映像を確認したい場合には、マウスなどによって該当する線グラフの位置を選択する。これにより、映像表示部201には、油の温度が下限温度を下回った場面からの映像が再生される。これによって、調理時間および調理中の油の温度などを容易に確認することができる。
For example, if you want to check the cooking video when the temperature of the oil being cooked falls below the temperature set in the standard process such as a manual (hereinafter referred to as the lower limit temperature), use the mouse to display the corresponding line graph. Select a position. Thereby, an image from a scene where the temperature of the oil falls below the lower limit temperature is reproduced on the
フライヤによる調理の際には、食材の加熱時間が味などを左右することがある。例えば食材を投入した際に、油の温度が上述した下限温度よりも下がってしまったり、あるいは食材の揚げ時間が標準行程通りでないなどである。 When cooking with a fryer, the heating time of the ingredients may affect the taste and the like. For example, when the food is added, the temperature of the oil falls below the lower limit temperature described above, or the frying time of the food is not according to the standard stroke.
作業記録解析閲覧システム10は、上記したように、調理工程の映像を監督者などに短時間で容易に提供することができる。よって、監督者は、調理中の映像を効率よく閲覧することが可能となる、これらによって、調理担当者の技術をより向上させることができる。 As described above, the work record analysis browsing system 10 can easily provide a video of the cooking process to a supervisor or the like in a short time. Therefore, the supervisor can efficiently browse the image being cooked. With these, the skill of the person in charge of cooking can be further improved.
図8は、図7のビューワー画面200における他の例を示す説明図である。
FIG. 8 is an explanatory diagram showing another example of the
図8に示すビューワー画面200では、図7のビューワー画面200にアラート表示部204が新たに設けられた構成からなる。図8では、アラート表示部204が映像表示部201の右側に設けられた例を示している。
The
このアラート表示部204は、マニュアルなどにて規定された標準行程の調理条件に反した場合などに表示される。調理条件は、例えば学習済みデータ蓄積部118などに予め格納する。
This
そして、作業内容判別部115は、作業内容が調理中であると判別した際に、学習済みデータ蓄積部118に格納されている調理条件に基づいて、該調理条件に反する調理処理が行われているか否かを判定する。
Then, when the work
調理条件は、例えば油の下限温度や食材の揚げ時間などである。作業内容判別部115は、例えば調理中の油の温度が調理条件に設定される下限温度よりも下がってしまったり、揚げ時間が調理条件よりも短い、あるいは揚げ時間が調理条件よりも長いなどを判定する。
The cooking conditions are, for example, the lower limit temperature of oil and the frying time of ingredients. For example, the work
そして、作業内容判別部115は、調理条件に反する調理処理が行われていると判定した際に、その判定結果およびアラートの内容を作業情報蓄積部116に出力する。表示内容生成部117は、作業情報蓄積部116に蓄積されているアラート内容に基づいてアラート表示部204にアラート内容が表示されるようにビューワー画面200を生成する。
Then, when the work
これにより、より容易にマニュアルに反する調理処理などを確認することができ、調理者によるばらつきを低減して味の均一化などを実現することができる。 Thereby, the cooking process etc. which are contrary to a manual can be confirmed more easily, the variation by a cook can be reduced, and a uniform taste etc. can be implement | achieved.
以上により、容易に調理中の映像を確認することができる。これにより、調理者の調理を確認する監督者などの利便性を向上することができる。監督者の監視業務の効率を一層向上させることができる。 As described above, an image during cooking can be easily confirmed. Thereby, the convenience of the supervisor etc. who confirm cooking of a cook can be improved. The efficiency of supervisory monitoring work can be further improved.
図8においては、油の温度をセンサ部102によって検出した例を示したが、該センサ部102の取り付けは、例えばフライパンなどの他の調理器具に取り付けるようにしてもよい。
Although FIG. 8 shows an example in which the temperature of the oil is detected by the
例えば炒め物を調理するフライパンにセンサ部102として温度センサを取り付けた場合には、調理中のフライパンの温度の下がり具合などから食材をフライパンに投入した時間を判別することができる。
For example, when a temperature sensor is attached as a
また、フライパンに温度センサの他にセンサ部102として振動センサを取り付けた場合には、炒め物調理中におけるフライパンのあおり回数や期間などを判定することができる。上記した温度センサが検出する温度と振動センサが検出するあおり回数などから、炒め物の調理を判別することができる。
Further, when a vibration sensor is attached to the frying pan as the
また、調理中において、フライパンに食材を投入してから食材の炒めが終了するまでの時間なども取得することができる。調理条件に炒め物調理時のフライパンのあおり回数あるいは炒め時間などを設定することにより、反作業内容判別部115は、炒め物が調理条件に沿って調理されているか否かを判定することができる。
In addition, during cooking, it is possible to acquire the time from when the ingredients are put into the frying pan to when the ingredients are fried. By setting the number of times of pan frying or the time of frying when cooking the stir-fried food in the cooking conditions, the counter-work
また、フライパンのあおり回数が調理条件よりも少ない場合、あるいは炒め時間が調理条件よりも長かったり、短かったりした場合などにアラート表示部204がアラートを表示することともできる。
The
これによっても、監督者に対してマニュアル通りに調理されていない恐れのある調理映像などを容易に閲覧することのできる作業記録解析閲覧システム10を提供することができる。 Also by this, it is possible to provide the work record analysis browsing system 10 that allows the supervisor to easily browse cooking images that may not be cooked according to the manual.
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。 As mentioned above, the invention made by the present inventor has been specifically described based on the embodiment. However, the present invention is not limited to the embodiment, and various modifications can be made without departing from the scope of the invention. Needless to say.
なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。 In addition, this invention is not limited to above-described embodiment, Various modifications are included. For example, the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to one having all the configurations described.
また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。 Further, a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. . In addition, it is possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.
10 作業記録解析閲覧システム
101 映像撮影装置
102 センサ部
103 表示装置
104 映像情報解析装置
111 映像入力部
112 映像蓄積部
113 センサデータ入力部
114 特徴抽出部
115 作業内容判別部
116 作業情報蓄積部
117 表示内容生成部
118 学習済みデータ蓄積部
150 プロセッサ
151 メインメモリ
152 映像入力インタフェース
153 センサ情報入力インタフェース
154 出力インタフェース
155 記憶装置
200 ビューワー画面
201 映像表示部
202 タイムライン
203 温度表示部
204 アラート表示部
B バス
DESCRIPTION OF SYMBOLS 10 Work record
Claims (9)
作業データを検出する検出部と、
前記検出部が検出した作業データから特徴量を抽出する特徴抽出部と、
前記特徴抽出部が抽出した特徴量に基づいて、作業中であるか否かを判別する作業判別部と、
前記作業記録を撮影する映像撮影部と、
前記作業判別部が判別した判別結果に基づいて、作業期間および作業をしていない期間を時系列に示すタイムランを生成して表示する表示生成部と、
を有し、
前記表示生成部は、前記作業期間を示す前記タイムランが選択された際に、前記作業期間に対応する映像を前記映像撮影部が撮影した作業記録の映像から取得して表示する、作業記録解析閲覧システム。 A work record analysis browsing system that analyzes work record video and provides a video to be extracted,
A detection unit for detecting work data;
A feature extraction unit for extracting feature amounts from the work data detected by the detection unit;
A work discriminating unit for discriminating whether or not the work is in progress based on the feature amount extracted by the feature extracting unit;
A video shooting unit for shooting the work record;
Based on the determination result determined by the work determination unit, a display generation unit that generates and displays a time run indicating a work period and a period in which work is not performed in time series, and
Have
The display generation unit obtains and displays a video corresponding to the work period from the video of the work record taken by the video photographing unit when the time run indicating the work period is selected. Browsing system.
前記作業判別部は、前記特徴抽出部が抽出した特徴量と予め取得した標準特徴量との類似度に基づいて、前記作業中であるか否かを判別し、
前記標準特徴量は、作業が標準化された標準作業から抽出した特徴量である、作業記録解析閲覧システム。 In the work record analysis browsing system according to claim 1,
The work determination unit determines whether the work is in progress based on the similarity between the feature amount extracted by the feature extraction unit and the standard feature amount acquired in advance.
The work record analysis browsing system, wherein the standard feature is a feature extracted from a standard work in which work is standardized.
前記特徴抽出部は、前記検出部が検出した作業データを周波数解析して前記特徴量を抽出する、作業記録解析閲覧システム。 In the work record analysis browsing system according to claim 1 or 2,
The work record analysis browsing system, wherein the feature extraction unit extracts the feature amount by performing frequency analysis on the work data detected by the detection unit.
前記表示生成部は、前記検出部が検出した作業データを前記タイムランに対応させて表示する、作業記録解析閲覧システム。 In the work record analysis browsing system according to any one of claims 1 to 3,
The work record analysis browsing system, wherein the display generation unit displays work data detected by the detection unit in correspondence with the time run.
前記表示生成部は、前記作業判別部が作業期間中であると判別した期間に、前記検出部が検出した作業データが予め設定された標準作業データの範囲外となった場合にアラートを出力する、作業記録解析閲覧システム。 In the work record analysis browsing system according to any one of claims 1 to 4,
The display generation unit outputs an alert when the work data detected by the detection unit falls outside a preset standard work data range during a period when the work determination unit determines that the work is being performed. , Work record analysis browsing system.
前記検出部が検出する作業データは、少なくとも温度データである、作業記録解析閲覧システム。 In the work record analysis browsing system according to claim 1,
A work record analysis browsing system, wherein the work data detected by the detector is at least temperature data.
前記特徴抽出部は、前記検出部が検出した温度データを周波数解析して前記特徴量を抽出し、
前記作業判別部は、前記特徴抽出部が抽出した前記特徴量と標準特徴量との類似度に基づいて、前記作業中であるか否かを判別し、
前記標準特徴量は、作業が標準化された標準作業から抽出した特徴量であり、前記標準作業において前記検出部が検出した温度データを周波数解析して抽出したものである、作業記録解析閲覧システム。 In the work record analysis browsing system according to claim 6,
The feature extraction unit extracts the feature amount by performing frequency analysis on the temperature data detected by the detection unit,
The work determination unit determines whether the work is in progress based on the similarity between the feature amount extracted by the feature extraction unit and a standard feature amount,
The work record analysis browsing system, wherein the standard feature value is a feature value extracted from a standard work in which work is standardized, and is extracted by frequency analysis of temperature data detected by the detection unit in the standard work.
前記表示生成部は、前記検出部が検出した温度データを前記タイムランに対応させて表示する、作業記録解析閲覧システム。 In the work record analysis browsing system according to claim 6 or 7,
The said display production | generation part is a work record analysis browsing system which displays the temperature data which the said detection part detected corresponding to the said time run.
前記表示生成部は、前記作業判別部が作業期間中であると判別した期間に、前記検出部が検出した温度データが予め設定された温度条件データの範囲外となった場合にアラートを出力する、作業記録解析閲覧システム。 In the work record analysis browsing system according to any one of claims 6 to 8,
The display generation unit outputs an alert when the temperature data detected by the detection unit falls outside the range of preset temperature condition data during the period when the operation determination unit determines that the operation is in progress. , Work record analysis browsing system.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016127380A JP2018005316A (en) | 2016-06-28 | 2016-06-28 | Work record analysis reading system |
PCT/JP2017/021259 WO2018003447A1 (en) | 2016-06-28 | 2017-06-08 | Work record analysis and viewing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016127380A JP2018005316A (en) | 2016-06-28 | 2016-06-28 | Work record analysis reading system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018005316A true JP2018005316A (en) | 2018-01-11 |
Family
ID=60785351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016127380A Pending JP2018005316A (en) | 2016-06-28 | 2016-06-28 | Work record analysis reading system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2018005316A (en) |
WO (1) | WO2018003447A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10207530A (en) * | 1997-01-21 | 1998-08-07 | Hitachi Ltd | Recording information display system and its method |
US20020075244A1 (en) * | 1991-04-08 | 2002-06-20 | Masayuki Tani | Video or information processing method and processing apparatus, and monitoring method and monitoring apparatus using the same |
-
2016
- 2016-06-28 JP JP2016127380A patent/JP2018005316A/en active Pending
-
2017
- 2017-06-08 WO PCT/JP2017/021259 patent/WO2018003447A1/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020075244A1 (en) * | 1991-04-08 | 2002-06-20 | Masayuki Tani | Video or information processing method and processing apparatus, and monitoring method and monitoring apparatus using the same |
JPH10207530A (en) * | 1997-01-21 | 1998-08-07 | Hitachi Ltd | Recording information display system and its method |
Non-Patent Citations (3)
Title |
---|
大村 廉: "看護業務支援のためのセンサネットワーク・アーキテクチャ", 情報処理学会研究報告 平成21年度▲2▼ [CD−ROM], vol. Vol.2009−UBI−23, JPN6020017005, 15 August 2009 (2009-08-15), pages 1 - 8, ISSN: 0004437599 * |
斉藤 清隆: "センサ情報と映像情報の対応付けを利用した調理動画の記録閲覧システム", 情報処理学会研究報告 2012(平成24)年度▲2▼ [CD−ROM], vol. Vol.2012−HCI−148 , JPN6020017004, 15 August 2012 (2012-08-15), pages 1 - 8, ISSN: 0004437598 * |
斉藤 清隆: "表面温度分布を利用した調理状況推定手法およびインタラクティブ調理支援システム", 筑波大学大学院博士課程システム情報工学研究科修士論文[オンライン], JPN7020001334, March 2014 (2014-03-01), ISSN: 0004437600 * |
Also Published As
Publication number | Publication date |
---|---|
WO2018003447A1 (en) | 2018-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11417094B2 (en) | Method of selecting important digital images | |
US10599955B2 (en) | Visual representations of photo albums | |
JP5735330B2 (en) | Image processing apparatus and image processing method | |
JP6593742B2 (en) | In-facility person search support apparatus, in-facility person search support system, and in-facility person search support method | |
CN106031154B (en) | Handle the method for image and the electronic device for it | |
KR20170073589A (en) | System and computer method for visually guiding a user to a current interest | |
US10497130B2 (en) | Moving information analyzing system and moving information analyzing method | |
JP6828708B2 (en) | Control device, surveillance system, and surveillance camera control method | |
JPWO2016199378A1 (en) | Cooker | |
JP2008146191A (en) | Image output device and image output method | |
JP2016015579A (en) | Information processing apparatus,information processing method and program | |
JP2005159781A (en) | Image selecting processing apparatus, image selecting method, program thereof, and recording medium | |
CN104036016A (en) | Picture screening method and picture screening device | |
JP6618349B2 (en) | Video search system | |
JP2006059038A (en) | Faceup degree evaluation system and program | |
TWI397024B (en) | Method for image auto-selection and computer system | |
JP6410427B2 (en) | Information processing apparatus, information processing method, and program | |
WO2018003447A1 (en) | Work record analysis and viewing system | |
JP4456437B2 (en) | Image processing system, image processing program, and image processing method | |
JP5994974B2 (en) | Information processing apparatus, program, and information processing method | |
WO2017092328A1 (en) | Method and device for distinguishing user data of smart television | |
JP2008199330A (en) | Moving image management apparatus | |
JP2004236211A (en) | Image processing system | |
JP6865537B2 (en) | Information processing equipment, information processing methods, and programs | |
JP7485893B2 (en) | Information processing device, control program, and control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200609 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200811 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200925 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210202 |