JP2021196909A - Monitoring system - Google Patents
Monitoring system Download PDFInfo
- Publication number
- JP2021196909A JP2021196909A JP2020103355A JP2020103355A JP2021196909A JP 2021196909 A JP2021196909 A JP 2021196909A JP 2020103355 A JP2020103355 A JP 2020103355A JP 2020103355 A JP2020103355 A JP 2020103355A JP 2021196909 A JP2021196909 A JP 2021196909A
- Authority
- JP
- Japan
- Prior art keywords
- time
- work
- camera
- monitoring system
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 52
- 238000004519 manufacturing process Methods 0.000 claims abstract description 48
- 238000004458 analytical method Methods 0.000 claims abstract description 42
- 230000008859 change Effects 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims description 46
- 230000008569 process Effects 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 18
- 238000004904 shortening Methods 0.000 claims description 2
- 230000006872 improvement Effects 0.000 abstract description 5
- 239000000047 product Substances 0.000 description 18
- 238000003860 storage Methods 0.000 description 15
- 238000007689 inspection Methods 0.000 description 13
- 230000007547 defect Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000012546 transfer Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 241000282412 Homo Species 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 238000013144 data compression Methods 0.000 description 3
- 239000013067 intermediate product Substances 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000012467 final product Substances 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000414 obstructive effect Effects 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000012089 stop solution Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- General Factory Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、モノの製造現場におけるヒト、モノ、機械を監視する監視システムに関する。 The present invention relates to a monitoring system for monitoring people, goods, and machines at a manufacturing site of goods.
モノの製造現場において、製造に携わるヒトや、製造されるモノ、製造工程を実行する機械(製造装置、検査装置、梱包装置、その他)を監視するシステムが知られており、その更なる改善が進められている(例えば特許文献1乃至3参照)。
At the manufacturing site of goods, a system for monitoring the people involved in manufacturing, the goods to be manufactured, and the machines (manufacturing equipment, inspection equipment, packing equipment, etc.) that execute the manufacturing process is known, and further improvement is possible. It is being advanced (see, for example,
例えば、組立産業の製造現場では、複数の部品を集約し、それらを所定の組立図、作業手順書などに沿った作業(例えば、溶接、切削、組立てなど)の組み合わせで、製品が生産される。複雑な製品の場合、複数の作業現場で、それぞれ所定の作業が進められ、それぞれの部分(ユニット)がまとめられて、より複雑な製品が作り出される。このような作業では、集約される部品(モノ)の種類が多い際、作業手順、現場の配置、部品の集約作業等が複雑になり、作業の待ち、部品の滞留、部品集約のタイミングのずれ、作業員(ヒト)の配置ミスなどが発生しやすく、組立作業の効率低下が問題になる。ところが、特に組立産業では、設備、機器を使用することが少なく、ヒトによる組立作業が中心であるため、センサによるロギング環境が整っていない。このため、製造現場でのヒトやモノの状態を的確に把握・監視する監視システムが望まれている。言い換えると、組立産業のデジタルツインを構築し、その活用により、経営数値の改善、監視を実現することが望まれている。 For example, at a manufacturing site in the assembly industry, a product is produced by aggregating a plurality of parts and combining them with work according to a predetermined assembly drawing, work procedure manual, etc. (for example, welding, cutting, assembly, etc.). .. In the case of a complicated product, predetermined work is carried out at a plurality of work sites, and each part (unit) is put together to create a more complicated product. In such work, when there are many types of parts (things) to be aggregated, the work procedure, site layout, parts aggregation work, etc. become complicated, waiting for work, retention of parts, and timing deviation of parts aggregation. , It is easy for workers (humans) to be misplaced, and there is a problem of reduced efficiency in assembly work. However, especially in the assembly industry, equipment and devices are rarely used, and assembly work is mainly performed by humans, so a logging environment using sensors is not in place. Therefore, there is a demand for a monitoring system that accurately grasps and monitors the state of people and things at the manufacturing site. In other words, it is desired to build a digital twin for the assembly industry and utilize it to improve and monitor management figures.
しかし、ヒトの作業状態を数値化して記録する際は、作業者が作業の手を止めて作業状態を記録するか、又は別の作業者が、作業者の動作を観察しながら記録することが必要であり、手間やコストがかかるという問題があった。 However, when quantifying and recording the human work state, the worker may stop the work and record the work state, or another worker may record while observing the worker's movement. There was a problem that it was necessary, laborious and costly.
また、モノの状態の監視に関しては、モノが機械の中にある場合には、機械による動作の記録及び監視が可能であるが、モノがある作業現場の機械から別の作業現場の機械に移動する場合などにおいて、その状態を十分に監視することができていない。 Regarding the monitoring of the state of things, if the thing is inside the machine, it is possible to record and monitor the operation by the machine, but the thing is moved from the machine at one work site to the machine at another work site. In such cases, the condition cannot be sufficiently monitored.
本発明は、ヒトやモノの動きを的確に把握して、製造工程を的確に監視し、作業効率の向上に寄与することができる監視システムを提供するものである。 The present invention provides a monitoring system capable of accurately grasping the movements of people and things, accurately monitoring the manufacturing process, and contributing to the improvement of work efficiency.
上記の課題を解決するため、本発明に係る監視システムは、製造現場におけるヒト、モノ、及び装置を監視する監視システムにおいて、前記ヒト、モノ又は装置を監視するカメラと、前記カメラにより得られた映像データを解析する解析部と、前記解析部による解析結果を表示する表示部とを備える。前記解析部は、前記映像データにおける変化点を検出し、前記変化点に基づいて前記ヒト、前記モノ、あるいは装置の状態を解析する。 In order to solve the above problems, the monitoring system according to the present invention is a monitoring system for monitoring people, objects, and devices at a manufacturing site, and is obtained by a camera that monitors the people, objects, or devices, and the cameras. It includes an analysis unit that analyzes video data and a display unit that displays the analysis result by the analysis unit. The analysis unit detects a change point in the video data and analyzes the state of the person, the thing, or the device based on the change point.
本発明に係る監視システムによれば、製造工程を的確に監視し、作業効率の向上に寄与することができる監視システムを提供することができる。 According to the monitoring system according to the present invention, it is possible to provide a monitoring system that can accurately monitor the manufacturing process and contribute to the improvement of work efficiency.
以下、添付図面を参照して本実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った実施形態と実装例を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではない。 Hereinafter, the present embodiment will be described with reference to the accompanying drawings. In the attached drawings, functionally the same elements may be displayed with the same number. The accompanying drawings show embodiments and implementation examples in accordance with the principles of the present disclosure, but these are for the purpose of understanding the present disclosure and are never used for the limited interpretation of the present disclosure. is not it. The description of the present specification is merely a typical example, and does not limit the scope of claims or application examples of the present disclosure in any sense.
本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。 In this embodiment, the description is given in sufficient detail for those skilled in the art to implement the present disclosure, but other implementations and embodiments are also possible and do not deviate from the scope and spirit of the technical idea of the present disclosure. It is necessary to understand that it is possible to change the structure and structure and replace various elements. Therefore, the following description should not be construed as limited to this.
以下では、複数の部品から構成される製品(最終製品、および中間製品としてのユニット)を組立する工程に係る実施形態を説明する。基幹システム又は発注システムから発注され納入された部品は、部品倉庫に搬入され格納される。一方、製品の製造計画に沿って、製造作番が発行されると、作番ごとに予め定義された製造計画(設計部門で作成された組立図、組立手順書を含む)に沿って、部品が組立ショップに搬送される。この組立ショップには、製造計画に沿って、組立人員及び必要な機器、ジグが配置される。組立人員は、製造計画に沿って、ケースによって必要な機器・ジグを用いて、所定の組立作業を実施する。 Hereinafter, embodiments relating to a process of assembling a product (a final product and a unit as an intermediate product) composed of a plurality of parts will be described. Parts ordered and delivered from the core system or ordering system are carried into and stored in the parts warehouse. On the other hand, when a manufacturing serial number is issued according to the manufacturing plan of the product, the parts are manufactured according to the manufacturing plan (including the assembly drawing and the assembly procedure manual created by the design department) defined in advance for each serial number. Is transported to the assembly shop. Assembly personnel, necessary equipment, and jigs will be assigned to this assembly shop according to the manufacturing plan. The assembly personnel carry out the prescribed assembly work according to the manufacturing plan, using the equipment and jigs required by the case.
所定の組立作業を実施された製品は、次の組立ショップに搬送される。この繰り返し、統合によって、最終製品が完成し、所定の出荷検査が実施され、出荷倉庫に格納される。本実施形態は、工場内で進められている上記の組立工程、作業の進行状況を記録する手段及び方法を提供するものである。具体的には、各倉庫、配膳だな、組立ショップ事に、各部品、各機器・ジグ、各作業者の識別情報、着手完了時刻、離着時刻を記録するものである。従来の技術では、製品部品の有無を検出するために、作業ごと、ショップごとの作業内容、ショップの構成に応じたセンサを個別に設置する必要があった。これは、例えば、製品の変更等で、作業の内容、部品の大きさ形状が変化するたびに、センサの設置位置などを変更する必要があった。以下に説明する実施形態によれば、カメラの撮像範囲に、部品、ジグ、作業者が存在する限り、カメラの設置位置を変更する必要はない。これによりシステム導入時の設置コストを大幅に削減することができる。 Products that have undergone the prescribed assembly work are transported to the next assembly shop. Through this repetition and integration, the final product is completed, a predetermined shipping inspection is carried out, and it is stored in the shipping warehouse. The present embodiment provides means and a method for recording the above-mentioned assembly process and the progress of the work being carried out in the factory. Specifically, each warehouse, serving rack, and assembly shop records each part, each device / jig, identification information of each worker, start completion time, and takeoff / landing time. In the conventional technology, in order to detect the presence or absence of product parts, it is necessary to individually install sensors according to the work contents of each work, each shop, and the configuration of the shop. This is because, for example, it is necessary to change the installation position of the sensor every time the work content, the size and shape of the part change due to the change of the product or the like. According to the embodiment described below, it is not necessary to change the installation position of the camera as long as the parts, the jig, and the operator are present in the imaging range of the camera. As a result, the installation cost at the time of system introduction can be significantly reduced.
実施形態に係る監視システム1の一例を、図1を参照して説明する。この監視システム1は、一例として、ヒト監視カメラ11、モノ監視カメラ12、装置監視カメラ13、転送コンピュータ(PC)14、収集・蓄積サーバ15、解析サーバ16、及び表示コンピュータ(PC)17から構成され得る。
An example of the
ヒト監視カメラ11は、製造現場にて作業を実行するヒト(作業者)の動きを監視するためのカメラである。ヒト監視カメラ11は、例えばヒトの形や、動作の特性に関する情報を予め蓄積しており、人間の動きを迅速且つ確実に検出することができるよう構成され得る。
The
モノ監視カメラ12は、製造現場において製造され移動するモノの動きを監視するためのカメラである。モノ監視カメラ12は、一例として、モノを載置して運搬するためのカートの移動を監視するため、カートに付された識別情報(一次元コード、二次元コード、カラーチャート等)を撮像し、識別するカメラとすることができる。複数のカートにそれぞれ異なる識別情報を付すことで、カートの種類を識別することができる。ただし、これはあくまでも一例であり、モノ監視カメラ12は、カートの移動を識別情報により監視するものには限定されない。例えば、モノ自体の形状を認識するか、又はモノに付された各種識別情報を識別するようにしてもよい。また、カートを認識することに代えて、例えばベルトコンベアに載置されたトレイの動きをモノ監視カメラ12で監視するようにしてもよい。モノ監視カメラ12が二次元コードを読み取るように構成される場合、モノ監視カメラ12は、その内部に二次元コード解析用のアプリケーションを搭載することができる。もちろん、二次元コード解析用のアプリケーションは、クラウド上においても良いことは言うまでもない。
The
装置監視カメラ13は、製造現場に設置されている各種装置(製造装置、検査装置、梱包装置、その他)の動きを監視するためのカメラである。装置監視カメラ13は、撮像対象である装置の特性に応じて異なるものとすることができる。例えば、ヒトの操作の介在が必須である装置のための装置監視カメラ13においては、装置の操作パネルを撮像し、ヒトの操作を監視するカメラとすることができる。操作パネルを撮像することで、当該装置が稼働中であるか、停止中であるかなどを判断することが出来る。
The
昨今の設備、機器は、機器内に配置されたセンサで、機器内の状態を示すパラメータを、検出することができる。しかしながら、これらのセンサを有しない設備の場合、機器を改造して、これらのセンサを設置する必要がある。ところが、設備、機器を用いた作業の熟練者の場合、目視、音の聞き取りで、装置の加工、組み立て、それ以外の処理がいずれのプロセス段階にあるか、また、設備の状態に異常がないかを監視することができる。したがって、設備の監視においても、TVカメラの活用により、状態の監視ができるということになる。このTVカメラでの監視を導入することにより、センサ設置のための改造、熟練者による監視など、高コストの監視システムの導入を不要にすることができる。 In recent equipment and devices, sensors arranged in the equipment can detect parameters indicating the state in the equipment. However, in the case of equipment that does not have these sensors, it is necessary to modify the equipment and install these sensors. However, in the case of a skilled person working with equipment and equipment, there is no abnormality in the process stage of the processing, assembly, and other processing of the equipment by visual inspection and listening to sound, and the condition of the equipment. Can be monitored. Therefore, even in the monitoring of equipment, the state can be monitored by utilizing the TV camera. By introducing monitoring with this TV camera, it is possible to eliminate the need to introduce a high-cost monitoring system such as modification for sensor installation and monitoring by a skilled person.
ヒトの操作が介在しない自動の装置である場合、その装置のための装置監視カメラ13は、例えばモノ(部品)等の投入口や、稼働部分(例えば、切削装置のブレード)の動きを監視するためのカメラとすることができる。更に、装置監視カメラ13は、装置内部での各種作業の内容の検査にも用いることができる。例えば、ハーネス接続用の装置において、ハーネス接続確認検査を実行し、その画像から、正しい接続が行われたか否かを判定し、されていない場合に誤配線等のエラーを検知することができる。
In the case of an automatic device that does not involve human operation, the
また、この実施形態では、カメラ11〜13内、又は外付けのコントローラにおいて、検査対象を検出する検査対象検出手段、及び不具合を検出する不具合検出手段を備えることができる。検査対象検出手段は、良品の画像の中の検査対象部分を検出する機能を有する。一例として検査対象検出手段は、予め検査対象部分を学習した深層学習ネットワークから構成され得る。この手段を設けることにより、変形が大きいが異常とはみなされない部分(例えば、ケーブル等の部品)を欠陥として誤検出することを避けることができる。
Further, in this embodiment, the inspection target detecting means for detecting the inspection target and the defect detecting means for detecting the defect can be provided in the
そして、検査対象部分として検出された部分を不具合検出手段に入力することで、検査対象の不具合が検出され得る。この手段は、一例として、オートエンコーダに予め複数の正常部品(正常品の画像)を学習して構成され得る。オートエンコーダで再構成された画像と、入力画像の差分画像を作成することにより、異常部分がある場合には、その位置の画像信号が大きな値となり、閾値処理により異常として検出される。検出された不具合情報(不具合画像、製品情報等)は、不具合情報格納手段に格納され得る。 Then, by inputting the portion detected as the inspection target portion into the defect detection means, the defect to be inspected can be detected. As an example, this means may be configured by learning a plurality of normal parts (images of normal products) in advance from an autoencoder. By creating a difference image between the image reconstructed by the autoencoder and the input image, if there is an abnormal part, the image signal at that position becomes a large value, and it is detected as an abnormality by the threshold processing. The detected defect information (defect image, product information, etc.) can be stored in the defect information storage means.
新たな検出対象が設けられた際は、その正常画像を、検査対象検出手段、及び、不具合検出手段(オートエンコーダ)に学習させることができる。この学習は、製品の設計時に生成される3次元CADの情報を用いて行われてもよい。 When a new detection target is provided, the normal image can be learned by the inspection target detection means and the defect detection means (autoencoder). This learning may be performed using the information of the three-dimensional CAD generated at the time of designing the product.
また、新たな検出対象を学習した情報(ネットワークパラメータ)は、既に学習済みのネットワークの対応パラメータとの加重平均を実行することにより、反映させることができる。この手法により、新規の検出対象に関する情報を、各ユーザがクラウド上に上げたくないケースにも対応できる。すなわち、クラウド上で共有される学習済みネットワークのパラメータを、ユーザの拠点に送付し、当該拠点にて加重平均を実行することで、ユーザ固有の高精度な不具合検出手段、検査対象検出手段を構成・提供することができる。 Further, the information (network parameter) learned of the new detection target can be reflected by executing the weighted average with the corresponding parameter of the already learned network. With this method, it is possible to handle cases where each user does not want to upload information about a new detection target to the cloud. That is, by sending the parameters of the learned network shared on the cloud to the user's base and executing the weighted average at the base, a user-specific highly accurate defect detection means and inspection target detection means are configured.・ Can be provided.
なお、装置監視カメラ13は、撮像対象の特性や撮像対象までの距離に応じて、様々なレンズ(超近接レンズ、魚眼レンズ、広角レンズ、望遠レンズ、その他)を使用することができる。
The
組立工程の現場における組立作業の進行状況は、特定の技能を有する熟練者や管理者であれば、目視確認で識別し記録することができる。このような観点から、本実施の形態では、可視光で撮像したTVカメラによる撮像情報だけから、以下に説明する適切なデータ処理を施し、記録すべき離着時刻を算出するよう構成されている。 The progress of the assembly work at the site of the assembly process can be identified and recorded by visual confirmation by a skilled person or a manager having a specific skill. From this point of view, the present embodiment is configured to perform appropriate data processing described below from only the information captured by the TV camera captured by visible light to calculate the takeoff and landing time to be recorded. ..
また、組立工程中の各組立ショップでの組み立て作業が完了した際は、その完了時刻を記録するだけでなく、組立作業の工程ごとの着手、完了時刻、組立が完了した中間製品の不具合を検出し、記録する。このTVカメラのサンプリング時間は、必要に応じ、通常の30fps、60fpsである必要はなく、1fps、0.2fpsなどの数値に間引くことができる。また逆に、120fps、2000fps等、高速度撮像であっても良い。前者は、トータルの格納データ量を下げる効果があり、後者は、高速な動きを伴うデータ収集時に必要となる。 In addition, when the assembly work at each assembly shop during the assembly process is completed, not only the completion time is recorded, but also the start, completion time, and defects of the assembled intermediate product for each assembly process are detected. And record. The sampling time of this TV camera does not have to be the usual 30 fps or 60 fps, and can be thinned out to a numerical value such as 1 fps or 0.2 fps, if necessary. On the contrary, high-speed imaging such as 120 fps and 2000 fps may be used. The former has the effect of reducing the total amount of stored data, and the latter is necessary when collecting data accompanied by high-speed movement.
転送PC14は、各種カメラ11〜13が撮像した映像データ(動画、静止画の両方を含み得る)を読み込んで、収集・蓄積サーバ15に転送する機能を有する。転送PC14は、転送動作に先立ち、周知の方法によりデータ圧縮動作を実行するよう構成されることもできる。データ圧縮動作に加えて、画像の加工や画像処理(例えば、監視対象であるヒトやモノの画像の部分のみを残し、不要な画像を削除する、又は監視対象画像の解像度を高くし、その他の物体の画像の解像度を低下させるような画像処理など)を実行することも可能である。なお、転送PC14は、収集・蓄積サーバ15と無線接続されていてもよいし、有線接続とされていてもよい。
The
収集・蓄積サーバ15は、転送PC14から転送された映像データを図示しない記憶部において収集し、蓄積するためのコンピュータである。なお、収集された映像データの解析は解析サーバ16において実行されるが、解析工程の一部、例えば、映像データの解析の一部は収集・蓄積サーバ15が担当することも可能である。
The collection /
解析サーバ16は、収集・蓄積サーバ15において蓄積された各種映像データを解析して、ヒト、モノ、及び機械の動作を解析し、その解析結果としての解析データを生成する。生成された解析データは、表示PC17に出力され、オペレータが認識可能な形で可視化して表示される。なお、解析サーバ16は、ヒト、モノ、及び機械の動作を解析した結果としての解析データを、作業計画データと対比して、その相違を解析するよう構成することも可能である。
The
解析サーバ16における解析事項は、ヒト(例えば現場監督者)が日常の監督業務を行って発見し得る事項を含むことができるが、これに限定される必要はない。例えば、長時間に亘り収集・蓄積サーバ15において取得され蓄積(学習)された映像データに含まれる信号Aと、新規に取得された映像データに含まれる信号A’とを比較し、その比較結果を解析事項とすることもできる。このようにして得られた信号AとA’とに所定値以上の差異がある場合に、解析サーバ16は、この差異が生じた箇所を、ヒト、モノ、又は機械についての有意な動作の変化点を示す「変化点」として特定する。
The analysis items in the
このような変化点を特定することで、ヒトの監視では見逃されがちなヒト、モノ、機械の有意な動作が生じた時点を検出することが可能になり、製造工程の作業効率の阻害要因の指標とすることができる。また、ヒトによる監視の場合、正しい動作が行われている場合のデータと、正常ではない動作が行われている場合のデータとを切り分ける必要があるが、正データは準備が容易である一方、誤データの準備は手間がかかる。本システムによれば、誤データの準備が不要で短期間に、容易にシステム導入が実現できる。解析サーバ16は、このような変化点が生じた時間と場所を紐づけ、数理的に「特定の作業場所での作業時間」と定義する。
By identifying such change points, it becomes possible to detect the time when significant movements of humans, objects, and machines, which are often overlooked by human monitoring, occur, which is a factor that hinders the work efficiency of the manufacturing process. It can be used as an index. Also, in the case of human monitoring, it is necessary to separate the data when correct operation is performed and the data when abnormal operation is performed, but the positive data is easy to prepare, while it is easy to prepare. Preparing erroneous data is time-consuming. According to this system, it is not necessary to prepare erroneous data, and the system can be easily introduced in a short period of time. The
一般に、ヒトとモノが所定の場所に存在するというだけでは、実際に作業が適切に進行しているということはできない。しかし、上記のようにして得られた作業時間のデータを比較・分析することにより、例えば、
(a)現在行われている作業が、平均的な作業時間を逸脱している場合、
(b)複数の作業の間で、作業時間のばらつきが大きくなっている場合、
(c)ヒトやモノが、特定の作業場所以外に滞在している場合
などを、これらを「機械的に」検知することができる。これらは、ヒトが定義又は認識する「作業時間」とは異なるものであるが、製造リードタイムの阻害要因を検知することはできている。すなわち、(a)は、「平均的な時間を逸脱している」ことが阻害要因であり、(b)は、作業そのものに「大きなばらつき」という阻害要因がある。(c)は、「作業の待ち」、「モノの滞留」という阻害要因がある。
In general, just because people and things are in place does not mean that the work is actually proceeding properly. However, by comparing and analyzing the work time data obtained as described above, for example,
(A) If the work currently being done deviates from the average work time
(B) When the variation in working time is large among multiple tasks
(C) When a person or an object is staying in a place other than a specific work place, these can be detected "mechanically". Although these are different from the "working time" defined or recognized by humans, it is possible to detect the factors that hinder the manufacturing lead time. That is, (a) has an obstructive factor of "deviation from the average time", and (b) has an obstructive factor of "large variation" in the work itself. In (c), there are obstacles such as "waiting for work" and "retention of goods".
図2を参照して、ヒト監視カメラ11の動作を概略的に説明する。図2は、製造現場に複数の機械((1)〜(9))が配置され、矢印に沿ってヒト(作業者)Hが移動する様子を、ヒト監視カメラ11で撮像する様子を示している。ヒト監視カメラ11は、一例として、ヒトHの体格、通常ヒトHが着用している衣服の性状(色、形状、その他)、動作の特性(平均歩行速度、歩幅)の情報を格納しておくことができる。ヒト監視カメラ11は、それらの情報と映像データとの対比により、映像データに含まれるヒトHの画像を特定することができる。特定されたヒトHの画像は、バウンディングボックスBBにより囲われ、映像データは、バウンディングボックスBBを含んだ形で記録され得る。
The operation of the
このようにして、ヒト監視カメラ11により映像データが得られると、解析サーバ16において映像データが解析され、ヒトHが、どの作業をどの時間帯で行い(滞留時間)、どの時間帯では作業を行わず、移動等を行っていたり(移動時間)、撮影範囲外の位置にいたりしたかを、特定されたヒトの動作の変化点に従い解析することができる。ヒトの動作の変化点は、ヒトが所定の機械の前に到着した時刻、離脱した時刻、その他の情報に従い特定することができる。図2の右下のバー表示は、作業(4)〜(8)に関する作業時刻(開始時刻、終了時刻を含む)を示している。このようなバー表示は、表示PC17の表示画面にも表示することができる。
In this way, when the video data is obtained by the
本実施の形態では、ヒト監視カメラ11、又は外付けのコントローラにより作業者検出手段が構成される。作業者検出手段としてのヒト監視カメラ11は、取得した画像の中の作業者を検出するもので、予め、作業者の画像を学習した深層学習ネットワークを含むことができる。この作業者検出手段により、撮像画像の中で作業者が検出される。検出された位置から、作業者が所定の位置に存在するか否か、すなわち、作業箇所への入場時刻、退場時刻が検出される。本実施の形態で、撮像画像を複数の方向から取得し、それぞれの2次元画像内での作業者の存在位置(視点の方向)が分かり、その方向の交差位置が、3次元空間における作業者の存在位置として検出される。この複数の画像から作業者の存在位置を検出する手法は、奥行きの検出精度を高くしたいケースに有効である。また、作業者が、設備、その他の物体の影となり、画像内に移らないケースに、複数の画像を用いることで検出を可能とするという効果もある。
In the present embodiment, the worker detection means is configured by the
図3を参照して、モノ監視カメラ12及び機械監視カメラ13の動作を概略的に説明する。図2では、一例として3台のモノ監視カメラ12(12A〜12C)及び3台の機械監視カメラ13(13A〜13C)が配置された例を説明しているが、これはあくまでも一例であり、モノ監視カメラ12及び機械監視カメラ13の数は特定の数には限定されない。また、モノ監視カメラ12は、特定の形式には限定されないが、好適には、図3に概略的に示すように、モノ(部品等)を載置したカート21に付された二次元コード22を撮影するカメラとすることができる。
The operation of the
カート21は、例えば図3に示すように、複数の機械(11)〜(13)の間で移動する。例えば、カート21が、機械(11)よりも前工程を終了し、機械(11)の前まで移動すると、カート21に付された二次元コード22がモノ監視カメラ12Aにより撮像される。これにより、カート21の機械(11)への到着が検知される。
The
機械(11)での作業が終わり、カート21が機械(11)から離れ、次の機械(12)に向けて移動すると、モノ監視カメラ12Aは、二次元コード22が撮像されなくなったことを検知することでカート21の機械(11)からの離脱を検知する。カート21が機械(12)の前まで到着すると、カート21に付された二次元コード22がモノ監視カメラ12Bにより撮像される。これにより、カート21の機械(12)への到着が検知される。このような動作が繰り返されることにより、モノ監視カメラ12の映像データに基づき、カート21すなわちモノ(部品等)の移動を検知することができる。
When the work on the machine (11) is completed, the
なお、モノの動作の変化点は、ある機械における着工時刻、離脱時刻により特定することができる(図4参照)。上位の機械(工程)から下位の機械(工程)への移動時間(待ち時間)は、上位の機械からの離脱時刻と、下位の機械への到着時刻との差により演算することができる。なお、機械の動作の変化点も、同様に、ある機械が特定の動作を開始した時刻、終了した時刻により特定することができる。 The change point of the movement of the object can be specified by the start time and the departure time of a certain machine (see FIG. 4). The travel time (waiting time) from the upper machine (process) to the lower machine (process) can be calculated by the difference between the departure time from the upper machine and the arrival time to the lower machine. Similarly, the change point of the operation of the machine can be specified by the time when a certain machine starts a specific operation and the time when a specific operation ends.
また、このカート21に載置された部品中間製品は、配膳棚でカート21上に部品が載置される際に、カート番号・部品番号・部品番号が紐づけされた製品製造番号等と対応関係を与えられる。対応関係は、二次元コード22にも情報として与えられ、二次元コード22が読まれることにより、これらの対応関係の情報が自動収集される。この一連の自動収集により、カート21、部品、作業者、ショップ、変化時刻が紐づけされる。この紐づけが、他のショップ、他の製品、他の作業者の間でもなされる。その結果、特定の時間に、部品、作業者、設備・機器・ジグが、どの位置に存在するか認識され、そのベクトルデータが格納手段に格納される。また、状態変化の時刻の検出は、必ずしもTVカメラで撮像した画像によるものでなくてもよく、他のセンサ、既に設置されたセンサ等の情報と組み合わされてものであっても良い。
Further, the parts intermediate product placed on the
図5のフローチャートを参照して、実施の形態に係る監視システム1の動作を説明する。このシステムにおいて、ヒト監視カメラ11、モノ監視カメラ12、及び機械監視カメラ13は、それぞれ独立に動作して、ヒト、モノ、及び機械の動作を監視する。得られた映像データは、転送PC14に転送されて読み込まれ、転送PC14は、所定のデータ圧縮動作を映像データに施した後、当該映像データを収集・蓄積サーバ15に転送する。収集・蓄積サーバ15は、転送されたデータを受信し格納する。収集・蓄積サーバ15に蓄積されたデータは、適宜解析サーバ16に送信され、解析の対象とされる。
The operation of the
解析サーバ16は、格納されたデータに基づいて、前述のようなヒト、モノ、機械の変化点を特定し、変化点が生じた時刻、更には変化点が生じた場所を特定し、図示しない記憶部にそれらの情報を格納する。複数の変化点が特定されることで、ヒト及び、モノの各機械での有意な動作開始の時刻、動作終了の時刻を特定することができる。
The
変化点、及び変化点が生じた時刻及び場所が特定されると、各工程におけるヒト及びモノの状態が分かり、これにより、各工程が要している時間が分かると共に、複数の工程のうち、どの工程において、リードタイムを短縮する余地(余裕箇所)があるかが判定され得る。すなわち、解析サーバ16は、特定された変化点、及び有意な動作が生じた時点のデータに基づき、各工程における余裕箇所を判定する余裕箇所判定手段として機能し得る。余裕箇所に関しては、表示PC17において可視的に表示することができる。
When the change point and the time and place where the change point occurred are specified, the state of people and things in each process can be known, thereby knowing the time required for each process and among a plurality of processes. In which process, it can be determined whether there is room (margin) for shortening the lead time. That is, the
図6は、解析サーバ16における解析結果を、表示PC17のディスプレイに表示する場合の表示画面の一例である。この図6の表示例では、横軸を時間軸とし、異なる作番毎に、製造計画のタイムラインと、実際の作業(実績)における各工程(工程1〜3)のタイムラインとを、バー表示により対比するガントチャートである。この表示によると、各作業日における、製造計画と実際の作業との相違が可視化される。この画面表示によれば、どの作番がどの工程にいるのかが可視化され、何日もかけて実行される大工程の中の進捗が、小工程毎に把握され得る。
FIG. 6 is an example of a display screen when the analysis result in the
ここに示したように、本実施の形態の監視システムは、製造計画の進捗を監視する際に、大きな効果を発揮する。製造計画の進捗が遅れるということは、人件費、設備の減価償却費等が上積みされるため、製造コストの増加に繋がる。これが進捗管理の効果が大きい理由となる。また、大きな遅延が生じた際、製造計画(製造スケジュール)を再度見直すことにより、適切な製造アウトプットを得ることができる。製造計画の再計画(リスケジューリング)が必要な理由となる。この際、遅延の大きさは、例えば、初期に設定したリードタイムの20%増、あるいは、30%増、というようにあらかじめ設定しておくことができる。あるいは、例えば、ボトルネックとなっているような特定の工程のタクトが20%増、あるいは、30%増、というようにあらかじめ設定しておくこともできる。すなわち、再計画の必要な時期を決める際に、本実施の形態の監視システムが重要な役割を果たすことになる。言い換えると、本発明の監視システムとスケジューラを組み合わせて使用することで、更に大きな効果を生むことができる。この際、試用するスケジューラは、積み上げ式の自動スケジューラであっても、何らかの最適化アルゴリズムを搭載したスケジューラであっても、一定の効果が期待できる。 As shown here, the monitoring system of the present embodiment is very effective in monitoring the progress of the manufacturing plan. If the progress of the manufacturing plan is delayed, labor costs, depreciation costs of equipment, etc. will be added, which will lead to an increase in manufacturing costs. This is the reason why the progress management is very effective. Further, when a large delay occurs, an appropriate manufacturing output can be obtained by reviewing the manufacturing plan (manufacturing schedule) again. This is the reason why replanning (rescheduling) of the manufacturing plan is necessary. At this time, the magnitude of the delay can be set in advance, for example, 20% or 30% increase of the initially set lead time. Alternatively, for example, the tact of a specific process that is a bottleneck can be set in advance to increase by 20% or 30%. That is, the monitoring system of this embodiment plays an important role in determining the time when replanning is necessary. In other words, by using the monitoring system of the present invention in combination with the scheduler, a larger effect can be produced. At this time, a certain effect can be expected regardless of whether the scheduler to be tried is a stacked automatic scheduler or a scheduler equipped with some optimization algorithm.
図7は、解析サーバ16における解析結果を、表示PCのディスプレイに表示する場合の表示画面の別の例である。この図7の上側の表示例では、横軸を経過時間とし、異なる作番毎の各工程(工程1〜3)の作業時間の内訳を、バーの長さとして表示されている。この表示によれば、各作番における合計の作業時間のばらつきが可視化されると共に、各工程の所要時間のバラつきも可視化される。これにより、長い作業時間を要した作番を把握し、その原因を追究することが容易になる。
FIG. 7 is another example of the display screen when the analysis result in the
また、図7の下側の表示例では、横軸を経過時間としているが、複数のカート毎に、異なる工程間の移動時間をバーの長さで表示している。この表示によれば、どのカートのどの工程間において移動時間が長くなったのかを可視化することができ、その原因の追究を容易にすることができる。 Further, in the display example on the lower side of FIG. 7, the horizontal axis is the elapsed time, but the movement time between different processes is displayed by the length of the bar for each of a plurality of carts. According to this display, it is possible to visualize which process of which cart the movement time is long, and it is possible to easily investigate the cause.
図8は、各工程(工程1〜3)における稼働時間と被稼働時間とをグラフ化したものである。単一の工程のみに着目すれば、全体に対する稼働時間の割合(稼働率)が多いほど、作業効率は高まっていることになる。しかし、ある工程で高い稼働率が高い一方で、隣接する工程で稼働率が低い場合、工程全体としては作業効率の向上は図れない。このように、隣接する工程間で稼働率に差が出ている場合には、作業においてボトルネックが生じていると判断することができる。ボトルネックが生じた場合には、人員配置などを含む製造計画を変更することで、作業効率を向上させることができる。 FIG. 8 is a graph showing the operating time and the operating time in each process (processes 1 to 3). Focusing only on a single process, the higher the ratio of operating time to the whole (operating rate), the higher the work efficiency. However, if the operating rate is high in a certain process and the operating rate is low in an adjacent process, the work efficiency of the entire process cannot be improved. In this way, when there is a difference in the operating rate between adjacent processes, it can be determined that a bottleneck has occurred in the work. If a bottleneck occurs, work efficiency can be improved by changing the manufacturing plan including staffing.
なお、以上で説明した実施の形態において、セキュリティ上、ユーザが場内の情報(本実施の形態の取得後の撮像データの処理、人、モノ、機器の状態変化の時刻検出、その後のデータ加工の処理結果の情報)をクラウド上に上げることを避けたいというケースがある。この場合、変転時刻、製品情報、その他の情報を予め、ユーザが設定したパスワードでエンコード、デコードすることができる。これにより、これらの情報を、場内では、内容が人により意味を持つテキスト情報として取り扱い、クラウド上では、パスワードがないと意味を持たない情報として取り扱うことができる。 In addition, in the embodiment described above, for security reasons, the user can perform information in the venue (processing of imaging data after acquisition of this embodiment, time detection of state change of people, objects, and devices, and subsequent data processing). There are cases where you want to avoid uploading processing result information) to the cloud. In this case, the change time, product information, and other information can be encoded and decoded with a password set by the user in advance. As a result, these pieces of information can be treated as text information whose contents are more meaningful to people in the hall, and as meaningless information without a password on the cloud.
また、クラウド上のデータを使用する前後でハッシュ関数を用いた識別をすることで、クラウド上のデータが、改ざんされていないことを担保することができ、ユーザデータのセキュリティ確保を提供できる。この手法は、事前のハッシュ値を格納データに加えて次のハッシュ値を生成することで、改ざん作業が多くの時間を有することになり、実質的に改ざんができない状況を提供し、結果としてセキュリティをさらに向上することができる、ブロックチェーン技術を利用したものであっても良い。 Further, by performing identification using a hash function before and after using the data on the cloud, it is possible to guarantee that the data on the cloud has not been tampered with, and it is possible to provide security of the user data. This technique adds a pre-hash value to the stored data to generate the next hash value, which means that the tampering work takes a lot of time, providing a situation where tampering is virtually impossible, resulting in security. It may be the one using the blockchain technology which can further improve.
また、TVカメラの画像を利用するシステムは、作業者が撮像されること自体に作業者が抵抗感を感じたり、個人情報が漏洩することを懸念したりすることがあり得る。これに対して、初期の段階で、撮像画像を例えばフーリエ変換等の画像変換を施し、ヒトの目では判断できない情報に変換する手段をコントローラ等に設けることができる。その後の学習等の工程において、このような変換画像を用いることで、その後の、作業者検出などの工程においても同様の画像変換を実行可能である。 Further, in a system using an image of a TV camera, the worker may feel resistance to the image taken by the worker itself, or may be concerned about leakage of personal information. On the other hand, at the initial stage, the controller or the like can be provided with a means for performing image conversion such as Fourier transform on the captured image and converting it into information that cannot be determined by the human eye. By using such a converted image in a subsequent step such as learning, it is possible to execute the same image conversion in a subsequent step such as worker detection.
このようにして検出された作業完了時刻を含む各種時刻のデータを、製品毎に取得することで、その製品の着手から完了までのリードタイムを各作業ごとの作業時間として分析することができる。また、例えば、一日の作業時間の終了時に、作業の進捗、部品等の配置位置などをまとめて、レポートを作ることができる。 By acquiring various time data including the work completion time detected in this way for each product, the lead time from the start to the completion of the product can be analyzed as the work time for each work. Further, for example, at the end of a day's work time, a report can be created by summarizing the progress of the work, the arrangement position of parts, and the like.
このようにして検出された離着時刻や着手完了時刻等の各種時刻データの活用システム、方法に関して、以下に説明する。このシステムによれば、特定の製品に着目して、各作業の進行時間を記述することができる。特定製品、又は特定ショップで、左記進行時間のばらつきを算出すると、作業者により、あるいは、その他の外乱によりそのばらつきが大きい場合は、作業が成熟していないと判断することができる。その場合は、例えば、
・特定作業の作業者を、作業熟練度の高いメンバーに変更する
・ばらつきの原因を分析し、作業を分離するジグを準備する
等の対応策を施すことができる。
The system and method for utilizing various time data such as the takeoff / landing time and the start completion time detected in this way will be described below. According to this system, it is possible to describe the progress time of each work by focusing on a specific product. When the variation in the progress time shown on the left is calculated for a specific product or a specific shop, it can be determined that the work is not mature if the variation is large due to the operator or other disturbance. In that case, for example
・ Change the worker of a specific work to a member with a high degree of work skill. ・ Analyze the cause of variation and take countermeasures such as preparing a jig to separate the work.
また、上記の場合は、着手完了時間のばらつき状況をモニタリングすることで、作業の質の劣化をリアルタイムで知ることができる。 Further, in the above case, the deterioration of the work quality can be known in real time by monitoring the variation state of the start completion time.
また、本実施の形態の監視システム、生産計画システム、図6〜図8に示した表示システムを有した環境をクラウド上に準備しておくことで以下に示す新たな価値を生むことができる。例えば、ヒトの変化点をより精度よく、高い時間分解能で検出できるアルゴリズムが開発された際、このアルゴリズムだけを変更することで、システム全体の価値を向上できる。例えば、プロセス変更時のプロセスをより細かに分解できるため、それらの組み合わせを変更することで、プロセス再設計によるリードタイム短縮を一段高精度にすることができる。このように、監視システム、あるいは生産計画システム、あるいは表示システムを持つことにより、容易に、迅速に、新しい技術、プログラムを現場に適用することができる。言い換えると、本発明は、生産現場の効率を向上するための「基盤;プラットフォーム」を提供するという側面を持つものである。 Further, by preparing an environment having the monitoring system, the production planning system, and the display system shown in FIGS. 6 to 8 on the cloud of the present embodiment, the following new value can be created. For example, when an algorithm that can detect human change points more accurately and with high time resolution is developed, the value of the entire system can be improved by changing only this algorithm. For example, since the process at the time of process change can be decomposed into smaller pieces, the lead time can be shortened by redesigning the process with higher accuracy by changing the combination thereof. In this way, by having a monitoring system, a production planning system, or a display system, new technologies and programs can be easily and quickly applied to the site. In other words, the present invention has an aspect of providing a "base; platform" for improving the efficiency of the production site.
さらに、このように現場適用した技術、プログラムのそれぞれの使用時間をカウントしておくことで、それらの技術の総活用時間を計測することができる。この活用時間に応じて、システム提供者に対する報酬を機械で自動に計算できる。これは、事務処理の機械化であるが、製造現場においても、このような事務処理の機械化、効率化はコスト低減という点で、重要な意味を持つ。また、この形の活用時間計測システムを持ち、活用時間に応じた報酬を支払うことにより、一括の支払いでシステムを導入することに比較して、一時的な現金支払い額を減らすことになり、いわゆるキャッシュフローが良くなるという効果が期待できる。 Furthermore, by counting the usage time of each of the technologies and programs applied in the field in this way, it is possible to measure the total utilization time of those technologies. The reward for the system provider can be automatically calculated by the machine according to this utilization time. This is the mechanization of paperwork, but even at the manufacturing site, such mechanization and efficiency improvement of paperwork is important in terms of cost reduction. In addition, by having this type of utilization time measurement system and paying a reward according to the utilization time, the temporary cash payment amount will be reduced compared to introducing the system with a lump sum payment, so-called. The effect of improving cash flow can be expected.
また、本監視システムによれば、平均的な作業時間、想定した作業完了時刻から、逸脱したことを検出、発報することができる。単なる監視カメラ等を用いた遠隔からの監視システムでは、監視者は、撮影中の画像を監視し続ける必要があるのに対して、想定から逸脱時にのみにシステムから報告を受けることができるという効果が期待できる。 Further, according to this monitoring system, it is possible to detect and issue a deviation from the average work time and the assumed work completion time. In a remote monitoring system using a mere surveillance camera, the observer needs to continue to monitor the image being shot, but the effect is that the system can receive a report only when the image deviates from the assumption. Can be expected.
[効果]
以上説明したように、本実施の形態のシステムによれば、ヒト、モノ、機械の動作がカメラ11〜13により監視され、映像データにおける変化点に従い、ヒト、モノ、機械の有意な動作の変化を検知して、解析サーバ16において解析し、その結果を可視化して提示することができる。したがって、ヒト、モノ、機械の動きを、オペレータが目視等で監視し、逐一入力を行うことなく、条件設定に手間をかけることなく、監視を実行することができ、製造工程を的確に且つ低コストで監視し、作業効率を向上させることができる。換言すれば、管理監督者の目で感覚的に判断している事項を、カメラ11〜13による撮像のみで同等の対応が可能となる。その結果、専任のシステム担当者を配置しなくても、本システムにより製造現場の監視を効率良く実行することができる。なお、製造現場の可視化が行われることで、見える化の実現が図られ、その先にある経営課題解決までを、ワンストップで提供することが可能になる。
[effect]
As described above, according to the system of the present embodiment, the movements of people, things, and machines are monitored by the
使用されるカメラ11〜13は、適宜設置場所を変更したり、カメラの種類を変更したり、又は数を増やしたりすることができ、製造現場の変更に応じた対応が容易である。具体的には、このシステムにより、ヒトによる組立作業、ヒトによる目視検査、ヒトによるモノの搬送、ヒトによる機械の操作状況など、その状態あるいは結果の記録を残すことが容易でない現場の状態あるいは結果を記録することができる。この結果、その状態を示すデータを記録する仕組みを持っている自動機で構成された工場現場と同等に、ヒトによる作業現場の状態を記録することができる。
The
[その他]
本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
[others]
The present invention is not limited to the above-mentioned examples, and includes various modifications. For example, the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations. Further, it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. Further, it is possible to add / delete / replace a part of the configuration of each embodiment with another configuration.
1…監視システム、 11…ヒト監視カメラ、 12…モノ監視カメラ、 13…装置監視カメラ、 14…転送コンピュータ(PC)、 15…収集・蓄積サーバ、 16…解析サーバ、 17…表示コンピュータ(PC)、 21…カート、 22…二次元コード。 1 ... Surveillance system, 11 ... Human surveillance camera, 12 ... Mono surveillance camera, 13 ... Device surveillance camera, 14 ... Transfer computer (PC), 15 ... Collection / storage server, 16 ... Analysis server, 17 ... Display computer (PC) , 21 ... Cart, 22 ... Two-dimensional code.
Claims (3)
前記ヒト、モノ又は装置を監視するカメラと、
前記カメラにより得られた映像データを解析する解析部と、
前記解析部による解析結果を表示する表示部と
を備え、
前記解析部は、前記映像データにおける変化点を検出し、前記変化点に基づいて前記ヒトあるいはモノあるいは装置の状態を解析する
ことを特徴とする監視システム。 In a monitoring system that monitors people, goods, or equipment at the manufacturing site
A camera that monitors the person, thing, or device,
An analysis unit that analyzes the video data obtained by the camera,
It is provided with a display unit that displays the analysis result by the analysis unit.
The analysis unit is a monitoring system characterized in that it detects a change point in the video data and analyzes the state of the person, an object, or a device based on the change point.
前記カメラが得られた映像データから前記ヒト、前記モノ、及び前記装置の前記変化点を検出する変化点検出手段と、
複数の前記変化点の時刻データから、前記ヒト、前記モノ、又は前記装置の有意な動作が生じた時点を特定する動作検出手段と
を含む、請求項1に記載の監視システム。 The analysis unit
A change point detecting means for detecting the change point of the person, the thing, and the apparatus from the video data obtained by the camera.
The monitoring system according to claim 1, further comprising a motion detecting means for identifying a time point at which a significant motion of the person, the object, or the device occurs from the time data of the plurality of change points.
The monitoring system according to claim 2, further comprising a margin portion determining means for determining a margin portion as a room for shortening the lead time in each process based on the detection result of the operation detecting means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020103355A JP7493390B2 (en) | 2020-06-15 | 2020-06-15 | Monitoring system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020103355A JP7493390B2 (en) | 2020-06-15 | 2020-06-15 | Monitoring system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024082516A Division JP2024103539A (en) | 2024-05-21 | Monitoring system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021196909A true JP2021196909A (en) | 2021-12-27 |
JP7493390B2 JP7493390B2 (en) | 2024-05-31 |
Family
ID=79195637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020103355A Active JP7493390B2 (en) | 2020-06-15 | 2020-06-15 | Monitoring system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7493390B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7375240B1 (en) | 2023-03-06 | 2023-11-07 | 株式会社 日立産業制御ソリューションズ | Work management device, work management method, and work management program |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4670455B2 (en) | 2005-04-22 | 2011-04-13 | オムロン株式会社 | Process abnormality detection system |
US9377778B2 (en) | 2010-02-17 | 2016-06-28 | The Boeing Company | Integration of manufacturing control functions using a multi-functional vision system |
JP5509062B2 (en) | 2010-12-28 | 2014-06-04 | 株式会社日立パワーソリューションズ | Production simulation equipment |
JP2013003688A (en) | 2011-06-14 | 2013-01-07 | Panasonic Corp | Defective factor detection device and defective factor detection method |
US20140350708A1 (en) | 2011-09-05 | 2014-11-27 | Kobayashi Manufacture Co., Ltd. | Work process management system, work process management terminal device, computer program, and work process management method |
JP6717572B2 (en) | 2015-06-22 | 2020-07-01 | 株式会社ブロードリーフ | Work analysis system and work analysis method |
JP6693710B2 (en) | 2015-06-22 | 2020-05-13 | 株式会社ブロードリーフ | Video analysis apparatus and video analysis method |
JP6824838B2 (en) | 2017-07-07 | 2021-02-03 | 株式会社日立製作所 | Work data management system and work data management method |
JP2019139570A (en) | 2018-02-13 | 2019-08-22 | 株式会社東芝 | Determination device, determination method and program |
JP6805199B2 (en) | 2018-03-26 | 2020-12-23 | 株式会社東芝 | Equipment monitoring system |
JP6715282B2 (en) | 2018-03-26 | 2020-07-01 | 株式会社東芝 | Quality monitoring system |
-
2020
- 2020-06-15 JP JP2020103355A patent/JP7493390B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7375240B1 (en) | 2023-03-06 | 2023-11-07 | 株式会社 日立産業制御ソリューションズ | Work management device, work management method, and work management program |
Also Published As
Publication number | Publication date |
---|---|
JP7493390B2 (en) | 2024-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190138676A1 (en) | Methods and systems for automatically creating statistically accurate ergonomics data | |
US11722642B2 (en) | Machine-vision system and method for remote quality inspection of a product | |
JP6824838B2 (en) | Work data management system and work data management method | |
US11449980B2 (en) | System and method for combined automatic and manual inspection | |
EP3270247A2 (en) | System and method for generating enhanced stereographic videos of aircraft build processes | |
US11360456B2 (en) | Apparatus and method for identifying differences between a real installation and a digital twin of the installation | |
KR101752554B1 (en) | System and method for nuclear fuel assembly deformation measurement | |
US11521120B2 (en) | Inspection apparatus and machine learning method | |
KR102507591B1 (en) | Product quality management system and method | |
JP2012022602A (en) | Operation improvement analysis system | |
US20220137609A1 (en) | Production information management system and production information management method | |
Putz et al. | A multi-sensor approach for failure identification during production enabled by parallel data monitoring | |
CN113767407A (en) | Information processing device, information processing method, information processing program, and recording medium | |
JP2021196909A (en) | Monitoring system | |
Isaka et al. | Next generation of global production management using sensing and analysis technology | |
JP2020205027A (en) | Data extraction device, method of controlling the same, information processing program, and recording medium | |
JP2024103539A (en) | Monitoring system | |
WO2020250501A1 (en) | Data extraction device, control method for data extraction device, information processing program, and recording medium | |
JP2023088155A (en) | Monitoring system | |
JP7181257B2 (en) | Cause analysis system and method | |
JP2023088122A (en) | Monitoring system | |
Viharos et al. | Vision based, statistical learning system for fault recognition in industrial assembly environment | |
CN112558554A (en) | Task tracking method and system | |
Shaji et al. | Artificial intelligence for automating and monitoring safety, efficiency and productivity in industrial facilities | |
JP7331572B2 (en) | Manufacturing cost calculation forecast system, manufacturing cost calculation forecast method, and manufacturing cost calculation forecast program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230215 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20230801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20230801 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240521 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7493390 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |