JP2020009141A - 機械学習装置及び方法 - Google Patents
機械学習装置及び方法 Download PDFInfo
- Publication number
- JP2020009141A JP2020009141A JP2018129546A JP2018129546A JP2020009141A JP 2020009141 A JP2020009141 A JP 2020009141A JP 2018129546 A JP2018129546 A JP 2018129546A JP 2018129546 A JP2018129546 A JP 2018129546A JP 2020009141 A JP2020009141 A JP 2020009141A
- Authority
- JP
- Japan
- Prior art keywords
- image
- posture
- machine learning
- label
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
図1は、本実施の形態によるエッジコンピューティング方式の業務支援システム1を示す。この業務支援システム1は、製造・物流の現場における業務改善を支援するシステムであり、管理領域となる現場(例えば、物の製造工場)側のシステム(以下、これを第1のシステムと呼ぶ)2と、データセンタ側のシステム(第2のシステム)3と、管理クライアント4とを備えて構成されている。
図2は、本業務支援システム1の論理構成を示す。第1のシステム2のセンサ群12を構成する各カメラ10は、撮影映像の映像データを送信するためのデータ送信モジュール10Aを備える。なお、「モジュール」は、CPU(Central Processing Unit)等のプロセッサがプログラムを実行することよって実現される機能の単位である。「モジュール」を「手段」、「機能」、「ブロック」、「エレメント」、「デバイス」等と言い換えてもよい。モジュールは、特定用途のIC等ハードウェアによって実行されてもよい。この場合、コントローラには特定用途のICを包含するものとして理解されてよい。
図3は、図2に示した各アプリケーションプログラム間における処理の流れを示す。各カメラ10のデータ送信モジュール10Aは、撮影映像の映像データをエッジコンピュータ13に送信する(S1)。なお、これら映像データには、フレームごとに、その撮影時刻を表す情報が含まれる。
図6は、サーバ15のデータ管理アプリ42のより詳細な構成を示す。この図6からも明らかなように、データ管理アプリ42において、学習モジュール42Bは、ラベル別教師データ格納部50及び機械学習部51を備えて構成され、評価モジュール42Cはタイミング制御部52、行動定義管理部53及び分類結果シーケンス評価部54を備えて構成される。
図12は、本業務支援システム1の導入時にサーバ15の学習モジュール42Bの機械学習部51について実行される「チューニング」の流れを示す。
図13は、上述のステップS24において機械学習部51により実行される姿勢分類処理の処理手順を示す。なお図13では、組立作業エリアL11(図4)に対する姿勢分類処理の処理手順を示している。
以上のように本実施の形態の業務支援システム1では、分類結果評価画面80において、行動定義情報に基づき予測される俯瞰画像W内の作業員の姿勢の姿勢ラベルと、機械学習部51により分類されたその俯瞰画像W内の作業員の姿勢の姿勢ラベルとが異なる俯瞰画像Wについてアラート(矢印マーク83A)を表示すると共に、その俯瞰画像Wについて姿勢ラベルが修正された場合には、その俯瞰画像Wの画像データ及びその姿勢ラベルを教師データとして機械学習部51が再学習を行う。
なお上述の実施の形態においては、本発明を製造・物流の現場における業務改善を支援する業務支援システム1に適用するようにした場合について述べたが、本発明はこれに限らず、要は、AIを利用する種々のシステムに広く適用することができる。
Claims (10)
- 画像内の人物の姿勢を機械学習する機械学習装置において、
前記機械学習を実行し、当該機械学習により得られた予測モデルを用いて、映像を構成する各画像内の人物の姿勢を既定のいずれかの姿勢に分類する機械学習部と、
行動ごとの前記人物の姿勢の変化の流れを表す行動定義情報を管理し、前記行動定義情報に基づいて、前記機械学習部による前記画像ごとの前記人物の姿勢の分類結果を評価する評価部と
を備え、
前記機械学習部は、
前記映像を構成する各前記画像に対して、当該画像内の前記人物の姿勢の前記分類結果に応じたラベルをそれぞれ付与し、
前記評価部は、
前記行動定義情報に基づき予測される姿勢と異なる姿勢の前記ラベルが前記機械学習部により付与された前記画像を不連続画像として検出し、
前記不連続画像に付与された前記ラベルを当該不連続画像と対応付けて表示し、
前記不連続画像の前記ラベルが修正された場合には、修正された新たな前記ラベルと、当該不連続画像の画像データとを教師データとして前記機械学習部に与え、当該教師データを用いた再学習を前記機械学習部に実行させる
ことを特徴とする機械学習装置。 - 前記評価部は、
前記映像の各前記画像とそれぞれ対応付けられた複数の線分を、当該画像内における前記人物の前記行動に応じた色で、時系列の順番で帯状に並べて表示する
ことを特徴とする請求項1に記載の機械学習装置。 - 前記評価部は、
前記帯状に並べて表示された前記線分のうちの指定された範囲内の各前記線分にそれぞれ対応する前記画像を時系列の順番に並べて表示すると共に、当該画像のうちの前記不連続画像に対応させてアラートを表示する
ことを特徴とする請求項2に記載の機械学習装置。 - 前記評価部は、
前記機械学習部により前記不連続画像に付与された前記ラベルに加えて、前記行動定義情報に基づき予測される当該不連続画像における前記人物の姿勢の前記ラベルを、当該不連続画像に対応付けて表示する
ことを特徴とする請求項3に記載の機械学習装置。 - 前記評価部は、
前記不連続画像を、前記人物の動作状況を考慮し又は時間を考慮して検出する
ことを特徴とする請求項1に記載の機械学習装置。 - 画像内の人物の姿勢を機械学習する機械学習装置により実行される機械学習方法において、
前記機械学習を実行し、当該機械学習により得られた予測モデルを用いて、映像を構成する各画像内の人物の姿勢を既定のいずれかの姿勢に分類する第1のステップと、
行動ごとの前記人物の姿勢の変化の流れを表す行動定義情報に基づいて、前記予測モデルを用いた前記画像ごとの前記人物の姿勢の分類結果を評価する第2のステップと
を備え、
前記第1のステップでは、
前記映像を構成する各前記画像に対して、当該画像内の前記人物の姿勢の前記分類結果に応じたラベルをそれぞれ付与し、
前記第2のステップでは、
前記行動定義情報に基づき予測される姿勢と異なる姿勢の前記ラベルが前記第1のステップで付与された前記画像を不連続画像として検出し、
前記不連続画像に付与された前記ラベルを当該不連続画像と対応付けて表示し、
前記不連続画像の前記ラベルが修正された場合には、修正された新たな前記ラベルと、当該不連続画像の画像データとを教師データとして、当該教師データを用いた再学習を実行する
ことを特徴とする機械学習方法。 - 前記第2のステップでは、
前記映像の各前記画像とそれぞれ対応付けられた複数の線分を、当該画像内における前記人物の前記行動に応じた色で、時系列の順番で帯状に並べて表示する
ことを特徴とする請求項6に記載の機械学習方法。 - 前記第2のステップでは、
前記帯状に並べて表示された前記線分のうちの指定された範囲内の各前記線分にそれぞれ対応する前記画像を時系列の順番に並べて表示すると共に、当該画像のうちの前記不連続画像に対応させてアラートを表示する
ことを特徴とする請求項7に記載の機械学習方法。 - 前記第2のステップでは、
前記予測モデルに基づいて前記不連続画像に付与された前記ラベルに加えて、前記行動定義情報に基づき予測される当該不連続画像における前記人物の姿勢の前記ラベルを、当該不連続画像に対応付けて表示する
ことを特徴とする請求項8に記載の機械学習方法。 - 前記第2のステップでは、
前記不連続画像を、前記人物の動作状況を考慮し又は時間を考慮して検出する
ことを特徴とする請求項6に記載の機械学習方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018129546A JP6935368B2 (ja) | 2018-07-06 | 2018-07-06 | 機械学習装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018129546A JP6935368B2 (ja) | 2018-07-06 | 2018-07-06 | 機械学習装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020009141A true JP2020009141A (ja) | 2020-01-16 |
JP6935368B2 JP6935368B2 (ja) | 2021-09-15 |
Family
ID=69151749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018129546A Active JP6935368B2 (ja) | 2018-07-06 | 2018-07-06 | 機械学習装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6935368B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111708913A (zh) * | 2020-08-19 | 2020-09-25 | 腾讯科技(深圳)有限公司 | 一种标签生成方法、设备及计算机可读存储介质 |
CN111724374A (zh) * | 2020-06-22 | 2020-09-29 | 林晨 | 分析结果的评估方法及终端 |
US11409951B1 (en) | 2021-09-24 | 2022-08-09 | International Business Machines Corporation | Facilitating annotation of document elements |
WO2022234692A1 (ja) * | 2021-05-06 | 2022-11-10 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理方法、情報処理装置およびプログラム |
WO2023058433A1 (ja) * | 2021-10-06 | 2023-04-13 | ソニーグループ株式会社 | 学習装置、学習方法、センシングデバイス及びデータ収集方法 |
WO2023148968A1 (ja) * | 2022-02-07 | 2023-08-10 | 日本電気株式会社 | 画像処理システム、画像処理方法、およびコンピュータ可読媒体 |
CN117075515A (zh) * | 2023-09-05 | 2023-11-17 | 江苏芯安集成电路设计有限公司 | 基于视觉分析调整飞行姿态的单片机控制系统 |
JP7424066B2 (ja) | 2020-01-20 | 2024-01-30 | 株式会社大林組 | 地質評価システム、地質評価方法及び地質評価プログラム |
WO2024047716A1 (ja) * | 2022-08-29 | 2024-03-07 | 富士通株式会社 | 機械学習プログラム、機械学習方法および情報処理装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150294143A1 (en) * | 2014-04-10 | 2015-10-15 | GM Global Technology Operations LLC | Vision based monitoring system for activity sequency validation |
WO2017150211A1 (ja) * | 2016-03-03 | 2017-09-08 | コニカミノルタ株式会社 | 行動認識装置及び行動学習装置並びに行動認識プログラム及び行動学習プログラム |
JP2018025932A (ja) * | 2016-08-09 | 2018-02-15 | ファナック株式会社 | センサと機械学習部を備えた作業管理システム |
-
2018
- 2018-07-06 JP JP2018129546A patent/JP6935368B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150294143A1 (en) * | 2014-04-10 | 2015-10-15 | GM Global Technology Operations LLC | Vision based monitoring system for activity sequency validation |
WO2017150211A1 (ja) * | 2016-03-03 | 2017-09-08 | コニカミノルタ株式会社 | 行動認識装置及び行動学習装置並びに行動認識プログラム及び行動学習プログラム |
JP2018025932A (ja) * | 2016-08-09 | 2018-02-15 | ファナック株式会社 | センサと機械学習部を備えた作業管理システム |
Non-Patent Citations (2)
Title |
---|
UMAR IQBAL, MARTIN GARBADE, JUERGEN GALL: "Pose for Action - Action for Pose", 2017 IEEE 12TH INTERNATIONAL CONFERENCE ON AUTOMATIC FACE & GESTURE RECOGNITION (FG 2017), JPN7021003087, 30 May 2017 (2017-05-30), US, pages 438 - 445, XP033109738, ISSN: 0004566637, DOI: 10.1109/FG.2017.61 * |
鈴木 智之, 青木 義満: "行動遷移映像における姿勢特徴を中心とする学習を用いた時系列行動認識", 第23回画像センシングシンポジウム, vol. SO2-IS2-06, JPN6021030860, 7 June 2017 (2017-06-07), JP, pages 7 pages in total, ISSN: 0004566636 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7424066B2 (ja) | 2020-01-20 | 2024-01-30 | 株式会社大林組 | 地質評価システム、地質評価方法及び地質評価プログラム |
CN111724374A (zh) * | 2020-06-22 | 2020-09-29 | 林晨 | 分析结果的评估方法及终端 |
CN111724374B (zh) * | 2020-06-22 | 2024-03-01 | 智眸医疗(深圳)有限公司 | 分析结果的评估方法及终端 |
CN111708913A (zh) * | 2020-08-19 | 2020-09-25 | 腾讯科技(深圳)有限公司 | 一种标签生成方法、设备及计算机可读存储介质 |
WO2022234692A1 (ja) * | 2021-05-06 | 2022-11-10 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理方法、情報処理装置およびプログラム |
US11409951B1 (en) | 2021-09-24 | 2022-08-09 | International Business Machines Corporation | Facilitating annotation of document elements |
WO2023058433A1 (ja) * | 2021-10-06 | 2023-04-13 | ソニーグループ株式会社 | 学習装置、学習方法、センシングデバイス及びデータ収集方法 |
WO2023148968A1 (ja) * | 2022-02-07 | 2023-08-10 | 日本電気株式会社 | 画像処理システム、画像処理方法、およびコンピュータ可読媒体 |
WO2024047716A1 (ja) * | 2022-08-29 | 2024-03-07 | 富士通株式会社 | 機械学習プログラム、機械学習方法および情報処理装置 |
CN117075515A (zh) * | 2023-09-05 | 2023-11-17 | 江苏芯安集成电路设计有限公司 | 基于视觉分析调整飞行姿态的单片机控制系统 |
CN117075515B (zh) * | 2023-09-05 | 2024-04-16 | 江苏芯安集成电路设计有限公司 | 基于视觉分析调整飞行姿态的单片机控制系统 |
Also Published As
Publication number | Publication date |
---|---|
JP6935368B2 (ja) | 2021-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6935368B2 (ja) | 機械学習装置及び方法 | |
JP5602792B2 (ja) | 挙動認識システム | |
US8200011B2 (en) | Context processor for video analysis system | |
CN101542549B (zh) | 可疑行为检测系统及方法 | |
CN103004188B (zh) | 设备、系统和方法 | |
JP6817974B2 (ja) | 計算機システム | |
CN112163469B (zh) | 一种吸烟行为识别方法、系统、设备及可读存储介质 | |
CN110264495A (zh) | 一种目标跟踪方法及装置 | |
Voulodimos et al. | A threefold dataset for activity and workflow recognition in complex industrial environments | |
CN110866515A (zh) | 厂房内对象行为识别方法、装置以及电子设备 | |
KR102543064B1 (ko) | Rpa 기반 제조환경 모니터링 서비스 제공 시스템 | |
JPWO2020026643A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
WO2020171066A1 (ja) | 画像検索装置および教師データ抽出方法 | |
JP2019193019A (ja) | 作業分析装置、作業分析方法 | |
JP7446060B2 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
KR20190088087A (ko) | 움직임 정보를 이용한 인공지능 학습기반의 이동객체 영상 분류처리 방법 | |
Ngoc-Thoan et al. | Improved detection network model based on YOLOv5 for warning safety in construction sites | |
Craye et al. | Exploring to learn visual saliency: The RL-IAC approach | |
CN114266804A (zh) | 跨感测器的物体属性分析方法与系统 | |
Susarla et al. | Human weapon-activity recognition in surveillance videos using structural-RNN | |
Pham et al. | Unsupervised workflow extraction from first-person video of mechanical assembly | |
US20230076241A1 (en) | Object detection systems and methods including an object detection model using a tailored training dataset | |
KR102466433B1 (ko) | 영상 분석 기반 작업 동작 인식 장치 및 방법 | |
CN113704545A (zh) | 视频标签的挖掘方法、装置、电子设备及存储介质 | |
US20190266403A1 (en) | Server, method and wearable device for supporting maintenance of military apparatus based on binary search tree in augmented reality-, virtual reality- or mixed reality-based general object recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200702 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210729 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210810 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210825 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6935368 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |