JP2020184171A - 電子回路、ハードウェアコンポーネント、エッジ処理システム、エッジコンピューティングシステム、識別方法、識別プログラム - Google Patents
電子回路、ハードウェアコンポーネント、エッジ処理システム、エッジコンピューティングシステム、識別方法、識別プログラム Download PDFInfo
- Publication number
- JP2020184171A JP2020184171A JP2019087869A JP2019087869A JP2020184171A JP 2020184171 A JP2020184171 A JP 2020184171A JP 2019087869 A JP2019087869 A JP 2019087869A JP 2019087869 A JP2019087869 A JP 2019087869A JP 2020184171 A JP2020184171 A JP 2020184171A
- Authority
- JP
- Japan
- Prior art keywords
- identification
- electronic circuit
- unit
- reference pattern
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
図1〜図3に基づいて、実施形態1を説明する。
図1に基づいて、実施形態1に係る電子回路1aの概要を説明する。なお、実施形態1においては、製品の製造工程において当該製品を撮影した動画(時系列画像)から、不良品を識別するタスクに対して電子回路1aを適用した場合を例として、その動作等を説明する。
図2に基づいて、電子回路1aおよびカメラ2の構成の一例を説明する。図2は、電子回路1aおよびカメラ2の要部構成の一例を示すブロック図である。
電子回路1a(再学習部15)が、モデルを学習する方法の一例を説明する。
電子回路1a(判定部14)が、再学習の要否を判定する方法の一例を説明する。
(1)所定の時間が経過する前に、背景差分の累積が所定の閾値を超過した場合
(2)背景に含まれていた物体が変化した場合
電子回路1a(取得部11)が、再学習用画像7bをサンプリングする方法の一例を説明する。
電子回路1a(推定部12)が、背景を推定する方法の一例を説明する。
電子回路1a(識別部13)が、製品5aを識別する方法の一例を説明する。
電子回路1a(識別部13)が、製品5aを追跡する方法の一例を説明する。
電子回路1a(取得部11)が、画像の情報量を変更する方法の一例を説明する。
図3は、電子回路1aが実行する処理の一例を示すフローチャートである。なお、以下の説明において、カッコ書きの「〜工程」は、識別方法に含まれる各工程を表す。
電子回路1aは、その計算資源が貧弱であっても、識別環境においてスタンドアロンで画像の背景を再学習できるという効果を奏する。したがって、再学習に必要となる作業工数をかけることなく、実環境においてもモデルの性能を高く保つことができるという効果をさらに奏する。また、計算負荷が小さいため、電子回路1aを低電力で動作することができるという付加的な効果も奏する。なお、計算資源の貧弱なエッジ端末において、識別環境の変化に追随するように背景を再学習できる手法は、すべて本開示の範囲に含まれると推定できる。
図4〜図5に基づいて、実施形態2を説明する。なお、実施形態2では、前述した実施形態1に追加される構成や、実施形態1の構成とは異なる構成のみを説明する。すなわち、実施形態1において記載された構成は、実施形態2にもすべて含まれ得る(逆も同様である)。また、実施形態1において記載された用語の定義は、実施形態2においても同じである。
図4に基づいて、本開示の一態様に係るエッジ端末1bの概要を説明する。図4は、エッジコンピューティングシステム4bの構成例を示す模式図である。図4に例示されるように、エッジコンピューティングシステム4bは、例えば、エッジ端末1bと、監視対象を定点で動画撮影するカメラ2と、当該監視対象である駐車場3bとを含むシステムである。なお、エッジ端末1bとカメラ2とは、通信可能に接続されており、カメラ2が撮影した動画が、エッジ端末1bの入力として与えられる。
図5に基づいて、エッジ端末1bの構成の一例を説明する。図5は、エッジ端末1bの要部構成の一例を示すブロック図である。エッジ端末1bは、定点で記録された動画6から自動車(識別パターン)5bを識別する情報処理装置である。エッジ端末1bは、識別プログラムを実行可能でありさえすれば具体的な機器は何であってもよい。
エッジ端末1bは、その計算資源が貧弱であっても、識別環境においてスタンドアロンで画像の背景を再学習できる。したがって、再学習に必要となる作業工数をかけることなく、実環境においてもモデルの性能を高く保つことができるという効果を奏する。
実施形態1において説明した不良品を識別するタスク、および実施形態2において説明した駐車場の使用率を算出するタスク以外のタスクにも、本開示は適用可能である。例えば、建造物等の外観検査、訪問者の統計、交通量の監視など、一般的な識別タスクに広く適用できる。
電子回路1aおよびエッジ端末1bの制御ブロックは、CPU(Central Processing Unit)などのコントローラを用いてソフトウェアによって実現してもよい。すなわち、電子回路1aおよびエッジ端末1bは、各機能を実現するソフトウェアである識別プログラムの命令を実行するCPU、上記識別プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記識別プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記識別プログラムを上記記録媒体から読み取って実行することにより、本開示の一態様に係る目的の一例が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記識別プログラムは、当該識別プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。本開示の一態様は、上記識別プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本開示の一態様に係る電子回路において、前記推定部は、前記再学習された学習済みモデルを用いて、前記基準パターンを再度推定し、前記識別部は、前記再度推定された基準パターンを基準として、前記識別パターンを再度識別し、当該再度識別した結果を出力できる。
Claims (18)
- 定点で記録された時系列データをデータ記録装置から入力として取得する取得部と、
前記時系列データを構成する複数のデータにおいて不変の位置にそれぞれ出現する基準パターンを、記憶部に格納された学習済みモデルを用いて推定する推定部と、
前記推定された基準パターンを基準として、前記複数のデータにおいて異なる位置にそれぞれ出現する識別パターンを識別し、当該識別した結果を出力する識別部と、
識別環境の変化に追随するように前記基準パターンを再度推定するために、前記取得された時系列データの少なくとも一部を用いて、前記学習済みモデルを再学習する再学習部とを備えた電子回路。 - 前記推定部は、前記再学習された学習済みモデルを用いて、前記基準パターンを再度推定し、
前記識別部は、前記再度推定された基準パターンを基準として、前記識別パターンを再度識別し、当該再度識別した結果を出力することを特徴とする請求項1に記載の電子回路。 - 前記基準パターンの再学習の要否を判定する判定部をさらに備え、
前記再学習部は、前記再学習が必要と判定された場合、前記学習済みモデルを再学習することを特徴とする請求項1または2に記載の電子回路。 - 第1の時間において推定された第1の基準パターンと、第2の時間において推定された第2の基準パターンとを比較する比較部をさらに備え、
前記判定部は、前記比較によって得られる差分の累積が所定の条件を満たすか否かを確認することによって、前記再学習の要否を判定することを特徴とする請求項3に記載の電子回路。 - 第3の時間において推定された第3の基準パターンと、第4の時間において取得されたデータとの差異を特定する特定部をさらに備え、
前記識別部は、前記推定された第3の基準パターンを基準とした前記識別パターンの識別を、前記特定された差異に対して実行し、当該識別の結果を出力することを特徴とする請求項1から4のいずれか一項に記載の電子回路。 - 前記取得部は、前回の基準パターンが推定された時間から、次の基準パターンが推定された時間までに取得したデータから、前記学習済みモデルの再学習に用いる再学習用データをサンプリングすることを特徴とする請求項1から5のいずれか一項に記載の電子回路。
- 前記識別部は、前記記憶部に格納された時系列の変化を予測可能な予測モデルを用いて、前記識別パターンを追跡し、当該識別パターンを識別することを特徴とする請求項1から6のいずれか一項に記載の電子回路。
- 前記推定部は、前記学習済みモデルを用いて、前記識別環境の変化をキャンセルするように、前記複数のデータをそれぞれキャリブレーションすることにより、前記基準パターンを設定することを特徴とする請求項1から7のいずれか一項に記載の電子回路。
- 前記再学習部は、前記学習済みモデルに含まれるパラメータのうち、前記再学習を要するパラメータのみを更新することによって、当該学習済みモデルを部分的に再学習することを特徴とする請求項1から8のいずれか一項に記載の電子回路。
- 前記取得部は、各データに含まれる情報量を、前記基準パターンの推定と前記識別パターンの識別とに応じて変更することを特徴とする請求項1から9のいずれか一項に記載の電子回路。
- 前記再学習部は、前記識別パターンが位置を変化させる速度に合わせて、再学習の頻度を動的に変化させることを特徴とする請求項1から10のいずれか一項に記載の電子回路。
- 前記時系列データは、複数の画像から構成される動画であり、前記識別パターンは、前記動画において動きを伴う識別対象であり、
前記基準パターンは、前記動画において静的な背景であることを特徴とする請求項1から11のいずれか一項に記載の電子回路。 - 前記学習済みモデルは、スパース性を利用して学習されるモデルであることを特徴とする請求項1から12のいずれか一項に記載の電子回路。
- 請求項1から13のいずれか一項に記載の電子回路と、
所定のインターフェースとを備え、
前記電子回路は、当該電子回路を前記各部として動作させる機能を実装したプログラマブルロジックデバイスであることを特徴とするハードウェアコンポーネント。 - 請求項14に記載のハードウェアコンポーネントを備えたエッジ端末と、
時系列データを記録し、前記エッジ端末が備えたハードウェアコンポーネントに当該時系列データを入力として与えるデータ記録装置とを含むことを特徴とするエッジ処理システム。 - 請求項15に記載のエッジ処理システムと、
データ記録装置によって記録されるデータの発生源となるデータ環境とを含むエッジコンピューティングシステム。 - 定点で記録された時系列データをデータ記録装置から入力として取得する取得工程と、
前記時系列データを構成する複数のデータにおいて不変の位置にそれぞれ出現する基準パターンを、記憶部に格納された学習済みモデルを用いて推定する推定工程と、
前記推定された基準パターンを基準として、前記複数のデータにおいて異なる位置にそれぞれ出現する識別パターンを識別し、当該識別した結果を出力する識別工程と、
識別環境の変化に追随するように前記基準パターンを再度推定するために、前記取得された時系列データの少なくとも一部を用いて、前記学習済みモデルを再学習する再学習工程とを含む、電子回路が実行する識別方法。 - 定点で記録された時系列データをデータ記録装置から入力として取得する取得機能と
前記時系列データを構成する複数のデータにおいて不変の位置にそれぞれ出現する基準パターンを、記憶部に格納された学習済みモデルを用いて推定する推定機能と、
前記推定された基準パターンを基準として、前記複数のデータにおいて異なる位置にそれぞれ出現する識別パターンを識別し、当該識別した結果を出力する識別機能と、
識別環境の変化に追随するように前記基準パターンを再度推定するために、前記取得された時系列データの少なくとも一部を用いて、前記学習済みモデルを再学習する再学習機能とを、コンピュータに実現させる識別プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019087869A JP6944201B2 (ja) | 2019-05-07 | 2019-05-07 | 電子回路、ハードウェアコンポーネント、エッジ処理システム、エッジコンピューティングシステム、識別方法、識別プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019087869A JP6944201B2 (ja) | 2019-05-07 | 2019-05-07 | 電子回路、ハードウェアコンポーネント、エッジ処理システム、エッジコンピューティングシステム、識別方法、識別プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020184171A true JP2020184171A (ja) | 2020-11-12 |
JP6944201B2 JP6944201B2 (ja) | 2021-10-06 |
Family
ID=73045187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019087869A Active JP6944201B2 (ja) | 2019-05-07 | 2019-05-07 | 電子回路、ハードウェアコンポーネント、エッジ処理システム、エッジコンピューティングシステム、識別方法、識別プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6944201B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023039282A (ja) * | 2021-09-08 | 2023-03-20 | ソフトバンク株式会社 | 判定装置、プログラム、及び判定方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008535041A (ja) * | 2005-02-04 | 2008-08-28 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | 映像フレーム内におけるスプリアス領域の識別 |
JP2013009050A (ja) * | 2011-06-22 | 2013-01-10 | Canon Inc | 画像処理装置、画像処理方法 |
JP2017139190A (ja) * | 2016-02-05 | 2017-08-10 | 株式会社東芝 | 画像センサ及び学習方法 |
JP2018510399A (ja) * | 2015-01-22 | 2018-04-12 | 株式会社Preferred Networks | 異種環境におけるエッジデバイスのためのモデルフィルタリングおよびモデルミキシングによる機械学習 |
JP2018185635A (ja) * | 2017-04-25 | 2018-11-22 | キヤノン株式会社 | 動体検出装置およびその制御方法 |
JP2019067129A (ja) * | 2017-09-29 | 2019-04-25 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |
-
2019
- 2019-05-07 JP JP2019087869A patent/JP6944201B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008535041A (ja) * | 2005-02-04 | 2008-08-28 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | 映像フレーム内におけるスプリアス領域の識別 |
JP2013009050A (ja) * | 2011-06-22 | 2013-01-10 | Canon Inc | 画像処理装置、画像処理方法 |
JP2018510399A (ja) * | 2015-01-22 | 2018-04-12 | 株式会社Preferred Networks | 異種環境におけるエッジデバイスのためのモデルフィルタリングおよびモデルミキシングによる機械学習 |
JP2017139190A (ja) * | 2016-02-05 | 2017-08-10 | 株式会社東芝 | 画像センサ及び学習方法 |
JP2018185635A (ja) * | 2017-04-25 | 2018-11-22 | キヤノン株式会社 | 動体検出装置およびその制御方法 |
JP2019067129A (ja) * | 2017-09-29 | 2019-04-25 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |
Non-Patent Citations (1)
Title |
---|
工藤 博章 他: "多結晶シリコンPL像中の転位領域の非負値行列因子分解による推", 電子情報通信学会技術研究報告, vol. 117, no. 356, JPN6020032810, 8 December 2017 (2017-12-08), pages 13 - 18, ISSN: 0004443444 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023039282A (ja) * | 2021-09-08 | 2023-03-20 | ソフトバンク株式会社 | 判定装置、プログラム、及び判定方法 |
JP7295181B2 (ja) | 2021-09-08 | 2023-06-20 | ソフトバンク株式会社 | 判定装置、プログラム、及び判定方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6944201B2 (ja) | 2021-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11645744B2 (en) | Inspection device and inspection method | |
JP6235938B2 (ja) | 音響イベント識別モデル学習装置、音響イベント検出装置、音響イベント識別モデル学習方法、音響イベント検出方法及びプログラム | |
US20150310297A1 (en) | Systems and methods for computer vision background estimation using foreground-aware statistical models | |
CN107292918B (zh) | 基于视频在线学习的跟踪方法和装置 | |
CN102568002B (zh) | 基于纹理和运动模式融合的运动目标检测算法 | |
CN113435546A (zh) | 基于区分置信度水平的可迁移图像识别方法及系统 | |
US20230222647A1 (en) | Method and system for detecting change to structure by using drone | |
CN104219488B (zh) | 目标图像的生成方法和装置、以及视频监控系统 | |
US20170046596A1 (en) | Self-optimized object detection using online detector selection | |
Liu et al. | Spatial neighborhood-constrained linear coding for visual object tracking | |
CN110310305A (zh) | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 | |
JP6944201B2 (ja) | 電子回路、ハードウェアコンポーネント、エッジ処理システム、エッジコンピューティングシステム、識別方法、識別プログラム | |
Lotfi et al. | Robust object tracking based on recurrent neural networks | |
Kulkarni et al. | Kalman filter based multiple object tracking system | |
CN110969173A (zh) | 目标分类方法及装置 | |
Rahman et al. | An adaptive background modeling based on modified running Gaussian average method | |
Gao et al. | Moving object detection for video surveillance based on improved ViBe | |
de Figueiredo et al. | Multi-object detection and pose estimation in 3d point clouds: A fast grid-based bayesian filter | |
CN109188419B (zh) | 障碍物速度的检测方法、装置、计算机设备及存储介质 | |
Gruenwedel et al. | Efficient foreground detection for real‐time surveillance applications | |
CN114972871A (zh) | 基于图像配准的少样本图像异常检测方法及系统 | |
CN113496501A (zh) | 基于视频预测的动态场景中的入侵物检测方法和系统 | |
US20200202172A1 (en) | Neural network based solution | |
CN111539277A (zh) | 一种输电线路区域内施工机械的检测方法及系统 | |
Mariappan et al. | Pose-Viwepoint Adaptive Object Tracking Via Online Learning Approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190507 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200716 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210324 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210903 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6944201 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |