JP2021005138A - 摂動画像データに対応した学習モデル、学習データ、学習モデル・データ生成方法、及び画像識別装置 - Google Patents
摂動画像データに対応した学習モデル、学習データ、学習モデル・データ生成方法、及び画像識別装置 Download PDFInfo
- Publication number
- JP2021005138A JP2021005138A JP2019117196A JP2019117196A JP2021005138A JP 2021005138 A JP2021005138 A JP 2021005138A JP 2019117196 A JP2019117196 A JP 2019117196A JP 2019117196 A JP2019117196 A JP 2019117196A JP 2021005138 A JP2021005138 A JP 2021005138A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- class
- data
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
(a)画像データと、該画像データに対応するクラスに係る情報との組と、
(b)上記の画像データの画像単位に係る値に対し所定の摂動を与えることによって生成された、新たな分類先としてのターゲットクラスに分類される確率を高めた摂動画像データと、当該ターゲットクラスに係る情報との組と
を含む学習データを用いて構築される学習モデルが提供される。
(a)画像データと、該画像データに対応するクラスに係る情報との組と、
(b)上記の画像データから生成した、新たな分類先としてのターゲットクラスに分類される確率を高めたアドバーサリアル・イグザンプル(Adversarial Examples)である摂動画像データと、当該ターゲットクラスに係る情報との組と
を含む学習データを用いて構築される学習モデルが提供される。
当該画像データは、表示された当該表示画像を撮影することによって生成され、
当該摂動画像データは、当該表示画像を撮影することによって生成された当該画像データの画像単位毎に、当該画像単位における当該ターゲットクラスに分類される確率の勾配が所定条件を満たすだけ大きく、当該ターゲットクラス以外に分類される確率の勾配が所定条件を満たすだけ小さければ、当該画像単位に係る値に対し所定の摂動を与えて生成された画像データに係る表示画像であって、ディスプレイに表示された表示画像を撮影することによって生成されることも好ましい。
当該画像データは、当該印刷部分を撮影することによって生成され、
当該摂動画像データは、当該印刷部分を撮影することによって生成された当該画像データの画像単位毎に、当該画像単位における当該ターゲットクラスに分類される確率の勾配が所定条件を満たすだけ大きく、当該ターゲットクラス以外に分類される確率の勾配が所定条件を満たすだけ小さければ、当該画像単位に係る値に対し所定の摂動を与えて生成された画像データに係る画像を、所定の基体に印刷したものを撮影することによって生成されることも好ましい。
(a)画像データと、該画像データに対応するクラスに係る情報との組と、
(b)上記の画像データの画像単位に係る値に対し所定の摂動を与えることによって生成された、新たな分類先としてのターゲットクラスに分類される確率を高めた摂動画像データと、当該ターゲットクラスに係る情報との組と
を含む学習データが提供される。
(a)画像データと、該画像データに対応するクラスに係る情報との組と、
(b)上記の画像データの画像単位に係る値に対し所定の摂動を与えることによって生成された、新たな分類先としてのターゲットクラスに分類される確率を高めた摂動画像データと、当該ターゲットクラスに係る情報との組と
を含む学習データを用いて構築された学習モデルに対し、識別対象画像データを入力し、識別対象画像データに対応するクラス又はターゲットクラスを推定する画像識別装置が提供される。
画像データの画像単位に係る値に対し所定の摂動を与えることによって、新たな分類先としてのターゲットクラスに分類される確率を高めた摂動画像データを生成し、
前記画像データと該画像データに対応するクラスに係る情報との組、及び、前記摂動画像データと当該ターゲットクラスに係る情報との組を含むデータ群を生成し、当該データ群を学習データとする
ことを特徴とする学習データ生成方法が提供される。
図1は、本発明に係る学習モデル生成装置及び画像識別装置を備えたモデル生成・画像認識システムの一実施形態を説明するための模式図及び機能ブロック図である。
(a)(本実施形態において移動可能な)画像識別装置である1つ以上の端末20と、
(b)端末20(又は画像データベース)から取得された画像データに基づいて学習モデルを生成可能な学習モデル生成装置であるクラウドサーバ1と
を有し、クラウドサーバ1において、この後説明する「摂動画像データ」を用いた「学習モデル」が生成されて、端末20に供給され、端末20は、この「学習モデル」を用いて画像識別処理を実施する。
(A)画像データと、この画像データに対応するクラスに係る情報との組と、
(B)上記(A)の画像データから生成された「摂動画像データ」と、新たな分類先としてのターゲットクラスに係る情報との組と
を含む学習データを用いて構築されるものとなっている。
(a)当該画像データに本来対応するクラス、及び
(b)当該画像データから生成された「摂動画像データ」に対応するターゲットクラス
のうちの一方を出力(推定)し分けることを可能にするのである。
(a)所定場所の「看板」を撮影した端末20は、「学習モデル」による画像識別結果としてのクラス"看板"を決定してこの決定結果を利用し、一方、
(b)別の所定場所の「看板*」を撮影した端末20は、同様に「学習モデル」による画像識別結果としてのクラス"死亡事故現場の看板"を、例えばディスプレイ203に表示してユーザに通知する
ことも可能となるのである。
図1に示した機能ブロック図によれば、クラウドサーバ1は、通信インタフェース101と、プロセッサ・メモリとを有する。ここで、このプロセッサ・メモリは、本発明に係る学習モデル生成プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この学習モデル生成プログラムを実行することによって、学習モデル生成処理を実施する。
(a)当該画像単位(ピクセル)でのターゲットクラスに分類される確率の勾配が所定条件を満たすだけ大きく、さらに
(b)当該画像単位(ピクセル)でのターゲットクラス以外に分類される確率の勾配が所定条件を満たすだけ小さければ、
当該画像単位に係る値(ピクセル値)に対し所定の摂動を与えることによって生成される。
∂iFt(X)<0、又はΣj/=t∂iFj(X)>0である場合に、
(1) S(X, t)[i]=0となり、
∂iFt(X)≧0、且つΣj/=t∂iFj(X)≦0である場合に、
(2) S(X, t)[i]=∂iFt(X)×|Σj/=t∂iFj(X)|となる
ようなS(X, t)[i]を、画像単位i毎(ピクセルi毎)に算出し、Adversarial Saliency Map:{S(X, t)[i]}を生成する。
(a)画像データと、この画像データに対応する正解としてのクラスとの(複数の)組と、
(b)上記(a)の画像データから生成された摂動画像データと、この摂動画像データ生成の際に設定されたターゲットクラスとの(複数の)組と
を含む学習データを生成する。ここで、上記(a)のクラスについては、予めクラスのタグ付けされた画像データを利用してもよく、公知の手法でタグ付けしてもよい。
(a)(摂動)画像データを入力してこれらの特徴に係る特徴情報を出力する第1NNとしての畳み込み層部(Convolutional Layers)と、
(b)畳み込み層部から出力された特徴情報を入力してクラスに係る情報を出力する第2NNとしての全結合層部(Fully-Connected Layers)と
を含む識別器を構成し、これに対し学習データを用いて学習処理を行って「学習モデル」を生成してもよい。
(a)画像データが、看板、ポスタや、電光掲示装置といったディスプレイ装置等を含む情報表示体(図2では看板)を画像内に含む画像データであって、クラスが、この情報表示体に係る情報(図2では"看板")であり、
(b)摂動画像データが、上記(a)の情報表示体(看板)を含む画像データに対しJSMA法による摂動付与処理を施したデータ(図2では*印付きのデータ)であって、ターゲットクラスが、この情報表示体(看板)によって表示される情報(図2では「注意・死亡事故現場」との文字情報)に係る情報("死亡事故現場の看板")である
ような学習のためのデータを含む学習データを生成する。
同じく図1に示した機能ブロック図によれば、端末20は、通信インタフェース201と、カメラ202と、ディスプレイ(DP)203と、プロセッサ・メモリとを有する。ここで、このプロセッサ・メモリは、本発明に係る画像識別プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この画像識別プログラムを実行することによって、画像識別処理を実施する。
(a)文字情報「交通死亡事故多発!」を含む画像データ
をディスプレイ32に表示させることができ、または、
(b)上記(a)の画像データから生成された摂動画像データ
をディスプレイ32に表示させることも可能となっている。
101、201 通信インタフェース
111 画像取得部
112 摂動画像生成部
113 学習データ生成部
114 学習モデル生成部
2 自動車
20 端末(識別装置)
202 カメラ
203 ディスプレイ(DP)
211 映像生成部
212 識別部
213 提示情報生成部
3 電光掲示板(ディスプレイ装置)
31 ディスプレイ制御部
32 ディスプレイ
Claims (11)
- 入力画像データに対応するクラスに係る情報を推定するようにコンピュータを機能させる学習モデルであって、
(a)画像データと、該画像データに対応するクラスに係る情報との組と、
(b)前記画像データの画像単位に係る値に対し所定の摂動を与えることによって生成された、新たな分類先としてのターゲットクラスに分類される確率を高めた摂動画像データと、当該ターゲットクラスに係る情報との組と
を含む学習データを用いて構築されることを特徴とする学習モデル。 - 入力画像データに対応するクラスに係る情報を推定するようにコンピュータを機能させる学習モデルであって、
(a)画像データと、該画像データに対応するクラスに係る情報との組と、
(b)前記画像データから生成した、新たな分類先としてのターゲットクラスに分類される確率を高めたアドバーサリアル・イグザンプル(Adversarial Examples)である摂動画像データと、当該ターゲットクラスに係る情報との組と
を含む学習データを用いて構築されることを特徴とする学習モデル。 - 当該摂動画像データは、前記画像データの画像単位毎において、当該画像単位での当該ターゲットクラスに分類される確率の勾配が所定条件を満たすだけ大きく、当該ターゲットクラス以外に分類される確率の勾配が所定条件を満たすだけ小さければ、当該画像単位に係る値に対し所定の摂動を与えることによって生成されることを特徴とする請求項1又は2に記載の学習モデル。
- 当該摂動画像データは、JSMA(Jacobian-based Saliency Map Approach)法を用いて生成されたアドバーサリアル・イグザンプルであることを特徴とする請求項1から3のいずれか1項に記載の学習モデル。
- 当該画像データは、情報表示体を含む画像に係るデータであって、当該画像データに対応するクラスに係る情報は、当該情報表示体に係る情報であり、当該ターゲットクラスに係る情報は、当該情報表示体によって表示される情報に係る情報であることを特徴とする請求項1から4のいずれか1項に記載の学習モデル。
- 当該情報表示体は、当該情報表示体によって表示される情報が表示画像としてディスプレイに表示されるディスプレイ装置であり、
当該画像データは、表示された当該表示画像を撮影することによって生成され、
当該摂動画像データは、当該表示画像を撮影することによって生成された当該画像データの画像単位毎に、当該画像単位における当該ターゲットクラスに分類される確率の勾配が所定条件を満たすだけ大きく、当該ターゲットクラス以外に分類される確率の勾配が所定条件を満たすだけ小さければ、当該画像単位に係る値に対し所定の摂動を与えて生成された画像データに係る表示画像であって、前記ディスプレイに表示された表示画像を撮影することによって生成される
ことを特徴とする請求項5に記載の学習モデル。 - 当該情報表示体は、当該情報表示体によって表示される情報の印刷された印刷部分を含み、
当該画像データは、当該印刷部分を撮影することによって生成され、
当該摂動画像データは、当該印刷部分を撮影することによって生成された当該画像データの画像単位毎に、当該画像単位における当該ターゲットクラスに分類される確率の勾配が所定条件を満たすだけ大きく、当該ターゲットクラス以外に分類される確率の勾配が所定条件を満たすだけ小さければ、当該画像単位に係る値に対し所定の摂動を与えて生成された画像データに係る画像を、所定の基体に印刷したものを撮影することによって生成される
ことを特徴とする請求項5に記載の学習モデル。 - 入力画像データに対応するクラスに係る情報を推定するようにコンピュータを機能させる学習モデルを構築可能な学習データであって、
(a)画像データと、該画像データに対応するクラスに係る情報との組と、
(b)前記画像データの画像単位に係る値に対し所定の摂動を与えることによって生成された、新たな分類先としてのターゲットクラスに分類される確率を高めた摂動画像データと、当該ターゲットクラスに係る情報との組と
を含むことを特徴とする学習データ。 - 入力画像データに対応するクラスに係る情報を推定可能な画像識別装置であって、
(a)画像データと、該画像データに対応するクラスに係る情報との組と、
(b)前記画像データの画像単位に係る値に対し所定の摂動を与えることによって生成された、新たな分類先としてのターゲットクラスに分類される確率を高めた摂動画像データと、当該ターゲットクラスに係る情報との組と
を含む学習データを用いて構築された学習モデルに対し、識別対象画像データを入力し、識別対象画像データに対応するクラス又はターゲットクラスを推定することを特徴とする画像識別装置。 - 入力画像データに対応するクラスに係る情報を推定するようにコンピュータを機能させる学習モデルを構築可能な学習データを生成する方法であって、
画像データの画像単位に係る値に対し所定の摂動を与えることによって、新たな分類先としてのターゲットクラスに分類される確率を高めた摂動画像データを生成し、
前記画像データと該画像データに対応するクラスに係る情報との組、及び、前記摂動画像データと当該ターゲットクラスに係る情報との組を含むデータ群を生成し、当該データ群を学習データとする
ことを特徴とする学習データ生成方法。 - 請求項10に記載された学習データ生成方法によって生成された学習データを用いて学習モデルを生成することを特徴とする学習モデル生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019117196A JP7211904B2 (ja) | 2019-06-25 | 2019-06-25 | 摂動画像データに対応した画像識別装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019117196A JP7211904B2 (ja) | 2019-06-25 | 2019-06-25 | 摂動画像データに対応した画像識別装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021005138A true JP2021005138A (ja) | 2021-01-14 |
JP7211904B2 JP7211904B2 (ja) | 2023-01-24 |
Family
ID=74097820
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019117196A Active JP7211904B2 (ja) | 2019-06-25 | 2019-06-25 | 摂動画像データに対応した画像識別装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7211904B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018060296A (ja) * | 2016-10-03 | 2018-04-12 | グローリー株式会社 | 画像処理装置、画像処理システム及び画像処理方法 |
WO2019087033A1 (en) * | 2017-11-01 | 2019-05-09 | International Business Machines Corporation | Protecting cognitive systems from gradient based attacks through the use of deceiving gradients |
-
2019
- 2019-06-25 JP JP2019117196A patent/JP7211904B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018060296A (ja) * | 2016-10-03 | 2018-04-12 | グローリー株式会社 | 画像処理装置、画像処理システム及び画像処理方法 |
WO2019087033A1 (en) * | 2017-11-01 | 2019-05-09 | International Business Machines Corporation | Protecting cognitive systems from gradient based attacks through the use of deceiving gradients |
Non-Patent Citations (2)
Title |
---|
NICHOLAS CARLINI, 外1名: ""Towards Evaluating the Robustness of Neural Networks"", 2017 IEEE SYMPOSIUM ON SECURITY AND PRIVACY (SP), JPN6022023815, 22 May 2017 (2017-05-22), pages 39 - 57, XP033108086, ISSN: 0004795921, DOI: 10.1109/SP.2017.49 * |
NICOLAS PAPERNOT, 外5名: ""The Limitations of Deep Learning in Adversarial Settings"", 2016 IEEE EUROPEAN SYMPOSIUM ON SECURITY AND PRIVACY (EUROS&P), JPN6022023814, 21 March 2016 (2016-03-21), pages 372 - 387, XP032899541, ISSN: 0004795920, DOI: 10.1109/EuroSP.2016.36 * |
Also Published As
Publication number | Publication date |
---|---|
JP7211904B2 (ja) | 2023-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9881221B2 (en) | Method and system for estimating gaze direction of vehicle drivers | |
CN107862270B (zh) | 人脸分类器训练方法、人脸检测方法及装置、电子设备 | |
JP6398979B2 (ja) | 映像処理装置、映像処理方法および映像処理プログラム | |
WO2019152983A2 (en) | System and apparatus for face anti-spoofing via auxiliary supervision | |
CN111967429B (zh) | 一种基于主动学习的行人重识别模型训练方法及装置 | |
EP3345127A1 (en) | Method and system for monitoring driving behaviors | |
Eykholt et al. | Note on attacking object detectors with adversarial stickers | |
CN111667001A (zh) | 目标重识别方法、装置、计算机设备和存储介质 | |
Batnasan et al. | Arsl21l: Arabic sign language letter dataset benchmarking and an educational avatar for metaverse applications | |
Phankokkruad et al. | An evaluation of technical study and performance for real-time face detection using web real-time communication | |
Yang et al. | Non-temporal lightweight fire detection network for intelligent surveillance systems | |
CN111950348A (zh) | 安全带的佩戴状态识别方法、装置、电子设备和存储介质 | |
CN112069887A (zh) | 一种人脸识别方法、装置、终端设备及存储介质 | |
Ou et al. | Transfer learning based strategy for improving driver distraction recognition | |
Guo et al. | Haze visibility enhancement for promoting traffic situational awareness in vision-enabled intelligent transportation | |
CN116310922A (zh) | 石化厂区监控视频风险识别方法、系统、电子设备及存储介质 | |
JP7211904B2 (ja) | 摂動画像データに対応した画像識別装置 | |
KR20230166840A (ko) | 인공지능을 이용한 객체 이동 경로 확인 방법 | |
US11468671B2 (en) | Sentiment analysis for situational awareness | |
Sirisha et al. | Utilizing a Hybrid Model for Human Injury Severity Analysis in Traffic Accidents. | |
DE112021004252T5 (de) | Vorrichtung und verfahren zum bereitstellen eines suchdienstes für ein vermisstes kind auf der basis einer gesichtserkennung unter verwendung von deep-learning | |
Tazhigaliyeva et al. | Cyrillic manual alphabet recognition in RGB and RGB-D data for sign language interpreting robotic system (SLIRS) | |
CN114663972A (zh) | 基于动作差分的目标标记方法及装置 | |
Jaiswal et al. | A review on american sign language character recognition | |
Afroz et al. | IoT based two way safety enabled intelligent stove with age verification using machine learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210601 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220622 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221130 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20221130 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221213 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20221214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7211904 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |