JP2022072841A - モデル評価システム、モデル評価方法及びモデル評価プログラム - Google Patents
モデル評価システム、モデル評価方法及びモデル評価プログラム Download PDFInfo
- Publication number
- JP2022072841A JP2022072841A JP2020182500A JP2020182500A JP2022072841A JP 2022072841 A JP2022072841 A JP 2022072841A JP 2020182500 A JP2020182500 A JP 2020182500A JP 2020182500 A JP2020182500 A JP 2020182500A JP 2022072841 A JP2022072841 A JP 2022072841A
- Authority
- JP
- Japan
- Prior art keywords
- evaluation
- control unit
- trained model
- model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 61
- 238000013210 evaluation model Methods 0.000 title 1
- 238000000034 method Methods 0.000 claims description 84
- 238000012545 processing Methods 0.000 description 38
- 230000000873 masking effect Effects 0.000 description 21
- 238000007621 cluster analysis Methods 0.000 description 10
- 239000006185 dispersion Substances 0.000 description 5
- 238000012854 evaluation process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
Images
Abstract
Description
図1~図4に従って、モデル評価システム、モデル評価方法及びモデル評価プログラムの第1実施形態を説明する。本実施形態では、教師情報を用いた機械学習により生成され、所定のコンテンツ(画像)を入力して認識結果(テキスト)を出力する学習済みモデルを評価する。
図1に示すように、本実施形態のモデル評価システムは、ネットワークを介して接続されたユーザ端末10、支援サーバ20を用いる。
図2は、ユーザ端末10、支援サーバ20等として機能する情報処理装置H10のハードウェア構成例である。
図1のユーザ端末10は、学習済みモデルを評価する担当者が利用するコンピュータ端末である。
評価部213は、学習済みモデルを評価する処理を実行する。評価部213は、学習済みモデルにより出力された確からしさと比較するための基準値に関するデータを保持している。
認識結果データ領域には、特徴画像を、基準値以上の確からしさで認識した文字に関するデータが記録される。例えば、画像において基準値以上の確からしさで「5」を認識した場合、認識結果として数字「5」が記録される。
(特徴コンテンツ生成処理)
まず、図3を用いて、特徴コンテンツ生成処理を説明する。
例えば、図4に示すように、白黒画像500を生成する場合を想定する。
例えば、図4において、白黒画像500のピクセル501を選定する。
ここでは、図4において、黒のピクセル501を白に白黒反転することにより、白黒画像510が生成される。
例えば、図4に示すように、白黒画像510において、ピクセル502を選定し、白黒反転することにより、白黒画像520が生成される。
(1-1)本実施形態においては、支援サーバ20の制御部21は、ランダムにピクセル選定処理(ステップS102)、ピクセル反転処理(ステップS103)、予測処理(ステップS104)を実行する。これにより、画像を部分的に変化させながら、確からしさを算出して、学習済みモデルを評価することができる。
次に、モデル評価システム、モデル評価方法及びモデル評価プログラムの第2実施形態を説明する。第1実施形態では、特徴情報記憶部23に記録された特徴画像についてクラスタリングを行なう。第2実施形態では、特徴画像において特徴的な領域(特徴領域)を特定してクラスタリングを行なうように変更した特徴領域評価処理を実行する。なお、上記第1実施形態と同様の部分については、同一の符号を付し、その詳細な説明を省略する。
認識結果データ領域には、特徴領域により認識されるテキスト(ここでは数字)に関するデータが記録される。
次に、図5を用いて、特徴領域評価処理を説明する。
まず、支援サーバ20の制御部21は、特徴画像の取得処理を実行する(ステップS201)。具体的には、制御部21の画像加工部211は、特徴情報記憶部23から、すべての特徴画像管理レコードを抽出し、特徴画像管理レコードに記録された特徴画像を取得する。
図6に示すように、特徴画像600に対して、黒マスクM1を配置したマスク画像610を生成する。
そして、支援サーバ20の制御部21は、すべての特徴画像について終了するまで、上記処理を繰り返す。
ここでは、図7に示すように、特徴領域のクラスタリング処理により、グループG1~G3が生成される。
一方、マスキング処理は不要と判定した場合(ステップS202において「NO」の場合)、支援サーバ20の制御部21は、ステップS109と同様に、特徴情報記憶部23に記録された特徴画像を用いて、特徴画像のクラスタリング処理を実行する(ステップS210)。
(2-1)本実施形態においては、支援サーバ20の制御部21は、マスキング処理が必要かどうかについての判定処理を実行する(ステップS202)。これにより、特徴画像の生成状況により、特徴領域評価処理の実行の必要性を判定することができる。
・上記第1実施形態では、コンテンツとして画像に含まれる文字を認識する学習済みモデルの評価を行なう。本発明の適用対象は、画像認識に限定されるものではない。例えば、音信号をテキストに変換する音声認識や、文章に基づいて、感情を認識する学習済みモデルに適用してもよい。
また、文章から何らかの認識結果を取得する自然言語処理を行なう学習済みモデルの場合には、例えば、文章に含まれる単語を変更する。この場合には、複数のサンプルコンテンツを生成するために、単語を記録した辞書記憶部から、文章に含まれる単語を置き換えるために他の単語を取得する。
Claims (5)
- 学習済みモデルを記録する評価対象記憶部と、
前記学習済みモデルを用いて認識結果を出力する制御部とを備え、前記学習済みモデルを評価するモデル評価システムであって、
前記制御部が、
複数のサンプルコンテンツを生成し、
前記各サンプルコンテンツを、前記評価対象記憶部に記録された学習済みモデルに入力して、前記サンプルコンテンツの認識結果の確からしさを取得し、
前記確からしさに応じた前記サンプルコンテンツを用いて、前記学習済みモデルにおける特徴コンテンツに関する評価結果を出力することを特徴とするモデル評価システム。 - 前記制御部が、
前記確からしさの変化の大きさが基準値以上の特徴コンテンツを記録し、
前記記録された特徴コンテンツに基づいて、クラスタリングした結果を、前記評価結果として出力することを特徴とする請求項1に記載のモデル評価システム。 - 前記制御部が、
前記特徴コンテンツの一部をマスク領域でマスキングしたマスクコンテンツを生成し、
前記マスクコンテンツを、前記評価対象記憶部に記録された学習済みモデルに適用して確からしさを算出し、
前記マスクコンテンツの確からしさの変化を算出し、
前記確からしさの変化の大きさが大きいマスク領域を特定し、
前記マスク領域をクラスタリングした結果を、前記評価結果として出力することを特徴とする請求項1又は2に記載のモデル評価システム。 - 学習済みモデルを記録する評価対象記憶部と、
前記学習済みモデルを用いて認識結果を出力する制御部とを備え、前記学習済みモデルを評価するモデル評価システムを用いて、前記学習済みモデルを評価する方法であって、
前記制御部が、
複数のサンプルコンテンツを生成し、
前記各サンプルコンテンツを、前記評価対象記憶部に記録された学習済みモデルに入力して、前記サンプルコンテンツの認識結果の確からしさを取得し、
前記確からしさに応じた前記サンプルコンテンツを用いて、前記学習済みモデルにおける特徴コンテンツに関する評価結果を出力することを特徴とするモデル評価方法。 - 学習済みモデルを記録する評価対象記憶部と、
前記学習済みモデルを用いて認識結果を出力する制御部とを備え、前記学習済みモデルを評価するモデル評価システムを用いて、前記学習済みモデルを評価するモデル評価プログラムであって、
前記制御部を、
複数のサンプルコンテンツを生成し、
前記各サンプルコンテンツを、前記評価対象記憶部に記録された学習済みモデルに入力して、前記サンプルコンテンツの認識結果の確からしさを取得し、
前記確からしさに応じた前記サンプルコンテンツを用いて、前記学習済みモデルにおける特徴コンテンツに関する評価結果を出力する手段として機能させるためのモデル評価プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020182500A JP7085605B2 (ja) | 2020-10-30 | 2020-10-30 | モデル評価システム、モデル評価方法及びモデル評価プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020182500A JP7085605B2 (ja) | 2020-10-30 | 2020-10-30 | モデル評価システム、モデル評価方法及びモデル評価プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022072841A true JP2022072841A (ja) | 2022-05-17 |
JP7085605B2 JP7085605B2 (ja) | 2022-06-16 |
Family
ID=81605045
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020182500A Active JP7085605B2 (ja) | 2020-10-30 | 2020-10-30 | モデル評価システム、モデル評価方法及びモデル評価プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7085605B2 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015146075A (ja) * | 2014-01-31 | 2015-08-13 | 株式会社日本デジタル研究所 | 会計データ入力支援システム、方法およびプログラム |
JP2016110373A (ja) * | 2014-12-05 | 2016-06-20 | 株式会社デンソー | カーブミラー検出装置 |
JP2018109906A (ja) * | 2017-01-05 | 2018-07-12 | 住友電気工業株式会社 | 画像データ作成プログラム、画像データ作成装置および画像データ作成方法 |
JP2019046390A (ja) * | 2017-09-06 | 2019-03-22 | 株式会社東芝 | 学習装置、学習方法、およびプログラム |
JP2020024534A (ja) * | 2018-08-07 | 2020-02-13 | 日本放送協会 | 画像分類装置及びプログラム |
JP2020061066A (ja) * | 2018-10-12 | 2020-04-16 | 富士通株式会社 | 学習プログラム、検出プログラム、学習装置、検出装置、学習方法および検出方法 |
JP2020119135A (ja) * | 2019-01-22 | 2020-08-06 | 株式会社日立ハイテク | 画像評価装置及び方法 |
US20200327311A1 (en) * | 2019-03-18 | 2020-10-15 | Shenzhen Sensetime Technology Co., Ltd. | Image clustering method and apparatus, electronic device, and storage medium |
-
2020
- 2020-10-30 JP JP2020182500A patent/JP7085605B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015146075A (ja) * | 2014-01-31 | 2015-08-13 | 株式会社日本デジタル研究所 | 会計データ入力支援システム、方法およびプログラム |
JP2016110373A (ja) * | 2014-12-05 | 2016-06-20 | 株式会社デンソー | カーブミラー検出装置 |
JP2018109906A (ja) * | 2017-01-05 | 2018-07-12 | 住友電気工業株式会社 | 画像データ作成プログラム、画像データ作成装置および画像データ作成方法 |
JP2019046390A (ja) * | 2017-09-06 | 2019-03-22 | 株式会社東芝 | 学習装置、学習方法、およびプログラム |
JP2020024534A (ja) * | 2018-08-07 | 2020-02-13 | 日本放送協会 | 画像分類装置及びプログラム |
JP2020061066A (ja) * | 2018-10-12 | 2020-04-16 | 富士通株式会社 | 学習プログラム、検出プログラム、学習装置、検出装置、学習方法および検出方法 |
JP2020119135A (ja) * | 2019-01-22 | 2020-08-06 | 株式会社日立ハイテク | 画像評価装置及び方法 |
US20200327311A1 (en) * | 2019-03-18 | 2020-10-15 | Shenzhen Sensetime Technology Co., Ltd. | Image clustering method and apparatus, electronic device, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP7085605B2 (ja) | 2022-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108628971B (zh) | 不均衡数据集的文本分类方法、文本分类器及存储介质 | |
CN108182437B (zh) | 一种点选验证码识别方法、装置和用户终端 | |
EP3648014A1 (en) | Model training method, data identification method and data identification device | |
US20180061439A1 (en) | Automatic audio captioning | |
CN112861885B (zh) | 图像识别方法、装置、电子设备及存储介质 | |
CN111612081A (zh) | 识别模型的训练方法、装置、设备及存储介质 | |
JP2023541527A (ja) | テキスト検出に用いる深層学習モデルトレーニング方法及びテキスト検出方法 | |
WO2021034841A1 (en) | Apparatus and methods for converting lineless tables into lined tables using generative adversarial networks | |
CN110968725A (zh) | 图像内容描述信息生成方法、电子设备及存储介质 | |
CN114648681B (zh) | 一种图像生成方法、装置、设备及介质 | |
CN112801085A (zh) | 一种图像中文字的识别方法、装置、介质及电子设备 | |
Tymoshenko et al. | Real-Time Ukrainian Text Recognition and Voicing. | |
CN111563373A (zh) | 聚焦属性相关文本的属性级情感分类方法 | |
CN110717407A (zh) | 基于唇语密码的人脸识别方法、装置及存储介质 | |
JP7085605B2 (ja) | モデル評価システム、モデル評価方法及びモデル評価プログラム | |
CN115565186B (zh) | 文字识别模型的训练方法、装置、电子设备和存储介质 | |
CN114972910B (zh) | 图文识别模型的训练方法、装置、电子设备及存储介质 | |
CN116110066A (zh) | 票据文本的信息提取方法、装置、设备及存储介质 | |
CN113689514B (zh) | 一种面向主题的图像场景图生成方法 | |
CN115546813A (zh) | 一种文档分析方法、装置、存储介质及设备 | |
CN111488927B (zh) | 分类阈值确定方法、装置、电子设备及存储介质 | |
US11669949B2 (en) | Apparatus and method for inferring contrast score of an image | |
CN115376137A (zh) | 一种光学字符识别处理、文本识别模型训练方法及装置 | |
JP7294384B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN115049899B (zh) | 模型训练方法、指代表达式生成方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220606 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7085605 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |