JP2015232847A - 検出装置、修正システム、検出方法およびプログラム - Google Patents
検出装置、修正システム、検出方法およびプログラム Download PDFInfo
- Publication number
- JP2015232847A JP2015232847A JP2014119959A JP2014119959A JP2015232847A JP 2015232847 A JP2015232847 A JP 2015232847A JP 2014119959 A JP2014119959 A JP 2014119959A JP 2014119959 A JP2014119959 A JP 2014119959A JP 2015232847 A JP2015232847 A JP 2015232847A
- Authority
- JP
- Japan
- Prior art keywords
- test
- training data
- unit
- classifier
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N99/00—Subject matter not provided for in other groups of this subclass
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
Description
21 入力部
22 第1機械学習部
23 第1テスト部
24 保存部
25 削除部
26 第2機械学習部
27 第2テスト部
28 判定部
29 出力部
50 修正システム
60 訓練データ記憶部
61 重複検出部
62 クローズドテスト部
63 クロスバリデーションテスト部
64 ポテンシャルテスト部
65 表示制御部
66 修正部
67 制御部
101 CPU
102 操作部
103 表示部
104 ROM
105 RAM
106 記憶部
107 通信装置1
108 バス
Claims (16)
- 分類器を生成するための訓練データの誤りを検出する検出装置であって、
前記訓練データを機械学習して生成した分類器をテストする第1テスト部と、
前記訓練データから少なくとも1つの入力データを削除した縮小訓練データを生成する削除部と、
前記縮小訓練データを機械学習して生成したテスト用分類器をテストする第2テスト部と、
前記分類器のテストで不合格であり且つ前記テスト用分類器のテストで合格である入力データが存在する場合、前記縮小訓練データを生成するために前記訓練データから削除した前記少なくとも1つの入力データを誤りの候補として出力する出力部と、
を備える検出装置。 - 前記第2テスト部は、前記第1テスト部によるテストと同一のテストを実行する
請求項1に記載の検出装置。 - 前記第1テスト部および前記第2テスト部は、クローズドテストを実行する
請求項2に記載の検出装置。 - 前記第1テスト部および前記第2テスト部は、クロスバリデーションテストを実行する
請求項2に記載の検出装置。 - 前記削除部は、前記訓練データから、取得元が共通する複数の入力データを削除して前記縮小訓練データを生成する
請求項1から4の何れか1項に記載の検出装置。 - 前記削除部は、前記分類器のテストで不合格であり且つ前記テスト用分類器のテストで合格である入力データが存在する場合、削除した複数の入力データの中からさらに一部の入力データを絞り込んで選択し、前記訓練データから、絞り込んで選択した一部の入力データを削除した新たな縮小訓練データを生成し、
前記第2テスト部は、前記新たな縮小訓練データを機械学習して生成した新たなテスト用分類器をテストし、
前記出力部は、前記分類器のテストで不合格となった入力データが、前記新たなテスト用分類器のテストで合格となった場合、絞り込んで選択した入力データを誤りの候補として出力する
請求項1から5の何れか1項に記載の検出装置。 - 前記訓練データに含まれる入力データは、人が発話または入力したテキストである
請求項1から6の何れか1項に記載の検出装置。 - 分類器を生成するための訓練データの誤りを修正する修正システムであって、
前記分類器に対してクローズドテストを実行するクローズドテスト部と、
前記分類器に対してクロスバリデーションテストを実行するクロスバリデーションテスト部と、
前記分類器に対して請求項1から7の何れか1項に記載の検出装置によりテストを実行するポテンシャルテスト部と、
前記クローズドテスト部、前記クロスバリデーションテスト部および前記ポテンシャルテスト部によるテスト結果の表示に対するユーザ操作に応じて、前記訓練データの誤りを修正する修正部と、
テストの実行順序を制御する制御部と、
を備え、
前記制御部は、
前記クローズドテスト部または前記クロスバリデーションテスト部によるテストを実行した後に、前記分類器の精度が予め定められた規定値より小さい場合に、前記修正部に前記訓練データの誤りを修正させ、
前記クローズドテスト部または前記クロスバリデーションテスト部によるテストを予め定められた回数実行した後に、前記分類器の精度が前記規定値より小さい場合に、前記ポテンシャルテスト部によるテストを実行させる
修正システム。 - 前記制御部は、
前記クローズドテスト部によるテストを実行した後に、前記訓練データの精度が前記規定値以上である場合に、前記クロスバリデーションテスト部によるテストを実行させ、
前記クロスバリデーションテスト部によるテストを実行した後に、前記訓練データの精度が前記規定値以上である場合に、修正を終了させる
請求項8に記載の修正システム。 - 前記分類器をテストした結果が不合格であった場合、不合格であった入力データと、不合格であった入力データに関連付けられた前記訓練データに含まれる出力データと、テストにより前記分類器から出力された出力データとを関連付けて表示させる表示制御部をさらに備える
請求項8または9に記載の修正システム。 - 前記表示制御部は、不合格であった入力データと、不合格であった入力データに関連付けられた前記訓練データに含まれる出力データと、テストにより前記分類器から出力された出力データとを、表の1つの行に表示させる
請求項10に記載の修正システム。 - 前記修正部は、前記分類器から出力された出力データが正しいとする操作がされた場合には、不合格であった入力データを、前記訓練データにおける前記分類器から出力された出力データに関連付ける
請求項10または11に記載の修正システム。 - 前記修正部は、前記訓練データに含まれる出力データが正しいとする操作がされた場合には、前記訓練データにおける、不合格であった入力データを修正しない
請求項10から12の何れか1項に記載の修正システム。 - 前記修正部は、前記分類器から出力された出力データおよび前記訓練データに含まれる出力データの何れも誤っているとする操作がされた場合には、前記訓練データにおける不合格であった前記訓練データを削除する
請求項10から13の何れか1項に記載の修正システム。 - 分類器を生成するための訓練データの誤りを検出する検出方法であって、
前記訓練データを機械学習して生成した前記分類器をテストする第1テストステップと、
前記訓練データから少なくとも1つの入力データを削除した縮小訓練データを生成する削除ステップと、
前記縮小訓練データを機械学習して生成したテスト用分類器をテストする第2テストステップと、
前記分類器のテストで不合格であり且つ前記テスト用分類器のテストで合格である入力データが存在する場合、前記縮小訓練データを生成するために前記訓練データから削除した前記少なくとも1つの入力データを誤りの候補として出力する出力ステップと、
を備える検出方法。 - コンピュータを、分類器を生成するための訓練データの誤りを検出する検出装置として機能させるためのプログラムであって、
前記コンピュータを、
前記訓練データを機械学習して生成した前記分類器をテストする第1テスト部と、
前記訓練データから少なくとも1つの入力データを削除した縮小訓練データを生成する削除部と、
前記縮小訓練データを機械学習して生成したテスト用分類器をテストする第2テスト部と、
前記分類器のテストで不合格であり且つ前記テスト用分類器のテストで合格である入力データが存在する場合、前記縮小訓練データを生成するために前記訓練データから削除した前記少なくとも1つの入力データを誤りの候補として出力する出力部と、
して機能させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014119959A JP6173972B2 (ja) | 2014-06-10 | 2014-06-10 | 検出装置、修正システム、検出方法およびプログラム |
PCT/JP2015/063527 WO2015190203A1 (ja) | 2014-06-10 | 2015-05-11 | 検出装置、修正システム、検出方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014119959A JP6173972B2 (ja) | 2014-06-10 | 2014-06-10 | 検出装置、修正システム、検出方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015232847A true JP2015232847A (ja) | 2015-12-24 |
JP6173972B2 JP6173972B2 (ja) | 2017-08-02 |
Family
ID=54833308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014119959A Expired - Fee Related JP6173972B2 (ja) | 2014-06-10 | 2014-06-10 | 検出装置、修正システム、検出方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6173972B2 (ja) |
WO (1) | WO2015190203A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019216263A1 (ja) * | 2018-05-10 | 2019-11-14 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2020021301A (ja) * | 2018-08-01 | 2020-02-06 | 株式会社デンソー | 訓練データ評価装置、訓練データ評価方法、およびプログラム |
JP2020030138A (ja) * | 2018-08-23 | 2020-02-27 | アンリツ株式会社 | 信号解析装置及び信号解析方法並びに信号解析プログラム |
JP2021022377A (ja) * | 2019-07-26 | 2021-02-18 | スアラブ カンパニー リミテッド | データ管理方法 |
JP2022031555A (ja) * | 2018-08-15 | 2022-02-18 | 日本電信電話株式会社 | 分類器評価装置、分類器評価方法、及びプログラム |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10387572B2 (en) * | 2017-09-15 | 2019-08-20 | International Business Machines Corporation | Training data update |
US11157479B2 (en) | 2019-04-08 | 2021-10-26 | Microsoft Technology Licensing, Llc | Leveraging a collection of training tables to accurately predict errors within a variety of tables |
JP7310673B2 (ja) * | 2020-03-23 | 2023-07-19 | 横河電機株式会社 | データ管理システム、データ管理方法、および、データ管理プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008059080A (ja) * | 2006-08-29 | 2008-03-13 | Matsushita Electric Works Ltd | 信号識別装置の学習データの選択方法 |
JP2013080395A (ja) * | 2011-10-04 | 2013-05-02 | Nippon Telegr & Teleph Corp <Ntt> | 誤分類検出装置、方法、及びプログラム |
JP2014092878A (ja) * | 2012-11-01 | 2014-05-19 | Nippon Telegr & Teleph Corp <Ntt> | 分類モデル更新支援装置及び方法及びプログラム |
-
2014
- 2014-06-10 JP JP2014119959A patent/JP6173972B2/ja not_active Expired - Fee Related
-
2015
- 2015-05-11 WO PCT/JP2015/063527 patent/WO2015190203A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008059080A (ja) * | 2006-08-29 | 2008-03-13 | Matsushita Electric Works Ltd | 信号識別装置の学習データの選択方法 |
JP2013080395A (ja) * | 2011-10-04 | 2013-05-02 | Nippon Telegr & Teleph Corp <Ntt> | 誤分類検出装置、方法、及びプログラム |
JP2014092878A (ja) * | 2012-11-01 | 2014-05-19 | Nippon Telegr & Teleph Corp <Ntt> | 分類モデル更新支援装置及び方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
高取大地,他4名: "Outlier除去によるサポートベクターマシン改良の提案と映像境界検出問題への応用", 電子情報通信学会 第19回データ工学ワークショップ論文集, JPN6015030211, 7 April 2008 (2008-04-07), JP, pages 1 - 7, ISSN: 0003570329 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019216263A1 (ja) * | 2018-05-10 | 2019-11-14 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2020021301A (ja) * | 2018-08-01 | 2020-02-06 | 株式会社デンソー | 訓練データ評価装置、訓練データ評価方法、およびプログラム |
JP7095467B2 (ja) | 2018-08-01 | 2022-07-05 | 株式会社デンソー | 訓練データ評価装置、訓練データ評価方法、およびプログラム |
JP2022031555A (ja) * | 2018-08-15 | 2022-02-18 | 日本電信電話株式会社 | 分類器評価装置、分類器評価方法、及びプログラム |
JP7181490B2 (ja) | 2018-08-15 | 2022-12-01 | 日本電信電話株式会社 | 分類器評価装置、分類器評価方法、及びプログラム |
JP2020030138A (ja) * | 2018-08-23 | 2020-02-27 | アンリツ株式会社 | 信号解析装置及び信号解析方法並びに信号解析プログラム |
JP7046760B2 (ja) | 2018-08-23 | 2022-04-04 | アンリツ株式会社 | 信号解析装置及び信号解析方法並びに信号解析プログラム |
JP2021022377A (ja) * | 2019-07-26 | 2021-02-18 | スアラブ カンパニー リミテッド | データ管理方法 |
JP7186200B2 (ja) | 2019-07-26 | 2022-12-08 | スアラブ カンパニー リミテッド | データ管理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6173972B2 (ja) | 2017-08-02 |
WO2015190203A1 (ja) | 2015-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6173972B2 (ja) | 検出装置、修正システム、検出方法およびプログラム | |
JP5607741B2 (ja) | ランタイム挙動に基づくアプリケーションの自動修正 | |
US9886372B2 (en) | Automatic correction of application based on runtime behavior | |
JP5874891B2 (ja) | プログラムテスト装置、プログラムテスト方法、およびプログラム | |
US20160117405A1 (en) | Information Processing Method and Apparatus | |
US11580012B2 (en) | Smart test case generator | |
US10261884B2 (en) | Method for correcting violation of source code and computer readable recording medium having program performing the same | |
JP2008191963A (ja) | ソースコード検証システム、ソースコード検証方法、およびソースコード検証用プログラム | |
JP2019029015A (ja) | インタラクティブなソフトウェアプログラムの修復 | |
AU2017202743A1 (en) | Method for automatically validating data against a predefined data specification | |
JP2018092361A (ja) | テストスクリプト修正装置及びテストスクリプト修正プログラム | |
JP6451417B2 (ja) | デバッグ支援装置、デバッグ支援システム、デバッグ支援方法、および、デバッグ支援プログラム | |
KR101563494B1 (ko) | 파일 변경에 따른 실시간 소스코드 보안 약점 탐지 장치 및 방법 | |
JP2018092362A (ja) | テストスクリプト修正装置及びテストスクリプト修正プログラム | |
KR102176133B1 (ko) | 소프트웨어 테스트 케이스 자동 생성 방법 및 장치 | |
EP4131010A1 (en) | Method and system for performing human machine interface (hmi) automation testing | |
Barlas | Credibility, validity and testing of Dynamic Simulation Models | |
KR102144044B1 (ko) | 기계학습 기반 소프트웨어 정적 시험 거짓경보 분류 장치 및 방법 | |
Muñoz | Measuring the fidelity of digital twin systems | |
KR101534493B1 (ko) | 구조 변환에 기초한 소스코드 보안 약점 탐지 장치 및 방법 | |
US10915682B1 (en) | Remodeling testing method for remodeling text-based display design to thereby achieve graphic-based display design and design remodeling testing device using the same | |
JP5900212B2 (ja) | テストデータ生成装置、該プログラム、及び該方法 | |
US20210200833A1 (en) | Health diagnostics and analytics for object repositories | |
CN107704484B (zh) | 网页错误信息处理方法、装置、计算机设备和存储介质 | |
JP5910410B2 (ja) | 図式プログラムのテストデータ生成装置およびその方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20151102 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160929 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170705 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6173972 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |