JP2020135659A - パラメータ決定方法、パラメータ決定装置、及びプログラム - Google Patents

Abstract

【課題】 ルールベースの判定方法と、機械学習モデルによる判定方法と、を併用する判定方法の判定精度が高くなるように、パラメータを決定する。【解決手段】 一実施形態に係るパラメータ決定方法は、コンピュータが実行するパラメータ決定方法であって、対象物の画像を含む画像のデータに基づいて、所定のルールに従って、前記対象物の状態を判定するルールベース判定ステップと、前記画像のデータに基づいて、機械学習モデルを利用して、前記対象物の状態を判定する機械学習モデル判定ステップと、前記ルール及び前記機械学習モデルのパラメータを設定するパラメータ設定ステップと、前記ルールベース判定ステップ及び前記機械学習モデル判定ステップの判定結果に基づいて、前記対象物の状態を判定し、当該判定結果及び回答データに基づいて、前記対象物の状態の判定精度を算出する判定精度算出ステップと、前記判定精度に基づいて、前記ルール及び前記機械学習モデルのパラメータの最適範囲を決定するパラメータ決定ステップと、を含む。【選択図】 図４

Description

本発明は、パラメータ決定方法、パラメータ決定装置、及びプログラムに関する。

従来、外観検査の分野では、所定のルールに従って、対象物の状態（ラベル）を判定する、ルールベースの判定方法が採用されている。ルールベースの判定方法では、ルールに従って算出された値と、予め設定された閾値と、を比較することで、対象物の状態が判定される。

また、ＡＩ（Artificial Intelligence）の発展に伴い、機械学習モデルによる判定方法も採用されるようになっている。機械学習モデルによる判定方法では、機械学習モデルによって算出された値と、予め設定された閾値と、を比較することで、対象物の状態が判定される。

さらに、近年、ルールベースの判定方法と、機械学習モデルによる判定方法と、を併用する方法も提案されている。この判定方法では、最終的な判定結果は、２つの判定方法で得られた２つの判定結果に基づいて決定される。

特開２０１８−１９４９５０号公報

従来技術では、ルールベースの判定方法で利用する閾値として、ルールベースの判定方法の判定精度が高くなるように閾値が設定されていた。同様に、機械学習モデルによる判定方法で利用する閾値として、機械学習モデルによる判定方法の判定精度が高くなるように閾値が設定されていた。すなわち、各判定方法で利用する閾値として、各判定方法に対して最適化された閾値が設定されていた。

しかしながら、２つの判定方法を併用する場合、各判定方法に対して最適化された閾値を利用すると、偽陰性率や偽陽性率が高くなることがあり、最終的な判定結果の判定精度が高くなるとは限らなかった。

本発明は、上記の課題に鑑みてなされたものであり、ルールベースの判定方法と、機械学習モデルによる判定方法と、を併用する判定方法の判定精度が高くなるように、パラメータを決定することを目的とする。

一実施形態に係るパラメータ決定方法は、コンピュータが実行するパラメータ決定方法であって、対象物の画像を含む画像のデータに基づいて、所定のルールに従って、前記対象物の状態を判定するルールベース判定ステップと、前記画像のデータに基づいて、機械学習モデルを利用して、前記対象物の状態を判定する機械学習モデル判定ステップと、前記ルール及び前記機械学習モデルのパラメータを設定するパラメータ設定ステップと、前記ルールベース判定ステップ及び前記機械学習モデル判定ステップの判定結果に基づいて、前記対象物の状態を判定し、当該判定結果及び回答データに基づいて、前記対象物の状態の判定精度を算出する判定精度算出ステップと、前記判定精度に基づいて、前記ルール及び前記機械学習モデルのパラメータの最適範囲を決定するパラメータ決定ステップと、を含む。

本発明の各実施形態によれば、ルールベースの判定方法と、機械学習モデルによる判定方法と、を併用する判定方法の判定精度が高くなるように、パラメータを決定することができる。

一実施形態に係るパラメータ決定装置のハードウェア構成の一例を示す図。 一実施形態に係るパラメータ決定装置の機能構成の一例を示す図。 対象物の良否の判定結果の一例を示す図。 パラメータ決定部が記憶する判定精度の一例を示す表。 パラメータ決定装置が実行する処理の一例を示すフローチャート。

以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重畳した説明を省略する。

一実施形態に係るパラメータ決定装置１について、図１〜図５を参照して説明する。本実施形態に係るパラメータ決定装置１は、ルールベースの判定方法と、機械学習モデルによる判定方法と、を併用する判定システムで利用される、ルール及び機械学習モデルの最適なパラメータを自動的に決定する装置である。ここでいう判定システムは、対象物に関する各種のデータに基づいて、対象物の状態を判定する任意のシステムで有り得る。外観検査システムは、例えば、画像データに基づいて、製品などの対象物の傷、汚れ、欠陥、変色、及び異物の少なくとも１つを検出し、対象物の良否を判定する外観検査システムであるが、これに限られない。

まず、パラメータ決定装置１のハードウェア構成について説明する。図１は、本実施形態に係るパラメータ決定装置１のハードウェア構成の一例を示す図である。図１のパラメータ決定装置１は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、ＨＤＤ（Hard Disk Drive）１０４と、入力装置１０５と、表示装置１０６と、通信インタフェース１０７と、アクセラレータ１０８と、バス１０９と、を備える。

ＣＰＵ１０１は、プログラムを実行することにより、パラメータ決定装置１の各構成を制御し、パラメータ決定装置１の機能を実現する。ＣＰＵ１０１が実行するプログラムは、ＣＤ（Compact Disk）、ＤＶＤ、及びフラッシュメモリを含む、コンピュータ読み取り可能な任意の記録媒体に記録され得る。本実施形態では、ルールベースの判定方法は、ＣＰＵ１０１により実行される。

ＲＯＭ１０２は、ＣＰＵ１０１が実行するプログラムや各種のデータを記憶する。

ＲＡＭ１０３は、ＣＰＵ１０１に作業領域を提供する。

ＨＤＤ１０４は、ＣＰＵ１０１が実行するプログラムや各種のデータを記憶する。パラメータ決定装置１は、ＨＤＤ１０４と共に、又はＨＤＤ１０４の代わりにＳＳＤ（Solid State Drive）を備えてもよい。

入力装置１０５は、ユーザの操作に応じた情報をパラメータ決定装置１に入力する。入力装置１０５は、例えば、タッチパッド、キーボード、マウス、又はハードウェアボタンであるが、これに限られない。

表示装置１０６は、ユーザの操作に応じた画面を表示する。表示装置１０６は、液晶ディスプレイ、又は有機ＥＬ（Electro Luminescence）ディスプレイであるが、これに限られない。パラメータ決定装置１は、タッチパッドと表示装置１０６が一体化されたタッチパネルを備えてもよい。

通信インタフェース１０７は、パラメータ決定装置１をインターネットやＬＡＮ（Local Area Network）などのネットワークに接続する。パラメータ決定装置１は、通信インタフェース１０７を介して、ネットワーク上の外部装置と通信する。

アクセラレータ１０８は、機械学習モデルによる判定方法を実行する専用のプロセッサである。ＣＰＵ１０１とアクセラレータ１０８とを併用することにより、ルールベースの判定方法と機械学習モデルによる判定方法とを並行して実行できるため、閾値の設定に要する時間を短縮できる。

バス１０９は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４、入力装置１０５、表示装置１０６、通信インタフェース１０７、及びアクセラレータ１０８を相互に接続する。

なお、パラメータ決定装置１のハードウェア構成は、図１の例に限られない。例えば、パラメータ決定装置１は、ネットワークを介して接続された複数のコンピュータにより構成されてもよい。また、パラメータ決定装置１は、アクセラレータ１０８を備えなくてもよい。この場合、ＣＰＵ１０１がルールベースの判定方法と機械学習モデルによる判定方法との両方を実行すればよい。

次に、パラメータ決定装置１の機能構成について説明する。図２は、パラメータ決定装置１の機能構成の一例を示す図である。図２に示すように、パラメータ決定装置１は、前処理部１１と、ルールベース判定部１２と、機械学習モデル判定部１３と、パラメータ設定部１４と、判定精度算出部１５と、パラメータ決定部１６と、を備える。機械学習モデル判定部１３の機能は、アクセラレータ１０８が他のハードウェア構成と協働することにより実現される。また、他の機能構成の機能は、ＣＰＵ１０１が他のハードウェア構成と協働することにより実現される。

以下、判定システムが、ルールベースの判定方法と、機械学習モデルによる判定方法と、を併用して、対象物の良否（状態）を判定する外観検査システムである場合を例に説明する。本実施形態に係るパラメータ決定装置１は、当該判定システムで利用される最適なパラメータを決定する。

前処理部１１は、テストデータＩｍｇに１つ又は複数の前処理を実行する機能を有する。テストデータＩｍｇは、対象物の画像を含む画像のデータである。前処理部１１は、予め用意されたそれぞれ異なる複数のテストデータＩｍｇを入力され、各テストデータＩｍｇに対して前処理を実行する。前処理は、フィルタ処理、明度変換処理、色相変換処理、コントラスト変換処理、二値化処理、位置調整処理、及びサイズ調整処理を含む。フィルタ処理は、膨張フィルタ、収縮フィルタ、平均化フィルタ、メディアンフィルタ、エッジ抽出フィルタ、及びエッジ強調フィルタを含む。前処理部１１が前処理したテストデータＩｍｇは、ルールベース判定部１２及び機械学習モデル判定部１３に入力される。前処理部１１は、ルールベース判定部１２に入力するテストデータＩｍｇと、機械学習モデル判定部１３に入力するテストデータＩｍｇと、にそれぞれ異なる前処理を実行してもよいし、共通の前処理を実行してもよい。前処理部１１が実行する前処理は予め設定される。

ルールベース判定部１２は、前処理されたテストデータＩｍｇに基づいて、予め設定された所定のルールに従って、対象物の良否を判定する機能を有する。具体的には、ルールベース判定部１２は、画像処理によってテストデータＩｍｇから特徴量を抽出し、抽出した特徴量と閾値Ｒｔｈとを比較し、対象物の良否を判定する。特徴量は、対象物の長さ、面積、重心、位置、色差、濃淡、及び類似度を含む。例えば、ルールベース判定部１２が傷の有無によって対象物の良否を判定する場合、ルールベース判定部１２は、テストデータＩｍｇから抽出した特徴量と閾値Ｒｔｈとを比較することで傷の有無を判定し、当該判定結果に基づいて対象物の良否を判定すればよい。ルールベース判定部１２は、対象物の良否を判定するためのルールとして、既存の任意のルールを採用することができる。ルールベース判定部１２による判定結果Ｌ１は、判定精度算出部１５に入力される。

ここで、図３は、対象物の良否の判定結果の一例を示す図である。図３における「ＯＫ」は「良品」に相当し、「ＮＧ」は「不良品」に相当する。図３の例では、ルールの閾値Ｒｔｈは５０であり、ルールベース判定部１２は、テストデータＩｍｇ１〜Ｉｍｇ１０００の対象物についてそれぞれ良否を判定している。例えば、テストデータＩｍｇ１，２の対象物は「良品（ＯＫ）」、テストデータＩｍｇ３の対象物は「不良品（ＮＧ）」と判定されている。

機械学習モデル判定部１３は、前処理されたテストデータＩｍｇに基づいて、所定の機械学習モデルを利用して、対象物の良否を判定する機能を有する。具体的には、機械学習モデル判定部１３は、予め保存された機械学習モデルにテストデータＩｍｇを入力し、対象物の良否の確信度を算出し、算出した確信度と閾値Ｍｔｈとを比較し、対象物の良否を判定する。機械学習モデルは、ディープラーニング、決定木、ＳＶＭ（Support Vector Machine）などの、既存の任意の方法を利用して予め用意される。確信度は、対象物が良品である確信度であってもよいし、不良品である確信度であってもよい。機械学習モデル判定部１３による判定結果Ｌ２は、判定精度算出部１５に入力される。

図３の例では、機械学習モデルの閾値Ｍｔｈは８０であり、機械学習モデル判定部１３は、テストデータＩｍｇ１〜Ｉｍｇ１０００の対象物についてそれぞれ良否を判定している。例えば、テストデータＩｍｇ１の対象物は「良品（ＯＫ）」、テストデータＩｍｇ２，３の対象物は「不良品（ＮＧ）」と判定されている。

パラメータ設定部１４は、ルールベース判定部１２が利用するルールの閾値Ｒｔｈと、機械学習モデル判定部１３が利用する機械学習モデルの閾値Ｍｔｈと、をそれぞれ設定する。

判定精度算出部１５は、ルールベース判定部１２の判定結果Ｌ１と、機械学習モデル判定部１３の判定結果Ｌ２と、に基づいて、対象物の良否を判定する。図３の例では、判定精度算出部１５は、判定結果Ｌ１が「不良品（ＮＧ）」（第２状態）であり、判定結果Ｌ２が「不良品（ＮＧ）」である場合、対象物が「不良品（ＮＧ）」であると判定し、他の場合、対象物が「良品（ＯＫ）」（第１状態）であると判定している。以下、判定精度算出部１５による判定結果を、判定結果Ｌ３と称する。

また、判定精度算出部１５は、２つの判定結果Ｌ１，Ｌ２に基づいて得られた判定結果Ｌ３と、回答データと、を比較し、判定精度を算出する。回答データは、テストデータＩｍｇの良否を示すデータであり、テストデータと共に予め用意される。図３の回答データによれば、テストデータＩｍｇ１，３の対象物は「不良品（ＮＧ）」であり、テストデータＩｍｇ２の対象物は「良品（ＯＫ）」である。判定精度は、判定結果Ｌ３における良否と、回答データにおける良否と、の一致率に相当する。図３の例では、判定結果Ｌ３及び回答データのテストデータＩｍｇ２，３の良否は一致しており、判定結果Ｌ３及び回答データのテストデータＩｍｇ１の良否は相違している。

判定精度算出部１５は、判定結果Ｌ３と回答データとを比較して得られた判定精度を、閾値Ｒｔｈ，Ｍｔｈと対応付けてパラメータ決定部１６に入力する。図３の例では、判定結果Ｌ３の判定精度は９５％である。

なお、判定結果Ｌ１，Ｌ２に基づく判定方法は、上記の例に限られない。例えば、判定精度算出部１５は、判定結果Ｌ１が「良品（ＯＫ）」（第１状態）であり、判定結果Ｌ２が「良品（ＯＫ）」である場合、対象物が「良品（ＯＫ）」であると判定し、他の場合、対象物が「不良品（ＮＧ）」（第２状態）であると判定してもよい。

パラメータ決定部１６は、判定精度算出部１５から入力された、閾値Ｒｔｈ，Ｍｔｈに対応する判定精度をそれぞれ記憶し、記憶した判定精度に基づいて、閾値Ｒｔｈ，Ｍｔｈの最適範囲を決定する。具体的には、パラメータ決定部１６は、判定精度が所定値以上の閾値Ｒｔｈ，Ｍｔｈの範囲を、閾値Ｒｔｈ，Ｍｔｈの最適範囲として決定する。

図４は、パラメータ決定部１６が記憶する判定精度の一例を示す表である。判定精度の所定値が９０％である場合、図４の例では、閾値Ｍｔｈが７５以上９０以下かつ閾値Ｒｔｈが５０以上５５以下の範囲と、閾値Ｍｔｈが８５以上９０以下かつ閾値Ｍｔｈが４５以上５５以下の範囲と、が閾値Ｒｔｈ，Ｍｔｈの最適範囲として決定される。

次に、パラメータ決定装置１が実行する処理について説明する。図５は、パラメータ決定装置１が実行する処理の一例を示すフローチャートである。

パラメータ決定装置１にテストデータＩｍｇ及び回答データが入力されると、まず、前処理部１１が、テストデータＩｍｇに対して、ルールベースの判定方法で対象物の良否を判定するための前処理と、機械学習モデルによる判定方法で対象物の良否を判定するための前処理と、をそれぞれ実行する（ステップＳ１０１）。前者の前処理を実行されたテストデータＩｍｇは、ルールベース判定部１２に入力され、後者の前処理を実行されたテストデータＩｍｇは、機械学習モデル判定部１３に入力される。

次に、パラメータ設定部１４が、ルールベース判定部１２が利用する閾値Ｒｔｈと、機械学習モデル判定部１３が利用する閾値Ｍｔｈと、をそれぞれ設定する（ステップＳ１０２）。パラメータ設定部１４が設定可能な閾値Ｒｔｈ，Ｍｔｈの範囲は、最適範囲が含まれるように、予め設定される。図４の例では、設定可能な閾値Ｒｔｈ，Ｍｔｈの範囲は、閾値Ｒｔｈが４０以上６０以下かつ閾値Ｍｔｈが７０以上９０以下の範囲である。パラメータ設定部１４は、設定可能な閾値Ｒｔｈ，Ｍｔｈの範囲に含まれるいずれかの値を、閾値Ｒｔｈ，Ｍｔｈとして設定すればよい。

ルールベース判定部１２は、前処理されたテストデータＩｍｇを入力され、閾値Ｒｔｈを設定されると、ルールベースの判定方法により対象物の良否を判定する（ステップＳ１０３）。得られた判定結果Ｌ１は、判定精度算出部１５に入力される。

また、機械学習モデル判定部１３は、前処理されたテストデータＩｍｇを入力され、閾値Ｍｔｈを設定されると、機械学習モデルによる判定方法により対象物の良否を判定する（ステップＳ１０４）。得られた判定結果Ｌ２は、判定精度算出部１５に入力される。

本実施形態では、ルールベースの判定がＣＰＵ１０１により実行され、機械学習モデルによる判定がアクセラレータ１０８により実行されるため、２つの判定を並行して実行することができる。これにより、最適なパラメータ（閾値Ｒｔｈ，Ｍｔｈ）の決定に要する時間を短くできる。

判定精度算出部１５は、判定結果Ｌ１，Ｌ２を入力されると、入力された判定結果Ｌ１，Ｌ２に基づいて、対象物の良否を判定する（ステップＳ１０５）。

次に、判定精度算出部１５は、得られた判定結果Ｌ３と、入力された回答データと、を比較して、判定精度を算出する（ステップＳ１０６）。算出された判定精度は、ルールベース判定部１２及び機械学習モデル判定部１３が利用した閾値Ｒｔｈ，Ｍｔｈと対応付けて、パラメータ決定部１６に入力される。パラメータ決定部１６は、入力された判定精度及び閾値Ｒｔｈ，Ｍｔｈを対応付けて記憶する。

その後、パラメータ決定装置１は、パラメータ設定部１４が設定可能な全ての閾値Ｒｔｈ，Ｍｔｈについて、対応する判定精度が算出されたか確認する（ステップＳ１０７）。対応する判定精度が算出されていない閾値Ｒｔｈ，Ｍｔｈが有る場合（ステップＳ１０７：ＮＯ）、パラメータ設定部１４は、閾値Ｒｔｈ，Ｍｔｈを変更する（ステップＳ１０２）。この際、パラメータ設定部１４は、閾値Ｒｔｈ，Ｍｔｈの少なくとも一方を、所定間隔ずつ変更すればよい。図４の例では、閾値Ｒｔｈ，Ｍｔｈは、５ずつ変更されているが、閾値Ｒｔｈ，Ｍｔｈの変更の間隔はこれに限られない。

以降、パラメータ設定部１４が設定可能な全ての閾値Ｒｔｈ，Ｍｔｈについて、対応する判定精度が算出されるまで、ステップＳ１０２〜Ｓ１０７の処理が繰り返し実行される。パラメータ設定部１４が設定可能な全ての閾値Ｒｔｈ，Ｍｔｈについて、対応する判定精度が算出されると（ステップＳ１０７：ＹＥＳ）、パラメータ決定部１６が、記憶している判定精度に基づいて、閾値Ｒｔｈ，Ｍｔｈの最適範囲を決定する（ステップＳ１０８）。

以上説明した通り、本実施形態に係るパラメータ決定装置１は、ルールベースの判定方法と、機械学習モデルによる判定方法と、を併用する判定方法の判定精度が高くなるように、閾値Ｒｔｈ，Ｍｔｈ（パラメータ）の最適範囲を決定することができる。外観検査システムのユーザは、パラメータ決定装置１により決定された最適範囲に含まれる閾値Ｒｔｈ，Ｍｔｈを利用することにより、所定値以上の判定精度で対象物の良否を判定することができる。

なお、以上では、閾値Ｒｔｈ，Ｍｔｈの最適範囲のみを決定する場合を例に説明したが、パラメータ決定装置１は、前処理のパラメータ、ルールベースの判定方法で利用する閾値Ｒｔｈ以外のパラメータ、及び機械学習モデルによる判定方法で利用する閾値Ｍｔｈ以外のパラメータの最適範囲を決定してもよい。

また、テストデータが前処理済みである場合、及びルール及び機械学習モデルがテストデータの前処理を必要としない場合には、パラメータ決定装置１は、前処理部１１を備えなくてもよい。

また、パラメータ決定装置１は、複数のルールベース判定部１２を備えてもよいし、複数の機械学習モデル判定部１３を備えてもよい。この場合、パラメータ決定装置１は、１つ又は複数の判定結果Ｌ１と、１つ又は複数の判定結果Ｌ２と、に基づいて対象物の良否を判定し、得られた判定結果Ｌ３の判定精度に基づいて、各ルールに対応する１つ又は複数の閾値Ｒｔｈと、各機械学習モデルに対応する１つ又は複数の閾値Ｍｔｈと、の最適範囲を決定すればよい。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更可能であり、その応用形態に応じて適切に定めることができる。

１：パラメータ決定装置
１１：前処理部
１２：ルールベース判定部
１３：機械学習モデル判定部
１４：パラメータ設定部
１５：判定精度算出部
１６： パラメータ決定部
Ｌ１，Ｌ２，Ｌ３：判定結果

Claims (8)

1. コンピュータが実行するパラメータ決定方法であって、
   対象物の画像を含む画像のデータに基づいて、所定のルールに従って、前記対象物の状態を判定するルールベース判定ステップと、
   前記画像のデータに基づいて、機械学習モデルを利用して、前記対象物の状態を判定する機械学習モデル判定ステップと、
   前記ルール及び前記機械学習モデルのパラメータを設定するパラメータ設定ステップと、
   前記ルールベース判定ステップ及び前記機械学習モデル判定ステップの判定結果に基づいて、前記対象物の状態を判定し、当該判定結果及び回答データに基づいて、前記対象物の状態の判定精度を算出する判定精度算出ステップと、
   前記判定精度に基づいて、前記ルール及び前記機械学習モデルのパラメータの最適範囲を決定するパラメータ決定ステップと、
   を含むパラメータ決定方法。
2. 前記パラメータは、前記ルール及び前記機械学習モデルの閾値を含む
   請求項１に記載のパラメータ決定方法。
3. 前記パラメータ設定ステップが設定可能な前記パラメータの範囲は予め設定される
   請求項１又は請求項２に記載のパラメータ決定方法。
4. 前記パラメータ決定ステップは、前記判定精度が所定値以上のパラメータの範囲を、前記最適範囲に決定する
   請求項１から請求項３までのいずれか１項に記載のパラメータ決定方法。
5. 前記状態は、第１状態及び第２状態を含み、
   前記判定精度算出ステップは、前記ルールベース判定ステップ及び前記機械学習モデル判定ステップの判定結果がいずれも前記第２状態である場合、前記対象物の状態を前記第２状態と判定し、他の場合、前記対象物の状態を前記第１状態と判定する
   請求項１から請求項４までのいずれか１項に記載のパラメータ決定方法。
6. 前記画像のデータの前処理を実行する前処理ステップを更に実行させる
   請求項１から請求項５までのいずれか１項に記載のパラメータ決定方法。
7. 対象物の画像を含む画像のデータに基づいて、所定のルールに従って、前記対象物の状態を判定するルールベース判定部と、
   前記画像のデータに基づいて、機械学習モデルを利用して、前記対象物の状態を判定する機械学習モデル判定部と、
   前記ルール及び前記機械学習モデルのパラメータを設定するパラメータ設定部と、
   前記ルールベース判定部及び前記機械学習判定部の判定結果に基づいて、前記対象物の状態を判定し、当該判定結果及び回答データに基づいて、前記対象物の状態の判定精度を算出する判定精度算出部と、
   前記判定精度に基づいて、前記ルール及び前記機械学習モデルのパラメータの最適範囲を決定するパラメータ決定部と、
   を備えるパラメータ決定装置。
8. コンピュータに、
   対象物の画像を含む画像のデータに基づいて、所定のルールに従って、前記対象物の状態を判定するルールベース判定ステップと、
   前記画像のデータに基づいて、機械学習モデルを利用して、前記対象物の状態を判定する機械学習モデル判定ステップと、
   前記ルール及び前記機械学習モデルのパラメータを設定するパラメータ設定ステップと、
   前記ルールベース判定ステップ及び前記機械学習モデル判定ステップの判定結果に基づいて、前記対象物の状態を判定し、当該判定結果及び回答データに基づいて、前記対象物の状態の判定精度を算出する判定精度算出ステップと、
   前記判定精度に基づいて、前記ルール及び前記機械学習モデルのパラメータの最適範囲を決定するパラメータ決定ステップと、
   を実行させるためのプログラム。

Images