JP2022552383A - 目標検出モデルのマルチパストレーニングによる機器設定の調整 - Google Patents

Abstract

マシンを制御するために用いられるシステム及び方法であって、前記方法において、第１画像処理モデルを受信することであって、当該第１画像処理モデルは入力画像を第１カテゴリまたは第２カテゴリに分類するようにトレーニングされ、第１カテゴリは第１タイプの少なくとも一つの対象が含まれる画像に対するものであり、第２カテゴリは第１タイプの少なくとも一つの対象が含まれない画像に対するものであることと、偽陽性結果としての推定結果のサブセットを識別することと、当該第１セットの画像から第１セットの新たなトレーニングデータを生成することであって、前記第１セットの画像における対応画像を補強して対応する複数の画像を取得することと、対応する複数の画像が偽第１カテゴリの少なくとも一つの対象を含むとマークされることとを含むことと、第２画像処理モデルをトレーニングすることにより入力画像を第１カテゴリ、第２カテゴリと偽第１カテゴリに分類することと、第２画像処理モデルの推定結果に基づいて、マシンの機器設定を修正することと、を含む。

Description

（関連出願の相互参照）
本願は、２０１９年１０月１８日にアメリカ特許局に提出された、出願番号が１６／６５７，９７５であるアメリカ特許出願に基づいて優先権を主張し、その全内容が参照として本願に組み込まれる。

本願の実施例は、画像処理分野に関し、特に改善の画像処理モデルを用いて対象を検出して、検出された対象に基づいて機器を自動的に操作するシステム及び方法に関する。

例えば、家電製品の機器は、一般的に異なる事前定義された操作設定を有する。例えば、洗濯機は複数種の洗濯循環設定を有し、複数種の洗濯循環設定は、異なる水温、タンブリング速度、回転速度等を有する。電子レンジは複数種の調理設定を有し、複数種の調理設定は異なるマイクロ波パワーレベル及び調理時間を有する。適切な設定を選択することは、機器の性能を最適化させるこよにとって重要である。例えば、選択したい衣類に対して適切な洗濯循環設定を選択することは、衣類の損傷（例えば、引張り、収縮または変色）の防止及び最適な洗浄効果の実現にとって非常に重要である。いくつかの場合において、機器は画像処理モデルに依存して操作される一つまたは複数の対象（または対象のタイプ）（例えば、洗濯機の衣類のタイプ、電子レンジの食物のタイプ）を検出し、かつ検出された一つまたは複数の対象（または対象のタイプ）に基づいて機器操作設定を自動的に選択する。

例えば、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ、ＣＮＮ）及びその変体の機器学習モデルは強い画像処理モデルであり、対象検出タスクに広く適用されている。しかしながら、機器学習モデルの性能が悪くなりがちであるので、各種の機器の操作対象としての関連対象に対する分類及び検出が不正確になる。

これらの原因に基づいて、対象の検出及び分類に用いられる画像処理モデルを向上させることが強く求められている。

背景技術で述べられたように、例えば、畳み込みニューラルネットワーク（ＣＮＮ）及びその変体の機器学習モデルは強い画像処理モデルであり、対象検出タスクに広く適用されている。しかしながら、誤分類されやすい対象のカテゴリ、例えば対象の検出／分類アルゴリズムの観点で陽性サンプルと非常に類似するように見られる「難」陰性サンプル（偽陽性）、または陰性サンプルと非常に類似するように見られる「難」陽性サンプル（偽陰性）が存在するので、高精度（例えば、偽陽性率が低い）及び高リコール率（偽陰性率が低い）という両者で対象検出を行うのは挑戦的である。例えば、衣類が洗濯機のドラムに積載されると、絡み合ったり、ねじれたり、ひいては結び目ができたりすることが多い。結果的に、既存の画像処理モデルは常に間違って１種の衣類（例えば、捩じれて絡み合ったシャツ）を別の１種の衣類（例えば、ブラジャー）と識別することによって、偽陽性出力を継続的に生成する。仮に、洗濯機が間違ってブラジャーを洗濯するために（例えば、低いタンブリング速度及び低い回転速度が求められる）、シャツを洗濯するために設計された洗濯循環設定（例えば、高いタンブリング速度、高い回転速度等）を選択すれば、洗濯機はブラジャーを永久に損傷する。

これらの原因によって、画像処理モデルの対象の検出及びバイカテゴリ分類の精度を向上させ、同時に高いリコール率を保ち、かつ検出された分類済みの対象に基づいて機器操作設定を自動的に選択するために、改善の方法及びシステムが強く求められる。

本発明はシステム及び方法を説明し、この方法において、第１画像処理モデルを受信することであって、第１画像処理モデルは対応する入力画像を第１カテゴリまたは第２カテゴリに分類するようにトレーニングされ、第１カテゴリは、第１タイプの少なくとも一つの対象が含まれる画像に対するものであり、第２カテゴリは、第１タイプの少なくとも一つの対象が含まれない画像に対するものであることと、第１画像処理モデルが出力した複数の推定結果から、偽陽性結果としての推定結果の第１サブセットを識別し、偽陽性結果は、第１タイプの少なくとも一つの対象が含まれない第１セットの画像を第１タイプの少なくとも一つの対象が含まれる画像に対する第１カテゴリに分類するものであることと、第１セットの画像から第１セットの新たなトレーニングデータを生成することであって、第１セットの画像における対応画像を補強して第１の対応する複数の画像を取得することと、第１の対応する複数の画像が偽第１カテゴリの少なくとも一つの対象を含むとマークされることとを含み、偽第１カテゴリは、第１カテゴリ及び第２カテゴリと異なることと、少なくとも第１セットの新たなトレーニングデータが含まれるトレーニングデータ集合によって第２画像処理モデルをトレーニングすることにより、対応する入力画像を、第１タイプの少なくとも一つの対象が含まれる画像に対する第１カテゴリと、第１タイプの少なくとも一つの対象が含まれない画像に対する第２カテゴリと、第１画像処理モデルによって第１カテゴリと誤分類されやすい対象が含まれる画像に対する偽第１カテゴリと、に分類することと、第１マシンによってキャプチャされた第１入力画像の第１推定結果に基づいて、第１マシンの機器設定を修正することであって、第１推定結果は、第２画像処理モデルによって生成され、かつ第１カテゴリに対応することと、を含む。

本発明で説明された方法及びシステムに基づいて、画像処理モデルを用いて誤分類されやすい対象を検出及び分類ことに関連する各種の問題を解決できる。

一つの方面において、一部の実施例により、家電製品に通信可能に結合され、かつ家電製品の一つまたは複数の機能を制御するように配置されるコンピューティングシステムによって前記方法を実行する。

一部の実施例により、コンピューティングシステムは、プロセッサと、命令が記憶されているメモリとを含み、前記命令が実行されるとき、一つまたは複数のプロセッサに本発明で説明される方法を実行させる。一部の実施例により、電子デバイスは、一つまたは複数のプロセッサと、一つまたは複数のプログラムが記憶されているメモリとを含み、一つまたは複数のプログラムが一つまたは複数のプロセッサによって実行されるように配置され、かつ一つまたは複数のプログラムは命令を含み、当該命令は本文で説明されるいかなる方法の操作の性能を実行しまたはその実行を引き起こすことに用いられる。一部の実施例により、非一時的なコンピュータ可読記憶媒体に命令が記憶され、当該命令が電子装置によって実行されるとき、電子装置が本文で説明されるいかなる方法の操作の性能を実行しまたはその実行を引き起こす。一部の実施例により、電子デバイスは、画像のキャプチャに用いられる装置と、本文で説明されるいかなる方法の操作の性能を実行しまたはその実行を引き起こす装置とを含む。

以下の詳しい説明によって、本願の様々な追加した利点が明らかである。

一部の実施例による家電製品システムの操作環境を示すブロック図である。 一部の実施例による家電製品システムを示すブロック図である。 一部の実施例による家電製品システムを示すブロック図である。 一部の実施例による、洗濯機に積載された洗濯される衣類の検出画像に基づいて洗濯循環設定を自動的に選択するプロセスの模式図である。 一部の実施例による対象の検出及びバイカテゴリ分類の精度を向上させるとともにリコール率を保つように画像処理モデルをトレーニングすることに用いられるプロセスの模式図である。 一部の実施例による図３で説明されるマルチパストレーニングプロセスにおいて生成される画像処理モデルの模式図であり、そのうち、更新されるモデルがリコール率を保つとともに対象の検出及びバイカテゴリ分類の精度を向上させる。 一部の実施例による、物体検出モデルのマルチパストレーニングによって生成された画像検出とバイカテゴリ分類結果とに基づいて機器設定の自動選択を実行する方法のフローチャートである。 一部の実施例による例示的な家電製品の図である。

図面における複数の図による同一の符号は対応する部分を示す。

図面を参照しなから好ましい実施例に対して詳しく説明することによって、以下は開示した技術の上記した特徴並びに利点及びその付加特徴並びに利点をよりよく理解する。
現在開示された技術の実施例または従来技術における技術的手段をより良く説明するために、以上は実施例または従来技術を説明するために必要な図面を簡単に紹介した。明らかに、以上の説明における図面は現在開示された技術の一部の実施例を示すものに過ぎず、そして、当業者にとって創造工夫をせずにこれらの図面により他の図面を取得することもできる。

以下は実施例を詳しく参照して、図面において実施例の例を示す。以下の詳しい説明において、本開示が呈したテーマに対する徹底した理解を提供するために多くの具体的な詳細を説明した。しかし当業者にとってこれらの具体的な詳細がない場合でも本開示のテーマを実践できることは明らかである。他の実例において、実施例の各方面を不必要的に誤魔化すことを回避するために周知方法、プロセス、コンポーネント及び回路を詳しく説明していない。

以下は本願の実施例における図面を参照しながら、本願の実施例における技術的手段に対して明らかに且つ完全に説明する。明らかに、説明される実施例は本願の一部の実施例であり、全ての実施例ではない。本願における実施例に基づいて、当業者が創造的な労働をしないうちに取得するすべての他の実施例は、本願の範囲に属する。

図１Ａは一部の実施例による家電製品システムの操作環境１００を示すブロック図である。
家電製品システムの操作環境１００は一つまたは複数の家電製品（例えば、電器Ａ１１０、電器Ｂ１１２及び電器Ｃ１１４）を含み、一つまたは複数の家電製品はネットワーク１９０（例えば、インターネットのワイドエリアネットワーク、またはスマートホームネットワークのローカルエリアネットワーク）を介して一つまたは複数のサーバ（例えば、トレーニングセットサーバ１２０及びトレーニングモデルサーバ１２２）に接続され、及び一つまたは複数のユーザデバイス（例えば、ユーザデバイスＡ１１１、ユーザデバイスＢ１１３及びユーザデバイスＣ１１５）および／またはアノテーションステーション１２８に選択可能に接続される。

一部の実施例において、一つまたは複数の家電製品（例えば、スマート洗濯機、スマート電子レンジ等）は、元のセンサデータ（例えば、画像、重量、温度、ヒートマップのデータ等）を収集し且つ元のセンサデータを対応するユーザデバイス（例えば、スマートフォン、タブレット等）、アノテーションステーション１２８（例えば、ワークステーション及びデスクトップコンピューター）および／またはトレーニングセットサーバ１２０（例えば、家電製品のメーカーまたはメーカー向けのサードパーティのサービスプロバイダーによって提供されるサーバ）に送信するように配置される。一部の実施例において、一つまたは複数の家電製品は、トレーニングモデルサーバ１２２および／または対応するユーザデバイスから制御命令を受信するように配置される（例えば、電器Ｃ１１４は野菜をローストするためにトレーニングモデルサーバ１２２から制御命令を受信して電子レンジの温度を４２５°Ｆに設置することができ、電器Ａ１１０はユーザデバイスＡ１１１から制御命令を受信して洗濯循環を選択することができる）。一つまたは複数の家電製品（例えば、電器Ａ１１０、電器Ｂ１１２及び電器Ｃ１１４）の更なる詳細に関しては本開示の他の部分の詳しい説明を参照する。

一部の実施例において、一つまたは複数のユーザデバイスは、対応する電器から元のセンサデータを受信するように配置される（例えば、電器Ａ１１０に対応するユーザデバイスＡ１１１は電器Ａ１１０から元のセンサデータを受信するように配置される）。一部の実施例において、一つまたは複数のユーザデバイスはさらにアノテーションデータをアノテーションステーション１２８および／またはトレーニングセットサーバ１２０に送信するように配置される。一部の実施例において、一つまたは複数のユーザデバイスは制御命令を生成して対応する電器に制御命令を送信するように配置される（例えば、ユーザデバイスＡ１１１は電器Ａ１１０に命令を送信して電器Ａ１１０をオン／オフし、または電器Ａ１１０における設定を選択する）。一部の実施例において、一つまたは複数のユーザデバイスは携帯電話、タブレットまたはコンピュータデバイスを含むが、これらに限定しない。一部の実施例において、一つまたは複数のユーザデバイスは一つの電器に対応してもよく（例えば、コンピュータおよび携帯電話はいずれも電器Ａ１１０に対応してもよく（例えば、機器設定のプロセスにおいて両方も電器Ａの制御デバイスとして登録される）、それによって、電器Ａ１１０が元のセンサデータをコンピュータおよび携帯電話中の一方または両方に送信することができる）。一部の実施例において、ユーザデバイスは電器に対応する（例えば、電器とデータを共有するおよび／または電器と通信する）（例えば、ユーザデバイスＡ１１１は電器Ａ１１０に対応する）。例えば、電器Ａ１１０はデータを収集して（例えば、画像または温度データなどの元のセンサデータ）、収集されたデータをユーザデバイスＡ１１１に送信してもよく、それによって、ユーザはユーザデバイスＡ１１１において収集されたデータをアノテーションすることができる。

一部の実施例において、アノテーションステーション１２８は一つまたは複数の電器（例えば、電器１１０、１１２および１１４）から収集されたデータを受信するように配置され、それによって、専門なアノテーション担当者が収集されたデータに対してアノテーションする。一部の実施例において、アノテーションステーション１２８は一つまたは複数のユーザデバイス（例えば、ユーザデバイス１１１、１１３および１１５）からアノテーションデータを受信するように配置され、それによって、専門なアノテーション担当者によるレビュー、編集、および／または承認を行う。一部の実施例において、一つまたは複数のユーザデバイスからのアノテーションデータがアノテーションステーション１２８で承認されると、アノテーションステーションは、承認されたデータをトレーニングセットサーバに記憶されたトレーニングデータ集合に含まれるようにトレーニングセットサーバ１２０に送信する。一部の実施例において、アノテーションステーション１２８はサーバ１２０からアノテーションデータを検索して、専門なアノテーション担当者によるレビュー、編集、および／または承認を行う。一部の実施例において、アノテーションステーション１２８はサーバ１２０からアノテーションされていないデータを検索して、専門なアノテーション担当者によるアノテーションを行う。アノテーションステーション１２８においてアノテーションされたおよび／または承認されたセンサデータはトレーニングデータ集合に含まれるようにサーバ１２０に返される。

一部の実施例において、トレーニングセットサーバ１２０は一つまたは複数の家電製品（例えば、電器１１０、１１２および１１４）から元のセンサデータを受信し、および／または一つまたは複数のユーザデバイス（例えば、ユーザデバイス１１１、１１３および１１５）からアノテーションデータを受信するように配置される。一部の実施例において、トレーニングセットサーバ１２０はさらに、アノテーションステーション１２８に元のデータおよび／またはアノテーションデータを送信して、アノテーションステーション１２８からアノテーションされたおよび／または承認されたアノテーションデータを受信するように配置される。トレーニングセットサーバ１２０は、トレーニングモデルサーバ１２２が採用するトレーニングモデルおよびトレーニング方法によって、アノテーションデータを事前処理し、例えば、トレーニングデータに対してグループ化、分割並びに関連付けし、及びトレーニングデータをインデックス並びに記憶するように配置される。トレーニングセットサーバ１２０は、トレーニングデータをリクエストする特定のトレーニングモデルに基づいて、選択されたトレーニングデータ（例えば、アノテーションステーション１２８において承認されたアノテーションデータに対応するデータ又はこのアノテーションデータ基づくデータを含む）をトレーニングモデルサーバ１２２に送信するように構成される。

一部の実施例において、トレーニングモデルサーバ１２２は、トレーニングセットサーバ１２０からトレーニングデータを受信するように配置される。トレーニングモデルサーバはさらに、選択可能に一つまたは複数の電器および／またはユーザデバイスに制御命令（例えば、特定の家電製品の制御プロトコルに従って準備された機器命令）および／またはテキストデータ（例えば、テキストメッセージ）を送信するように配置される。トレーニングモデルサーバ１２２は、識別モデル１２３（例えば対象を識別および分類するために用いられる）、位置決めモデル１２４（例えば、対象の位置決めおよび対象の輪郭の表示に用いられる）および他のモデルを含む。識別モデル１２３は、家電製品によって操作される対象（例えば、衣類、食物等）の識別に関連する。位置決めモデル１２４は、家電製品における品物の位置決めに関連する。例えば、位置決めモデル１２４は、スマートオーブンのオーブンラックの左側にある２枚の鶏肉、およびスマートオーブンのオーブンラックの右側にある４枚のクッキーを識別して、スマートオーブンによってキャプチャされた画像においてそれらの輪郭を一つずつ描くことに用いられ。トレーニングモデルサーバ１２２は、トレーニングセットサーバ１２０から受信したトレーニングデータに基づいて識別モデル１２３、位置決めモデル１２４および／または他のモデルをトレーニングする。識別モデル１２３、位置決めモデル１２４および他のモデルのトレーニングが十分に完了すると（例えば、精度の閾値レベルに達すると）、トレーニングセットサーバ１２０は家電製品からリクエストを受信して、家電製品によってキャプチャされたセンサデータに基づいてアイテムのアイデンティティ／位置をリアルタイムで決定する。一部の実施例において、トレーニングセットサーバ１２０によってアイテムを決定する条件は、リクエストを行った家電製品に返されて提供され、それにより、各家電製品は決定されたアイテムの条件に基づいて適切な動作を決定し、例えば、家電製品の操作を変化し、および／またはユーザに警告する。

一部の実施例において、家電製品（例えば、電器１１０、１１２および１１４）、ユーザデバイス（例えば、ユーザデバイス１１１、１１３および１１５）、アノテーションステーション１２８、トレーニングセットサーバ１２０とトレーニングモデルサーバ１２２は一つまたは複数のネットワーク１９０によって接続される（例えば、一つまたは複数のネットワーク１９０とデータを共有し、および／またはそれと通信する）。一つまたは複数のネットワーク１９０は有線および無線ネットワークを含んでもよく、かつ家庭のローカルエリアネットワークまたはワイドエリアネットワーク（例えば、インターネット）であってもよい。

図１Ｂは一部の実施例による家電製品システム１０１を示すブロック図である。

一部の実施例において、図１Ｂに示すように、家電製品システム１０１は、家電製品１４０および家電製品１４０と別に実現されるコンピューティングシステム１３０を含む。家電製品１４０は、図１Ａにおける家電製品１１０、１１２および１１４のいずれか一つとして用いられることができる。一部の実施例において、コンピューティングシステム１３０は一つまたは複数のネットワーク１９０を介して家電製品１４０と通信する。一部の実施例において、コンピューティングシステム１３０はユーザデバイスで実現される（例えば、家電製品を制御し且つ家電製品とインタラクションするためのユーザーアプリケーションに関連する）。一部の実施例において、コンピューティングシステム１３０および電器１４０はさらに、コンピューティングシステム１６０と通信して、クライアント－サーバーに基づいて、コンピューティングシステム１３０および電器１４０におけるいくつかの機能を完成させる。一部の実施例において、コンピューティングシステム１６０は家電製品のメーカーのサーバで（例えば、トレーニングモデルサーバ１２２で）実現される。一部の実施例において、コンピューティングシステム１６０はスタンドアロンコンピュータで（例えば、スマートホームのローカルサーバで）実現される。

図１Ｂを参照し、コンピューティングシステム１３０は、上記の図１Ａに関して説明されたユーザデバイス（例えば、ユーザデバイス１１１、１１３および１１５）に対応する、アノテーションユーザインターフェースモジュール１３２、画像処理モジュール１３４、ネットワーク通信ユニット１３６および一つまたは複数のデータベース１３８のうちの一つまたは複数を含む。一部の実施例において、コンピューティングシステム１３０は、ユーザ側操作進捗監視モジュール１４９およびユーザ側電器機能制御モジュール１５３をさらに含み、それにより、上記のような家電製品システムのデータ収集およびアノテーションを促進するほか、さらに家電製品システムの機器操作進捗監視および電器制御を促進する。

一部の実施例において、アノテーションユーザインターフェースモジュール１３２により、コンピューティングシステム１３０のユーザが対応する電器１４０（例えば、電器１１０、１１２または１１４）から受信された元のセンサデータを閲覧およびアノテーションできる。例えば、ユーザはそのユーザデバイス（例えば、ユーザデバイス１１１、１１３または１１５）におけるアプリケーションを使用して対応する電器によって記録された画像および温度データを閲覧することができる。一部の実施例により、ユーザは収集されたデータに対してアノテーションおよび詳細を追加できる。

一部の実施例において、画像処理モジュール１５５は、電器１４０のイメージングシステムによってキャプチャされた画像を取得して、当該画像を処理して分析する。画像処理モジュール１５４の機能および電器１４０のイメージングシステムの機能は、以下に例えば図３を参照して説明される。

ネットワーク通信ユニット１３６により、コンピューティングシステム１３０は、一つまたは複数のネットワーク１９０を介して電器１４０および／またはコンピューティングシステム１６０と通信することができる。

一部の実施例において、データベース１３８は前にキャプチャされた対象画像又は他の類似する家電製品システムからの画像を含む。一部の実施例において、データベース１３８は、コンピューティングシステムがユーザーに栄養情報およびレシピを提供することを可能にする成分データベース、またはコンピューティングシステムがユーザーに洗濯命令を提供することを可能にする衣類データベースを含む。

一部の実施例において、コンピューティングシステム１３０は、コンピューティングシステム１６０および電器１４０と結合してユーザ側機能、例えば、ユーザ側操作進捗監視および電器機能制御のユーザ側機能を提供するアプリケーションを含む。

一部の実施例において、ユーザ側進捗監視モジュール１４９は電器１４０によってキャプチャされたリアルタイムのセンサデータに基づいて機器操作の進捗を決定するように配置される。

一部の実施例において、ユーザ側電器機能制御モジュール１５３はユーザに対してユーザインターフェースを提供して電器の機能（例えば、電器のオン／オフまたは電器のパラメータの設置等）を直接的に制御し、および／または進捗監視の結果に基づいて制御命令を自動的に生成するように配置される。一部の実施例において、進捗監視の結果はユーザ側進捗監視モジュール１４９からユーザ側電器機能制御モジュール１５３に提供される。一部の実施例において、進捗監視の結果はコンピューティングシステム１６０からユーザ側電器機能制御モジュール１５３に提供される。一部の実施例において、進捗監視の結果は電器１４０からユーザ側電器機能制御モジュール１５３に提供される。

一部の実施例において、電器１４０は、１つまたは複数の第１センサ（例えば、センサ１４１）、１つまたは複数の加熱ユニット１４３、ディスプレイ１４４、Ｉ／Ｏモジュール１４５、ユーザインターフェース１４６、ネットワーク通信ユニット１４７、機械ユニット１４８、制御モジュール１５５、イメージングシステム、および選択可能な電器側動作進捗監視モジュール１４９’を含む。制御モジュール１５５は、電器側電器機能制御ユニット１５３’を選択可能に含む。

一部の実施例において、一つまたは複数の第１センサ１４１は、構造化データ、例えば温度、重量および／または湿度をキャプチャするように配置される。本開示で討論されたように、構造化データは、例えば、温度、湿度、時間、オン／オフ、オーブンモード等の定量または状態データを示す。例えば、一つまたは複数の第１センサ２１２は、家電製品１４０の温度センサ（例えば、温度計）または湿度センサ、または重量センサであってもよい。

一部の実施例において、一つまたは複数の加熱ユニット１４３は、加熱電器の少なくとも一部として配置される（例えば、加熱スマートオーブンの調理室の加熱コイルとして配置される）。

一部の実施例において、電器１４０はディスプレイ１４４を含み、ディスプレイ１４４はユーザに電器１４０に関する情報（例えば、現在選択される洗濯循環）を提供する。一部の実施例において、ディスプレイ１４４はＩ／Ｏモジュール１４５およびユーザインターフェース１４６と集積されてもよく、それによって、ユーザが情報を電器１４０に入力しまたは電器１４０から情報を読み出す。一部の実施例において、ディスプレイ１４４は、Ｉ／Ｏモジュール１４５およびユーザインターフェース１４６と結合してユーザにアドバイス、アラームと栄養情報を提供して、ユーザから制御命令（例えば、電器１４０を介して提供されるハードウエアおよび／またはソフトウェアインターフェース）を受信する。一部の実施例において、ディスプレイ１４４は、タッチスクリーンディスプレイ、またはボタンを含むディスプレイであってもよい。一部の実施例において、ディスプレイ１４４は、タッチスクリーン特徴を有しない簡単なディスプレイ（例えば、従来のＬＥＤまたはＬＣＤディスプレイ）、かつユーザインターフェース１４６は、手動で制御できるハードウエアボタンまたはノブであってもよい。一部の実施例において、ユーザインターフェース１４６は、選択可能に、ディスプレイ、スピーカ、キーボード、タッチスクリーン、音声入出力インターフェース等のうちの一つまたは複数を含む。

ネットワーク通信ユニット１４７は、機能でネットワーク通信ユニット１３７に類似する。ネットワーク通信ユニット１４７により、電器１４０が一つまたは複数のネットワーク１９０を介してコンピューティングシステム１３０および／またはコンピューティングシステム１６０と通信する。

本開示で説明された機械ユニット１４８は、家電製品１４０の内部感知（例えば、イメージング）、加熱および／またはレイアウトを物理的に変化させるように配置される、電器１４０のハードウエアおよび対応するソフトウェア並びにファームウェアコンポーネントを指す。例えば、一つまたは複数の第１センサ１４１は機械ユニットに対応してもよく、それにより、一つまたは複数のセンサ１４１が電器１４０内の対応する領域をスキャンするように移動することができる（例えば、モーターは、所定の領域においてデータをキャプチャするために、所定の領域においてセンサを移動させるように構成されてもよい）。一部の実施例において、家電製品システムの家電製品機能制御ユニット（例えば、家電製品側家電製品機能制御モジュール１５３’、ユーザ側電器機能制御モジュール１５３および／またはサーバ側電器機能制御モジュール１５３’’）からの命令に基づいて電器１４０の機械ユニット１４８を操作する。

一部の実施例において、電器側操作進捗監視モジュール１４９’は電器１４０の操作進捗を監視するように配置される。例えば、電器がスマートオーブンである場合、電器側操作進捗監視モジュール１４９’は一つまたは複数の第１センサ２１２および／または一つまたは複数の第２センサ２１４が記録した元のデータに基づいて、食物が中程度の熟度に調理されたと決定してもよい。一部の実施例において、電器側操作進捗監視モジュール１４９’は、食物アイテムの位置および輪郭決定モデルと、コンピューティングシステム１６０でトレーニングされた食物調理進行レベル決定モデルとを使用して、センサ１４１及びイメージングシステムによってキャプチャされたリアルタイムのセンサデータに基づいて、食物アイテムの調理の進捗を決定するように構成される。

一部の実施例において、イメージングシステムは、一つまたは複数の第２センサ１４２を含む。一つまたは複数の第２センサ１４２は非構造化データをキャプチャするように配置される。非構造化データの例は、ＲＧＢ画像および熱画像または赤外線画像を含む。例えば、電器がスマートオーブンである場合、一つまたは複数の第２センサ１４２は電器の調理箱にある食物の静止画像またはビデオをキャプチャまたは記録するように配置される。一部の実施例において、電器がスマートオーブンである場合、イメージングシステムはデータ記憶システムを含み、データ記憶システムは、食物調理箱の寸法、食物調理箱内の基準マークの寸法、カメラと食物調理箱内の各種基準マークとの間の距離を記憶し、それにより、カメラで撮影した画像を用いて画像内の食物アイテムの寸法及び形状を正確に決定することができる。そのため、イメージングシステムは、従来のイメージングシステムにおける、ユーザーが画像内のアイテムのサイズ、位置、および方向の情報を利用せずに、画像内において基準マークを配置し、又は画像を使用することに対する特別な注意を必要とする問題を排除した。一部の実施例において、イメージングシステムは、画像キャプチャトリガシステムを含む。例えば、一部の実施例において、画像キャプチャトリガシステムがカメラの視野において変化があったことを検出するとき、画像キャプチャがトリガされる。例えば、オーブンの扉が開かれると、オーブン内の照明条件が変化され、オーブンの扉が開かれることに応答して画像のキャプチャがトリガされる。一部の実施例において、食物アイテムがカメラの視野で現れ始めるとき、画像キャプチャがトリガされる。一部の実施例において、食物アイテムが完全に挿入され、且つオーブンの扉が閉じられると、画像キャプチャがトリガされる。一部の実施例において、画像キャプチャトリガシステムはさらに、オーブンの扉が開かれる前にオーブン内部の箱基線画像としてオーブンラックの画像を直ちにキャプチャして記憶するように、カメラに対して指示する。一部の実施例において、例えば、ユーザが食物アイテムを食物調理箱に挿入した後、ユーザの入力に応答して、手動で画像キャプチャをトリガする。手動トリガーがより簡単でその実現が複雑ではなく、且つ手動トリガーにより、ユーザーが食材アイテムの特徴を最も反映できる画像を意図的にキャプチャして成分認識に用いられる。一部の実施例において、画像処理モジュール１５４は、一つまたは複数の第２センサ１４２によってキャプチャされた画像を取得して、食物アイテムを挿入する前にキャプチャされた箱基線画像に基づいて画像に対して事前処理を行って、画像から背景を消去する。箱基線画像は、家電システムの食物調理箱内の食物サポートプラットフォームの適切な状態をキャプチャし、食物アイテムが含まれる画像に優れたフィルタリングを提供して背景を消去する。

一部の実施例において、制御モジュール１５５は、センサ制御１５１、センサ制御１５２および電器側電器機能制御モジュール１５３’を含む。センサ制御１５１は一つまたは複数の第１センサ１４１を制御および調整するように配置される。例えば、センサ制御１５１は、一つまたは複数の第１センサ１４１が１分間おきに温度データを記録するために、命令を送信してもよい。センサ制御１５２は一つまたは複数の第２センサ１４２を制御および調整するように配置される。例えば、一つまたは複数の第２センサ１４２が移動前に開始位置に位置しかつ移動後に最終位置に位置すると、センサ制御１５２は、一つまたは複数の第２センサ１４２が第１方向に沿って移動し、ピクチャーをキャプチャするように、命令を送信してもよい。

電器側電器機能制御モジュール１５３’は、電器１４０の各種の機能を制御および調整するように配置される。例えば、電器側電器機能制御モジュール１５３’は、一つまたは複数の加熱ユニットにおける第１加熱ユニットを活性化するために加熱ユニット１４３に命令を送信し、またはその位置を変えさせるために機械ユニット１４８に命令を送信する。一部の実施例において、電器側電器機能制御モジュール１５３’は事前配置された操作プロトコルに基づいて（例えば、電器１４０の正常で常套な機能を実現させるために）制御命令を生成してそれを電器１４０の各コンポーネントに送信する。一部の実施例において、電器側電器機能制御モジュール１５３’は、家電製品内のリアルタイム操作進捗監視に基づいて、制御命令を生成して家電製品１４０の各コンポーネントに制御命令を送信する（例えば、事前設定された反応プロトコルまたはプログラムに基づいて、ユーザーの介入なしに電器１４０の機能を自動的に調整する）。一部の実施例において、電器側電器機能制御モジュール１５３’は、ユーザデバイスから受信したリアルタイムのユーザ命令または電器１４０のユーザインターフェース１４６を介して受信したリアルタイムのユーザ命令に基づいて制御命令を生成し、且つ制御命令を電器１４０の各コンポーネントに送信する。一部の実施例において、操作進捗監視の結果をユーザ側操作進捗監視モジュール１４９から電器側電器機能制御モジュール１５３’に提供する。一部の実施例において、操作進捗監視の結果をコンピューティングシステム１６０から電器側電器機能制御モジュール１５３’に提供する。一部の実施例において、操作進捗監視の結果を電器側操作進捗監視モジュール１４９’から電器側電器機能制御モジュール１５３’に提供する。

一部の実施例において、コンピューティングシステム１６０は、サーバ側操作進捗監視モジュール１４９’’およびサーバ側電器機能制御モジュール１５３’’を含む。一部の実施例において、サーバ側操作進捗監視モジュール１４９’’は図１Ａに示す識別モデル１２３、位置決めモデル１２４および他のモデルを使用して、家電製品１４０から（例えば、直接的にまたはコンピューティングシステム１３０を介して）受信したリアルタイムのセンサデータに基づいて対象のアイデンティティ、位置、プロファイルおよび他の条件を決定する。一部の実施例において、コンピューティングシステム１６０は、例えば、図１Ａにおけるトレーニングモデルサーバ１２２によって実現される。

図１Ｂにおける家電製品システム１０１内の各種のシステムの機能は説明的なものに過ぎない。機能の他の配置および機能の他の分割は可能である。各種の実施例において、一つのサブシステムのいくつかの機能は別の一つのサブシステムにおいて実現されてもよい。

一部の実施例において、図１Ｃに示すように、家電製品システム１０１は、電器１４０’と集積されるコンピューティングシステム１３０’を含む。一部の実施例において、コンピューティングシステム１３０’は、コンピューティングシステム１６０’と通信して電器１４０’のいくつかの機能を完成させる。一部の実施例において、電器１４０’は、選択可能に、コンピューティングシステム１６０と通信して電器１４０’のいくつかの機能をアウトソーシングしてもよい。

図１Ｃを参照し、電器１４０’は、内蔵するコンピューティングシステム１３０’を有する。電器１４０’は、センサ１４１、加熱ユニット１４３、ディスプレイ１４４、Ｉ／Ｏモジュール１４５、ユーザインターフェース１４６、ネットワーク通信ユニット１４７、機械ユニット１４８およびイメージングシステムを含む。電器１４０’のこれらのコンポーネントは電器１４０におけるコンポーネントに対応し、かつ類似する機能を有し、簡潔のために、ここでは繰り返して説明しない。

一部の実施例において、電器１４０’内のコンピューティングシステム１３０’は、制御モジュール１５５’、センサ制御１５１’、センサ制御１５２’、電器側操作進捗監視システム１４９’”、電器側電器機能制御モジュール１５３’”、画像処理システム１５４’、データベース１３８’、及び電器側アノテーションユーザインターフェースモジュール１３２’を含む。これらのコンポーネントの機能はそれらが電器１４０において同一の名称を有する対応する対応物に対応して（例えば、センサ制御１５１’はセンサ制御１５１と同一の機能を有する）、簡潔のために、ここでは繰り返して説明しない。一部の実施例において、アノテーションユーザインターフェースモジュール１３２”’により、ユーザが電器１４０と分離するユーザデバイスにおいてローユーザデータを閲覧およびアノテーションできる。それに比べて、電器側アノテーションユーザインターフェースモジュール１３２’により、ユーザが電器１４０’のディスプレイ１４４においてローユーザデータを閲覧およびアノテーションでき、および／または音声でアノテーション画像における操作進捗レベルを入力できる。

上記の例は、単に説明の目的で提供されるものである。以下は他の図面および説明を参照して各コンポーネントの機能の更なる詳細を説明する。本開示に記載の１つまたは複数のコンポーネントは、他のコンポーネントと独立して使用され得ることが理解される。
図２は一部の実施例による、洗濯機に積載された洗濯される衣類の検出画像に基づいて洗濯循環設定を自動的に選択するプロセス２００の模式図である。便宜上、プロセス２００は、洗濯機のコンピューティングシステム（例えば、図１Ｃにおける電器１４０’のコンピューティングシステム１３０’）によって実行されると説明される。

ユーザーが手動で洗濯機の洗濯循環設定を選択することに依存せず、洗濯機のコンピューティングシステムは、画像の検出および分類モデルを使用して衣類のタイプを識別し、適切な洗濯機の洗濯循環設定を自動的に選択する。一部の実施例において、自動的に選択される洗濯機循環設定は、積載衣服の検出された特性（例えば、織物のテクスチャ、色、寸法、タイプなど）に基づいたものであり、且つ洗濯中の衣類に対する損傷（例えば、色あせ、裂け目、引張りなど）を最小限に抑えるように設定される。一部の実施例において、洗濯機への損傷を防ぐために自動的に選択される洗濯循環を設定する。例えば、コンピューティングシステムが金属ジッパーのような金属部品を備えた衣類を検出した場合、コンピューティングシステムは、金属部品が洗濯機のドラムを傷つけないように、タンブリングが低減される洗濯循環を選択することができる。一部の実施例において、コンピューティングシステムによって、ユーザが洗濯目標の優先度を区別させることができ（例えば、衣類損傷の防止、洗浄結果の最大化、洗濯時間の最小化等）、かつコンピューティングシステムがユーザの配置に応じて洗濯循環を自動的に選択することができる。ユーザーは、洗濯機循環設定の自動選択を無効にして、代わりに手動で洗濯機循環設定を選択することができる。

自動で洗濯循環を選択するために、洗濯機のコンピューティングシステムは、まず洗濯機内に積載される洗濯される衣類の複数の画像を取得する（２０２）。一部の実施例において、一つまたは複数のカメラ（例えば、図１Ｂのセンサ１４１または１４２）は、洗濯機の中に取り付けられ、かつカメラの視野が洗濯機のドラムを覆う。例えば、一つまたは複数のカメラは、洗濯機の扉または窓に取り付けられてもよい。一部の実施例において、積載された衣類のさらなる代表的で完整なピクチャーを取得するために、洗濯機のドラムは、各画像キャプチャセッションの間にわずかに（例えば、半回転）タンブリング回転して、積載された洗濯される衣類を展開させる。一部の実施例において、洗濯機のドラムがタンブリング回転しているとき、一つまたは複数のカメラが積載された洗濯される衣類のビデオを撮影する。一部の実施例において、洗濯循環の対応する設定に基づいて洗濯循環を正式に開始する前に、コンピューティングシステムは、洗濯機にマシンドラムの回転を開始させるように指示し、マシンドラム内の衣類アイテムの一連の画像を取得し、それらの画像の各画像を使用して対象の検出および分類に用いられる入力画像とする。各入力画像からの推定結果を組み合わせることによって、複数の入力画像からの最終的な推定結果を取得する。例えば、一部の実施例において、複数の画像における一つの入力画像からの推定結果が、識別された衣類アイテムの中に最も厳しい設定要求を持つ特定のタイプの衣類アイテムが存在することを指示すれば、機器設定はその特定のタイプの衣類アイテムの存在に基づいて変更される。一部の実施例において、機械設定の変更をトリガーするために、複数の入力画像における閾値数の入力画像において特定のタイプの衣類アイテムを検出する必要がある。

１つまたは複数のカメラが積載された洗濯物の画像に対する撮影を完成すると、コンピューティングシステムは、画像を画像処理モジュール（例えば、図１Ｃにおける画像処理モジュール１５４’）に送信して事前処理を行う（２０３）。事前処理中に、非構造化画像の元のデータは、変換してから画像処理モデルに送られる。事前処理は、トレーニング速度および分類精度の向上に役立つ。例示的な事前処理技術は、縦横比の正規化、画像のスケーリング、平均値の正規化、データの正規化、次元縮退、データの強調などを含む。

次に、事前処理画像は、１つまたは複数の画像処理モデルに送信されて特徴検出に用いられる（２０４）。一部の実施例において、画像処理モデルは、洗濯機のコンピューティングシステムに記憶され、且つ洗濯機のコンピューティングシステムにおいてローカルで実行される。または、画像処理モデルは、リモートサーバ（例えば、図１Ａにおける推定結果セットサーバ１２９）に記憶されてリモートサーバにおいて実行され、当該リモートサーバはネットワーク（例えば、図１Ａにおけるネットワーク１９０）を介して洗濯機のコンピューティングシステムに接続される。画像処理モデルは、ネットワークを介して洗濯機の作業年限が切れるまでに更新し続けることができる。

一部の実施例において、画像処理モデルは、事前処理された洗濯される衣類の画像を入力として受信し、積載された洗濯される衣類のうちの一つまたは複数の衣類の検出された特徴を出力する。画像処理モデルは、一つまたは複数の画像検出アルゴリズム、例えば、畳み込みニューラルネットワーク（ＣＮＮ）、領域に基づくＣＮＮ（Ｒ－ＣＮＮ）、高速及びより高速なＲ－ＣＮＮ、領域に基づく完全畳み込みネットワーク（Ｒ－ＦＣＮ）、Ｙｏｕ－Ｏｎｌｙ－Ｌｏｏｋ－Ｏｎｃｅ（ＹＯＬＯ）、シングル検出器（ＳＳＤ）等を含んでもよい。トレーニング画像処理モデルに関連する資源コストが高いため、一部の実施例において、画像処理モデルはまずリモートコンピューティングシステム（例えば、図１Ａにおけるトレーニングモデルサーバ１２２）においてトレーニングされ、かつネットワークを介して更新されて洗濯機のローカルコンピューティングシステムに送信される。

一部の実施例において、各画像処理モデルは、１種のタイプの特徴を検出するように配置される。例えば、個別の画像処理モデルは、衣類のタイプ（２０６）、積載のサイズ（２０８）、衣類の色（２１０）、泡（２１２）、テクスチャのレベル（２１４）等を検出するように配置されてもよい。一部の実施例において、画像処理モデルは、特徴検出のために洗濯機に取り付けられたセンサから付加の入力を受信する。例えば、負荷重量を測定するために１つまたは複数の体重計を洗濯機に取り付けてもよい。一部の実施例において、各画像処理モデルは、バイカテゴリ分類分類器である。例えば、画像処理モデルは、画像が「シャツ」を含むかどうかを決定するように構成されてもよく、または画像処理モデルは、画像が「赤い服」を含むかどうかを決定するように構成されてもよい。

画像処理モデルを使用して衣類のタイプを検出することに関連する問題は、ある衣類のタイプが誤分類されやすくて、それにより、画像処理モデルに偽陽性結果（または、代わりに偽陰性結果）を常に発生させてしまうことである。これは、衣類がドラム内で捻られて絡んでいることが多いことで、その全部の特徴が完全に隠蔽されているためと考えられる。例えば、絡んだりねじったりしたシャツはブラジャーに非常に似ているように見える可能性があって、画像処理モデルは、シャツがブラジャー（偽陽性）であると誤って決定する可能性がある。対象の検出および分類の精度を高める（例えば、偽陽性の結果の数を減らす）とともに、画像処理モデルによってリコールを維持するために（例えば、偽陰性の結果の数を増やさない）、トレーニングサーバ（例えば、図１Ａのトレーニングモデルサーバ１２２）において修正された機器学習トレーニングプロセスを実現させる。図３を参照して修正された機器学習トレーニングプロセスを詳しく説明した。

画像処理モデルが積載された洗濯される衣類を検出して分類した後、洗濯機のコンピューティングシステムは、検出結果を対応する洗濯循環にマッピングする（２１６）。例示的な洗濯循環は、通常の循環（例えば、綿系衣類に用いられる）、パーマネントプレス循環（例えば、カラー系衣類に用いられる）、繊細循環（例えば、細粒系衣類に用いられる）等を含む。各循環は、異なる水温、タンブリング速度、回転速度、および洗濯時間に関連する。

検出結果から対応する洗濯循環設定へのマッピングは事前配置されたものであり、後にリモートサーバ（例えば、図１Ｂのコンピューティングシステム１３０）を介して更新されてもよい。例えば、マッピングは、１つ又は複数の洗濯ターゲット、例えば、衣類の寿命の維持、洗濯時間の短縮、汚れの除去などを最大化するように構成されてもよい。マッピングは、検出される衣類の素材、テクスチャ、サイズ、数、および色に基づいたものであってもよい。例えば、コンピューティングシステムが洗濯される衣類の負荷が羊毛からなる鮮やかな衣類が含まれていることを検出した場合、穏やかな洗濯循環を使用することができる。

図２は、画像処理モジュールからのターゲット検出結果および分類結果に基づいて機器設定を如何に制御する例であり、当該ターゲット検出および分類結果が本開示に説明されたマルチパストレーニングプロセスによって生成されたものである。一部の実施例により、他のタイプの機器は、機器の各種の動作を可変的な設定で制御するために本開示に記載された方法を選択可能に使用し、他のタイプの機器は、例えば、乾燥機ドラムの画像において識別される異なるタイプの衣類アイテムに対する異なる乾燥設定を有する衣類乾燥機、オーブンチャンバーの画像において識別される異なるタイプの食物アイテムに対する異なる調理設定を有するオーブン、ディッシュラックの画像における異なるタイプのお皿および容器に対する異なる洗濯設定を有する食器洗い機等を含む。

図３は一部の実施例によるマルチパストレーニングプロセスにおいて画像処理モデルをトレーニングすることに用いられるプロセス３００の模式図である。便宜上、プロセス３００は、リモートサーバ（例えば、図１Ａのトレーニングモデルサーバ１２２）によって実行されるものとして説明される。プロセス３００は、ローカルコンピューティングシステム（例えば、図１Ｃのコンピューティングシステム１３０’）によって記憶および使用されるトレーニングされた画像処理モデルを出力する。１つの代替実施例において、プロセス３００は、ローカルコンピューティングシステムによって実行され、同じローカルコンピューティングシステムによって記憶および使用されるトレーニングされた画像処理モデルを出力する。プロセス３００は、一般化された画像処理モデルトレーニングプロセスであり、図２で説明したようなトレーニングが衣類のタイプを検出するに用いられる画像処理モデルには特定されない。

プロセス３００は、少なくとも第１トレーニングパス３０１および第２トレーニングパス３０３を含むマルチパスプロセスである。従来のシングルパス画像処理モデルトレーニングプロセス（例えば、ＣＮＮにおける逆方向伝播）に比べて、プロセス３００は、まずトレーニングデータセットにおける「困難」データポイント（例えば、画像処理モデルが偽陽性推定結果を出力する原因となる１セットのデータポイント）を識別し、次に画像処理モデルに付加の出力タイプを追加してこれらの困難データポイントの推定結果を説明し、それによって、推定の精度を向上させる。結果として、プロセス３００は、バイカテゴリ分類モデル（例えば、第１画像処理モデル３０６）をマルチ分類モデル（例えば、第２画像処理モデル３０６）に効果的に変換する。

第１のトレーニングパス３０１の期間中に、コンピューティングシステムは、第１トレーニングセッション３０４において第１セットのトレーニングデータ３０２を用いて第１画像処理モデル３０６を生成する。第１セットのトレーニングデータ３０２は、画像処理モデルトレーニングに適用されるアノテーションデータを含む。例えば、第１セットのトレーニングデータ３０２は、衣類タイプ（例えば、家電製品が洗濯機である場合）がマークされ、または食物アイテムタイプ（例えば、家電製品がスマートオーブン又は電子レンジである場合）がマークされた１セットの画像であってもよい。一部の実施例において、一つの画像は、異なるデータタイプを有する複数のデータを含む。例えば、画像は、異なるタイプの複数の衣類を含んでもよい。このような場合、画像は、第１トレーニングセッション３０４に用いられる前に、複数のサブ画像に分割され、各サブ画像が一つのデータタイプ（例えば、衣類タイプ）を有する。

第１トレーニングセッション３０４は、データ（例えば、洗濯機内に積載された衣服の画像）を１つまたは複数の事前定義された出力カテゴリ（例えば、衣服タイプ）に適合させる画像処理モデルを出力する。画像処理モデルの例は、線形回帰、ロジク回帰、サポートベクターマシン、ニューラルネットワークなどが挙げられる。第１トレーニングセッション３０４の期間中に、画像処理モデルパラメータ（例えば、ニューラルネットワークいおける重み付き接続ノード）は、事前定義された損失関数を最小化するために微調整され（例えば、勾配下げ方法を用いる）、ここで、損失関数は、画像処理モデルの予測データタイプと実際のデータタイプとの一致度を測定する。

第１トレーニングセッション３０４が終了するとき、第１画像処理モデル３０６を生成する。次に、コンピューティングシステムは、第１検証セッション３０８において第１画像処理モデル３０６をテストする。第１検証セッション３０８の期間中に、第１画像処理モデル３０６は１セットの検証データを受信して対応するデータタイプを予測する。一部の実施例において、コンピューティングシステムは、第１セットのトレーニングデータ３０２を検証データとして第１画像処理モデル３０６に供給する。あるいは、コンピューティングシステムは、第１セットのトレーニングデータ３０２と異なる１セットのアノテーションデータセットを検証データとして使用する。

一部の実施例において、第１画像処理モデル３０６は、バイカテゴリ分類予測機（例えば、入力画像が特定のタイプの衣類を含むかどうかを決定するための出力ノードを有するニューラルネットワーク）である。バイカテゴリ分類画像処理モデル３０６からの出力（予測ともいう）が実際の入力データタイプと比べと、（１）真陽性結果３１４、（２）真陰性結果３１６、（３）偽陽性結果３１０、及び（４）偽陰性結果３１２の４つのカテゴリのうちの１つに分類されることができる。

真陽性結果３１４は、第１画像処理モデル３０６が、入力サンプルをあるデータタイプに属したものとして正しく分類したことを示す（例えば、画像がシャツを含むと予測し、且つ画像が実際にシャツを含む）。

真陰性結果３１６は、第１画像処理モデル３０６が、入力サンプルをあるデータタイプに属さないものとして正しく分類したことを示す（例えば、画像がシャツを含まないと予測し、且つ画像が靴下のみを含む）。

偽陽性結果３１０は、第１画像処理モデル３０６が、入力サンプルをあるデータタイプに属したものとして誤って分類したことを示す（例えば、画像がシャツを含むと予測したが、画像が実際に靴下のみを含む）。

偽陰性結果３１２は、第１画像処理モデル３０６が、入力サンプルをあるデータタイプに属さないものとして誤って分類したことを示す（例えば、画像がシャツを含まないと予測したが、画像が実際にシャツを含む）。

一部の実施例において、あるサンプルセットは誤分類されやすく、かつ第１画像処理モデル３０６に偽陽性結果を常に発生させてしまうことである。例えば、洗濯機の内部から撮影した画像に基づいて衣類タイプを検出するコンテキストには、シャツのようなねじれた衣類は常にブラジャーとして誤って検出されることが多い。そのため、ブラジャーを検出するように構成された画像処理モデルは、ねじれたシャツのみを有する画像が提供される場合に偽陽性予測結果を生成する可能性が高い。

第１画像処理モデル３０６の偽陽性結果の数を低減する（例えば、モデルの精度を向上させるために）とともに、偽陰性結果の数を増加しない（例えば、モデルのリコール率を維持または低減する）ために、コンピューティングシステムは、第２トレーニングパス３０３を実行して、第１画像処理モデル３０６に基づいて第２画像処理モデル３２８を生成する。第２トレーニングパス３０３の期間中に、コンピューティングシステムは、第１セットのトレーニングデータから第１画像処理モデル３０６に第１検証セッション３０８において偽陽性結果を発生させてしまう１セットのデータを識別して、識別された当該セットのデータに対して付加のマークを適用する。例えば、ねじれたシャツを含む画像の最初のデータタイプは「シャツ」である。当該画像により第１画像処理モデル３０６に偽陽性結果を発生させたことによって、コンピューティングシステムは、シャツのデータタイプを第２データタイプに置き換え、当該第２データタイプはシャツデータタイプが「擬似偽陽性カテゴリ３１８」（例えば、「偽シャツ」）に属することを示す。

一部の実施例において、トレーニングデータセットが画像データを含む場合、トレーニングのために用いられる新しく作成される擬似偽陽性データの数を増やすために、コンピューティングシステムは、識別される擬似偽陽性画像に対して画像補強３２２を実行する。データが画像データではない場合、他のタイプのデータ補強を実行し、またはデータ補強をスキップしてもよい。

第１画像処理モデル３０６に偽陽性結果を発生させてしまうデータに対して擬似偽陽性タイプラベル３１８を適用して、（当該データが画像データを含む場合）画像補強３２２を実行した後、コンピューティングシステムは、第１セットのトレーニングデータ３０２、および新しく生成された偽陽性データタイプを有するデータを含むことによって第２セットのトレーニングデータ３２４を形成する。

次に、コンピューティングシステムは、第２セットのトレーニングデータ３２４を使用して、第２トレーニングセッション３２６において第１画像処理モデル３０６を改めてトレーニングして、第２画像処理モデル３２８を生成する。第１画像処理モデル３０６と比べ、第２画像処理モデル３２８は、擬似偽陽性データタイプに対応する付加の出力を有する。その結果、第２画像処理モデル３２８に対するトレーニングおよび推定期間中に、擬似偽陽性ラベルを有するデータは、個別のカテゴリに分類される。例えば、第１画像処理モデルおよび第２画像処理モデルは、洗濯機におけるブラジャーを検出するように構成されてもよい。上述のように、あるタイプの衣類は、絡み合ったりねじれたりすると、部分的にブラジャーのように見えてしまい、画像処理モデルが偽陽性の結果を出力してしまうことがある。プロセス３００によって、第２画像処理モデル３２８は、現在、画像を受信して画像における対象を（１）ブラッジャー、（２）ブラッジャーに非常に似てる衣類（例えば、画像処理モデル３０６に偽陽性結果を出力させた衣類）、および（３）他のタイプの衣類（例えば、靴下、ジーンズ、および第１画像処理モデルによってブラッジャーではないと正しく予測された他の衣類）に分類するように構成される。そのため、プロセス３００は画像処理モデルの出力に対して粒状性を増加させて、従って、そのリコール率を保つとともに画像処理モデルの精度を増加させる。

一部の実施例において、第１の検証セッション３０８の期間中に第１画像処理モデル３０６に偽陰性結果３１０を出力させる原因となった１セットのデータを使用する代わりに、コンピューティングシステムは、第１画像処理モデル３０６に偽陽性結果３１２を出力させる原因となった１セットのデータを付加的にまたは選択可能に使用する。

対象タイプを特定するための得られた第２画像処理モデル３２８は、入力画像を処理して、対応するタイプの対象を検出する推定結果を生成するために用いられる。一部の実施例において、機器の特定の操作に対する機器設定の選択に関する（例えば、洗濯セッションの洗濯循環）各種の対象タイプ（例えば、デリケート、タオル、寝具、赤い衣類アイテムなど）について、図３で説明されたマルチパスモデルトレーニングは、改善された画像処理モデルを生成するために用いられ、対象タイプのアイテムを識別するために用いられてもよく、かつ各操作に対して、一つ以上の改善された画像処理モデル（例えば、繊細な衣類アイテム及び赤いアイテムを同時に検出するための改善された画像処理モデル）を活性化して、これらの改善された複数の画像処理モデルからの結果を組み合わせて（例えば、これらの設定への影響の事前設定された優先度などに基づいて）、特定の操作に対する設定値を生成する。

図４は一部の実施例による図３で説明されるマルチパストレーニングプロセスにおいて生成される画像処理モデルの模式図であり、そのうち、更新されるモデルがリコール率を保つとともに対象の検出及びバイカテゴリ分類の精度を向上させる。図４にニューラルネットワークが示されたが、いくつかの選択可能な実施例において、予測の精度を向上させるために同一の方式で他のタイプの画像処理モデルを改めて配置してもよい。オリジナルモデル４０２は、入力層４０４と、一つまたは複数の隠れ層４０６と、出力層４０８とを含む。出力層４０８は、予測された「陽性結果」及び「陰性結果」に対応する二つのノード（例えば、バイカテゴリ分類）を含む。例えば、オリジナルモデル４０２は、図３で説明されたような第１画像処理モデル３０６であってもよい。

図３で説明されたような最トレーニングのプロセスの後で、オリジナルモデル４０２は、更新されたモデル４０３に更新される。オリジナルモデル４０２と比べ、更新されたモデル４０３は、１つの余裕な出力ノード、即ち偽カテゴリ出力４１０を有する。上記のように、偽カテゴリ出力４１０は、データポイントが誤分類されやすい「困難サンプル」であることにより、例えば、オリジナルモデル４０２に偽陽性または偽陰性の結果を出力させることを示す。

図５は、一部の実施例による、画像検出と、物体検出モデルのマルチパストレーニングによって生成されたバイカテゴリ分類結果とに基づいて機器設定の自動選択を実行する方法５００のフローチャートである。便宜上、方法５００は、ネットワークを介して接続された複数のサーバを含むコンピューティングシステムによって実行されるものとして説明され、コンピューティングシステムの各サーバは、特定のタスクの実行に専用される。例えば、コンピューティングシステムは、トレーニングモデルサーバ（例えば、図１Ａのトレーニングモデルサーバ１２２）および電器サーバ（例えば、図１Ｃのコンピューティングシステム１３０’）を含んでもよい。一部の実施例において、機器は、洗濯機、オーブン、電子レンジ、冷蔵庫、または他の家電製品である。

第一ステップとして、コンピューティングシステムは（例えば、トレーニングモデルサーバを介して）第１画像処理モデルを受信し、当該第１画像処理モデルは、対応する入力画像を、前記第１タイプの少なくとも一つの対象が含まれる画像に対する前記第１カテゴリと、前記第１タイプの少なくとも一つの対象が含まれない画像に対する前記第２カテゴリと、に分類するようにトレーニングされる（５０２）。そのため、第１画像処理モデルは、画像が第１カテゴリまたは第２カテゴリに属すると分類されるバイカテゴリ分類器である。例えば、第１画像処理モデルは、衣類の画像（例えば、洗濯機から撮影した洗濯される衣類画像）を、衣類のタイプ（例えば、シャツ）が含まれるもの、または衣類のタイプが含まれないもの（例えば、シャツなし）に分類するように設計されている。一部の実施例において、第１画像処理モデルは、前に第１セットのトレーニングデータを使用してリモートサーバにおいてトレーニングされるニューラルネットワークであり、第１セットのトレーニングデータは、ラベル対象が付けられた画像を含む。

第１画像処理モデルを受信した後、コンピューティングシステムは、第１画像処理モデルによって出力された複数の推定結果から偽陽性結果としての推定結果の第１サブセットを識別し、当該偽陽性結果は、第１タイプの少なくとも一つの対象が含まれない第１セットの画像を第１タイプの少なくとも一つの対象が含まれる画像に対する前記第１カテゴリに分類するものである（５０４）。一部の実施例において、コンピューティングシステムの画像処理モジュール（例えば、図１Ｃの画像処理モジュール１５４’）は、推定タスクを実行するように配置される。一部の実施例において、複数の推定結果を生成するために、コンピューティングシステムは、（画像処理モジュールを介して）第１セットのトレーニングデータ（例えば、第１画像処理モデルを生成するために用いられたトレーニングデータセット）、または第１セットのトレーニングデータと異なる第１セットの推定データ、または両方の組み合わせを対照して第１画像処理モデルを検証する。第１セットのトレーニングデータ及び第１セットの推定データは、いずれも対象タイプがマークされた画像を含む（例えば、「シャツ」、「靴下」、「ワンピース」などを含むとマークされる画像）。例えば、第１セットの画像における画像は、衣類タイプを含むとマークされ、第１画像処理モデルは、画像が「シャツ」を含むかどうかを検出するように設計される。そのため、推定結果の第１サブセットには、如何なるシャツを含んでもないがシャツを含むと第１画像処理モデルによって誤って分類された画像が含まれる。

次に、コンピューティングシステムは、第１セットの画像から第１セットの新たなトレーニングデータを生成することであって、第１セットの画像における対応画像を補強して第１の対応する複数の画像を取得することと、第１の対応する複数の画像が第１カテゴリおよび第２カテゴリと異なる偽第１カテゴリの少なくとも一つの対象を含むとマークされることとを含むことを実行する（５０６）。一部の実施例において、コンピューティングシステムは、トレーニングセットサーバ（例えば、図１Ａのトレーニングセットサーバ１２０）を介して第１セットの新たなトレーニングデータを生成する。一部の実施例において、コンピューティングシステムは、画像歪み、反転、画像輝度調整、画像拡大などによって対応する画像のバリエーションを作成することにより、第１セットの画像における対応画像を補強する。画像補強によってトレーニングデータセットのサイズを拡大することにより、画像処理モデルをよりよくトレーニングして対象の検出及び分類を実行することができる。例えば、第１セットの画像における画像は、衣類タイプを含むとマークされ、第１画像処理モデルは、画像が「シャツ」を含むかどうかを検出するように設計されており、シャツが含まれない第１セットの画像のサブセットが、１つ前の推定スデップ期間中においてシャツを含むと誤って分類された。その結果、第１セットの画像のサブセットにおける画像は、いかなる以前の衣類ラベルと異なる特別なカテゴリラベル、例えば、「偽シャツ」を受け取ることになる。このカテゴリラベルは、これらの画像が誤分類されやすい対象を含むことを示す（第１画像処理モデルに偽陽性結果を発生させてしまう）。一部の実施例において、コンピューティングシステムは、トレーニングセットサーバを介して第１セットの画像のサブセットの旧いラベルを除去する。その結果、これらの画像は、衣類のタイプを含めず、新たな「偽カテゴリ」ラベルのみを含むとマークされる。

第１セットの新たなトレーニングデータを取得した後、コンピューティングシステムは、トレーニングモデルサーバ（例えば、図１Ａのトレーニングモデルサーバ１２２）を介して少なくとも第１セットの新たなトレーニングデータを含むトレーニングデータセットによって第２画像処理モデルをトレーニングすることにより、対応する入力画像を、第１タイプの少なくとも一つの対象が含まれる画像に対する第１カテゴリと、第１タイプの少なくとも一つの対象が含まれない画像に対する第２カテゴリと、第１画像処理モデルによって第１カテゴリと誤分類されやすい対象が含まれる画像に対する偽第１カテゴリと、に分類する（５０８）。そのため、バイカテゴリ分類を実行するように設計される第１画像処理モデルと比べると、第２画像処理モデルは、画像が偽カテゴリの対象を含むと分類されること（例えば、第１画像処理モデルに偽陽性結果の対象を出力させること）に対応する付加の出力を有する。例えば、トレーニングデータセットは、「シャツ」を含むとマークされた画像、「シャツ」を含むとマークされていない画像（例えば、「靴下」、「ワンピース」などのみを含む画像）、及び「偽シャツ」を含むとマークされた画像を含んでもよい。注意すべきのは、第２トレーニングモデルにおける第１カテゴリ及び第２カテゴリは、第１トレーニングモデルにおける第１カテゴリ及び第２カテゴリと異なっており、これは、偽第１カテゴリに属した画像（例えば、第１トレーニングモデルに基づいて、第１カテゴリに含まれやすいものであるが実際に第２カテゴリに属した画像）を第１カテゴリ及び第２カテゴリに含まれないように第２トレーニングモデルがトレーニングされているためである。

最後に、コンピューティングシステムは電器サーバ（例えば、図１Ｃの電器機能制御ユニット１５３”’）を介して、第１のマシンによってキャプチャされた第１入力画像の第１推定結果に基づいて、第１マシンの機器設定を修正し、ここで、第１推定結果は、前記第２画像処理モデルによって生成され、かつ前記第１カテゴリに対応する（５１０）。例えば、コンピューティングシステムが洗濯機に積載された洗濯される衣類の画像が特定のタイプの衣類（例えば、シャツ）を含むと決定した場合、コンピューティングシステムは、検出された衣類タイプに基づいて洗濯循環を選択して、衣類への損傷を最小限に抑え、洗浄結果を最大化することができる。

一部の実施例において、第１マシンが前記第１入力画像におけるキャプチャされた対象に対して第１操作を実行する前に、コンピューティングシステムは、第１マシンにおいて第１入力画像をキャプチャし、ここで、機器設定は第１マシンによって実行される第１操作の設定である。例えば、第１マシンは洗濯機であり、第１操作は洗濯操作であり、機器設定は特定の洗濯循環設定である。洗濯機は、操作の前に、洗濯機に積載された洗濯される衣類の画像を撮影して衣類のタイプを決定し、適切な洗濯循環設定を選択することにより、それに応じて洗濯機を操作する。

一部の実施例において、複数の画像処理モデルが存在して、コンピューティングシステムは、異なる画像処理モデルを使用して異なるタイプの対象を検出して、異なる設定を適用する。コンピューティングシステムは、第４画像処理モデルをトレーニングして、対応する入力画像を第３カテゴリ、第４カテゴリまたは偽第３カテゴリに分類することに用いられ、当該第３カテゴリは、第１タイプと異なる第２タイプの少なくとも一つの対象が含まれる画像に対するものであり、当該第４カテゴリは第２タイプの少なくとも一つの対象が含まれない画像に対するものであり、当該偽第３カテゴリは第３画像処理モデルによって第３カテゴリと誤分類しやすい対象が含まれる画像に対するものであり、当該第３画像処理モデルは対応する入力画像を第３カテゴリ及び第４カテゴリだけに分類するようにトレーニングされ、且つ第１マシンによってキャプチャされた第１入力画像の第２推定結果に基づいて、第１マシンの異なる機器設定を修正し、ここで、第２推定結果は、第４画像処理モデルによって生成され、かつ第３カテゴリに対応する。例えば、洗濯機は１つの画像処理モデルを使用してシャツを分類して、もう一つの画像処理モデルを使用してジーンズを検出してもよい。シャツ及びジーンズの画像処理モデルは、いずれも以上で説明されたマルチパストレーニングプロセスを使用して改善されることができる。次に、コンピューティングシステムは、シャツとジーンズの存在の有無で洗濯循環設定を選択する。例えば、洗濯される衣類にシャツとジーンズが同時に存在する場合は、シャツのみの場合またはジーンズのみの場合より洗濯時間が長くなる可能性がある。

一部の実施例において、選択可能にまたは代替的に、補強された偽陰性サンプルはマークされ、新たなトレーニングデータにおける真陽性サンプルとマージする。その結果、新たな画像処理モデルは、偽陰性サンプルとして誤分類されやすいサンプルを分類するようにトレーニングされる。コンピューティングシステムは、第１画像処理モデルによって出力された複数の推定結果から推定結果の第２サブセットを識別し、当該推定結果の第２サブセットは偽陰性結果であり、当該偽陰性結果は、第１タイプの少なくとも１つの対象が含まれる第２セットの画像を第１タイプの少なくとも１つの対象が含まれない第２カテゴリに分類するものである。例えば、推定結果の第２サブセットは、シャツを含むが第１画像処理モデルによってシャツを含まないと分類される画像を含んでもよい。

推定結果の第２サブセットに基づいて、コンピューティングシステムは、第２セットの画像から第２セットの新たなトレーニングデータを生成することであって、第２セットの画像における対応画像を補強して第２の対応する複数の画像を取得することと、第２の対応する複数の画像を第１カテゴリの画像にマークすることとを含むこと、を実行する。例えば、コンピューティングシステムは、上記のような「偽カテゴリ」を作成するというのタスクに類似するタスクを実行してもよい。

次に、コンピューティングシステムは、第２の対応する複数の画像をトレーニングデータセットに追加して、第１画像処理モデルによって第１カテゴリに正しく分類された画像とともに、第１カテゴリに対応するトレーニング画像とする。例えば、シャツを検出するように設計された画像処理モデルの場合、トレーニングデータセットには（１）シャツを含む画像、（２）シャツ（「偽シャツ」）として誤分類されやすい対象を含む画像、（３）シャツでもなく、「偽シャツ」でもない対象を含む画像、及び（４）シャツであるがシャツではないと誤分類されやすい対象を含む画像の４つのタイプのデータが含まれる。
一部の実施例において、偽陽性結果がトレーニング期間で発生するとき、ユーザが偽陽性結果を識別する。従って、従来のモデルを有するネットワーク接続機器は、アップグレードの前にトレーニングデータセットに対して貢献することができる。コンピューティングシステムは、ユーザの入力を収集して、当該ユーザの入力は、第２のマシンが使用する第１画像処理モデルのコピーによって生成される付加の推定結果を偽陽性結果と識別し、及び第２のマシンにおいてキャプチャされた付加の推定結果に対応する画像をトレーニングデータセットに追加して、第２画像処理モデルをトレーニングする。

図６は一部の実施例による例示的な家電製品６００の図である。例えば、様々な実施例において、家電製品６００は、電器１８、１１２、１１４、１４０、１４０’、２００、２０１、２０２、２０３、２０４として用いられることができる。家電製品６００は、一つまたは複数の処理ユニット（ＣＰＵ）６０２、一つまたは複数のネットワークインターフェース６０４、メモリ６０６及びこれらのコンポーネント（時にはチップセットと称する）を相互接続するために用いられる一つまたは複数の通信バス６０８を含む。家電製品６００は、ユーザインターフェース６１０をさらに含む。ユーザインターフェース６１０は、メディアコンテンツの提示を可能にする１つまたは複数の出力デバイス６１２を含み、前記出力デバイスが１つまたは複数のスピーカーおよび／または１つまたは複数の視覚ディスプレイを含む。ユーザインターフェース６１０は、１つまたは複数の入力デバイス６１４をさらに含み、ユーザの入力を容易にするユーザインターフェースコンポーネント、例えば、キーボード、マウス、音声コマンド入力ユニットまたはマイク、タッチスクリーンディスプレイ、タッチセンシティブ入力パッド、ジェスチャーキャプチャカメラ、またはその他の入力ボタンやコントタンブリングなどのを含む。一部の実施例において、家電６００は、家電製品６００の操作環境情報を感知するセンサ（例えば、センサ１４１、１４２）をさらに含む。センサには、１つ又は複数の熱センサ、光センサ、１つ又は複数のカメラ、湿度センサ、１つ又は複数の運動センサ、１つ又は複数の生物学センサ（例えば、皮膚電気抵抗センサ、パルス酸素計など）、重量センサ、分光器、および他のセンサが含まれるが、これらに限定されない。さらに、家電製品６００は、家電製品操作ユニット６２６（例えば、電気、誘導、ガス、放射などに基づく加熱装置）を含む。メモリ６０６は、不揮発性メモリ、例えば、１つまたは複数の磁気ディスク記憶装置、１つまたは複数の光ディスク記憶装置、１つまたは複数のフラッシュメモリデバイス、または１つまたは複数の他の不揮発性ソリッドステートストレージデバイスなどを含む。選択可能に、メモリ６０６は、１つまたは複数の処理ユニット６０２から遠隔に配置された１つまたは複数のストレージデバイスを含む。メモリ６０６、または選択可能に、メモリ６０６における不揮発性メモリは、非一時的なコンピュータ可読記憶媒体を含む。一部の実施例において、メモリ６０６、またはメモリ６０６の非一時的なコンピュータ可読記憶媒体は、
オペレーティングシステム６１６であって、様々な基本システムサービスを処理ためのプロセス及びハードウェア関連タスクを実行するためのプロセスを含むオペレーティングシステム６１６と、
ネットワーク通信モジュール６１８であって、１つまたは複数のネットワークインターフェース６０４（有線または無線）を介して外部サービスに接続するように構成されるネットワーク通信モジュール６１８と、
提示モジュール６２０であって、情報の提示を実現するように構成される提示モジュール６２０と、
入力処理モジュール６２２であって、１つまたは複数の入力デバイス６１４のうちの１つの入力デバイスから、１つまたは複数のユーザ入力またはインタラクションを検出し、検出された入力またはインタラクションを解釈するように構成される入力処理モジュール６２２と、。
家電製品制御ユニット６２４であって、家電製品６００を制御し、本開示に記載された家電製品１４０または１４０’のモジュールを含むがこれらに限定されない家電製品制御ユニット６２４と、
のプログラム、モジュール、およびデータ構造、またはそのサブセットやスーパーセットを記憶する。

上記のように識別された各素子は、上記１つまたは複数のメモリデバイスに記憶され、且つ上記機能を実行するための命令セットに対応してもよい。上記で識別されたモジュールまたはプログラム（すなわち、命令セット）は、単独のソフトウェアプログラム、プロセス、モジュール、またはデータ構造として実現される必要がないので、これらのモジュールの各サブセットが各実施例において組み合わせ又は他の方式で改めて配列されてもよい。一部の実施例において、選択可能に、メモリ６０６は、上記で識別されたモジュールおよびデータ構造のサブセットを記憶する。さらに、選択可能に、メモリ６０６は、上記で説明されていない付加のモジュールおよびデータ構造を記憶する。

上記は特定の実施例を説明したが、本願をこれらの特定の実施例に限定することを意図するものではないことが理解されるべきである。逆に、本願は、提示された請求項の精神及び範囲内の代替、修正および対等物を含む。本明細書に説明されるテーマに対する完全な理解を提供するために具体的な詳細が多く記載されている。しかしこれらの特定の詳細なしで本テーマを他の実施例に実施され得ることは当業者には明らかである、本開示は不要に当実施例の各方面を曖昧にしないように、周知の方法、プロセス、コンポーネント、および回路を詳しく説明していない。

上記のように識別された各素子は、前記の１つまたは複数のメモリデバイスに記憶され、上記機能を実行するための命令セットに対応してもよい。上記で識別されたモジュールまたはプログラム（すなわち、命令セット）は、単一のソフトウェアプログラム、プロセス、モジュール、またはデータ構造として実現される必要がないので、これらのモジュールの各サブセットが各実施例において組み合わせ又は他の方式で改めて配置されてもよい。一部の実施例において、選択可能に、メモリ６０６は、上記で識別されたモジュールおよびデータ構造のサブセットを記憶する。さらに、選択可能に、メモリ６０６は、上記で説明されていない付加のモジュールおよびデータ構造を記憶する。

（関連出願の相互参照）
本願は、２０１９年１０月１８日にアメリカ特許局に提出された、出願番号が１６／６５７，９７５であるアメリカ特許出願に基づいて優先権を主張し、その全内容が参照として本願に組み込まれる。

本願の実施例は、画像処理分野に関し、特に改善の画像処理モデルを用いて対象を検出して、検出された対象に基づいて機器を自動的に操作するシステム及び方法に関する。

例えば、家電製品の機器は、一般的に異なる事前定義された操作設定を有する。例えば、洗濯機は複数種の洗濯循環設定を有し、複数種の洗濯循環設定は、異なる水温、タンブリング速度、回転速度等を有する。電子レンジは複数種の調理設定を有し、複数種の調理設定は異なるマイクロ波パワーレベル及び調理時間を有する。適切な設定を選択することは、機器の性能を最適化させるこよにとって重要である。例えば、選択したい衣類に対して適切な洗濯循環設定を選択することは、衣類の損傷（例えば、引張り、収縮または変色）の防止及び最適な洗浄効果の実現にとって非常に重要である。いくつかの場合において、機器は画像処理モデルに依存して操作される一つまたは複数の対象（または対象のタイプ）（例えば、洗濯機の衣類のタイプ、電子レンジの食物のタイプ）を検出し、かつ検出された一つまたは複数の対象（または対象のタイプ）に基づいて機器操作設定を自動的に選択する。

例えば、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ、ＣＮＮ）及びその変体の機器学習モデルは強い画像処理モデルであり、対象検出タスクに広く適用されている。しかしながら、機器学習モデルの性能が悪くなりがちであるので、各種の機器の操作対象としての関連対象に対する分類及び検出が不正確になる。

これらの原因に基づいて、対象の検出及び分類に用いられる画像処理モデルを向上させることが強く求められている。

背景技術で述べられたように、例えば、畳み込みニューラルネットワーク（ＣＮＮ）及びその変体の機器学習モデルは強い画像処理モデルであり、対象検出タスクに広く適用されている。しかしながら、誤分類されやすい対象のカテゴリ、例えば対象の検出／分類アルゴリズムの観点で陽性サンプルと非常に類似するように見られる「難」陰性サンプル（偽陽性）、または陰性サンプルと非常に類似するように見られる「難」陽性サンプル（偽陰性）が存在するので、高精度（例えば、偽陽性率が低い）及び高リコール率（偽陰性率が低い）という両者で対象検出を行うのは挑戦的である。例えば、衣類が洗濯機のドラムに積載されると、絡み合ったり、ねじれたり、ひいては結び目ができたりすることが多い。結果的に、既存の画像処理モデルは常に間違って１種の衣類（例えば、捩じれて絡み合ったシャツ）を別の１種の衣類（例えば、ブラジャー）と識別することによって、偽陽性出力を継続的に生成する。仮に、洗濯機が間違ってブラジャーを洗濯するために（例えば、低いタンブリング速度及び低い回転速度が求められる）、シャツを洗濯するために設計された洗濯循環設定（例えば、高いタンブリング速度、高い回転速度等）を選択すれば、洗濯機はブラジャーを永久に損傷する。

これらの原因によって、画像処理モデルの対象の検出及びバイカテゴリ分類の精度を向上させ、同時に高いリコール率を保ち、かつ検出された分類済みの対象に基づいて機器操作設定を自動的に選択するために、改善の方法及びシステムが強く求められる。

本発明はシステム及び方法を説明し、この方法において、第１画像処理モデルを受信することであって、第１画像処理モデルは対応する入力画像を第１カテゴリまたは第２カテゴリに分類するようにトレーニングされ、第１カテゴリは、第１タイプの少なくとも一つの対象が含まれる画像に対するものであり、第２カテゴリは、第１タイプの少なくとも一つの対象が含まれない画像に対するものであることと、第１画像処理モデルが出力した複数の推定結果から、偽陽性結果としての推定結果の第１サブセットを識別し、偽陽性結果は、第１タイプの少なくとも一つの対象が含まれない第１セットの画像を第１タイプの少なくとも一つの対象が含まれる画像に対する第１カテゴリに分類するものであることと、第１セットの画像から第１セットの新たなトレーニングデータを生成することであって、第１セットの画像における対応画像を補強して第１の対応する複数の画像を取得することと、第１の対応する複数の画像が偽第１カテゴリの少なくとも一つの対象を含むとマークされることとを含み、偽第１カテゴリは、第１カテゴリ及び第２カテゴリと異なることと、少なくとも第１セットの新たなトレーニングデータが含まれるトレーニングデータ集合によって第２画像処理モデルをトレーニングすることにより、対応する入力画像を、第１タイプの少なくとも一つの対象が含まれる画像に対する第１カテゴリと、第１タイプの少なくとも一つの対象が含まれない画像に対する第２カテゴリと、第１画像処理モデルによって第１カテゴリと誤分類されやすい対象が含まれる画像に対する偽第１カテゴリと、に分類することと、第１マシンによってキャプチャされた第１入力画像の第１推定結果に基づいて、第１マシンの機器設定を修正することであって、第１推定結果は、第２画像処理モデルによって生成され、かつ第１カテゴリに対応することと、を含む。

本発明で説明された方法及びシステムに基づいて、画像処理モデルを用いて誤分類されやすい対象を検出及び分類ことに関連する各種の問題を解決できる。

一つの方面において、一部の実施例により、家電製品に通信可能に結合され、かつ家電製品の一つまたは複数の機能を制御するように配置されるコンピューティングシステムによって前記方法を実行する。

一部の実施例により、コンピューティングシステムは、プロセッサと、命令が記憶されているメモリとを含み、前記命令が実行されるとき、一つまたは複数のプロセッサに本発明で説明される方法を実行させる。一部の実施例により、電子デバイスは、一つまたは複数のプロセッサと、一つまたは複数のプログラムが記憶されているメモリとを含み、一つまたは複数のプログラムが一つまたは複数のプロセッサによって実行されるように配置され、かつ一つまたは複数のプログラムは命令を含み、当該命令は本文で説明されるいかなる方法の操作の性能を実行しまたはその実行を引き起こすことに用いられる。一部の実施例により、非一時的なコンピュータ可読記憶媒体に命令が記憶され、当該命令が電子装置によって実行されるとき、電子装置が本文で説明されるいかなる方法の操作の性能を実行しまたはその実行を引き起こす。一部の実施例により、電子デバイスは、画像のキャプチャに用いられる装置と、本文で説明されるいかなる方法の操作の性能を実行しまたはその実行を引き起こす装置とを含む。

以下の詳しい説明によって、本願の様々な追加した利点が明らかである。

一部の実施例による家電製品システムの操作環境を示すブロック図である。 一部の実施例による家電製品システムを示すブロック図である。 一部の実施例による家電製品システムを示すブロック図である。 一部の実施例による、洗濯機に積載された洗濯される衣類の検出画像に基づいて洗濯循環設定を自動的に選択するプロセスの模式図である。 一部の実施例による対象の検出及びバイカテゴリ分類の精度を向上させるとともにリコール率を保つように画像処理モデルをトレーニングすることに用いられるプロセスの模式図である。 一部の実施例による図３で説明されるマルチパストレーニングプロセスにおいて生成される画像処理モデルの模式図であり、そのうち、更新されるモデルがリコール率を保つとともに対象の検出及びバイカテゴリ分類の精度を向上させる。 一部の実施例による、物体検出モデルのマルチパストレーニングによって生成された画像検出とバイカテゴリ分類結果とに基づいて機器設定の自動選択を実行する方法のフローチャートである。 一部の実施例による例示的な家電製品の図である。

図面における複数の図による同一の符号は対応する部分を示す。

図面を参照しなから好ましい実施例に対して詳しく説明することによって、以下は開示した技術の上記した特徴並びに利点及びその付加特徴並びに利点をよりよく理解する。
現在開示された技術の実施例または従来技術における技術的手段をより良く説明するために、以上は実施例または従来技術を説明するために必要な図面を簡単に紹介した。明らかに、以上の説明における図面は現在開示された技術の一部の実施例を示すものに過ぎず、そして、当業者にとって創造工夫をせずにこれらの図面により他の図面を取得することもできる。

以下は実施例を詳しく参照して、図面において実施例の例を示す。以下の詳しい説明において、本開示が呈したテーマに対する徹底した理解を提供するために多くの具体的な詳細を説明した。しかし当業者にとってこれらの具体的な詳細がない場合でも本開示のテーマを実践できることは明らかである。他の実例において、実施例の各方面を不必要的に誤魔化すことを回避するために周知方法、プロセス、コンポーネント及び回路を詳しく説明していない。

以下は本願の実施例における図面を参照しながら、本願の実施例における技術的手段に対して明らかに且つ完全に説明する。明らかに、説明される実施例は本願の一部の実施例であり、全ての実施例ではない。本願における実施例に基づいて、当業者が創造的な労働をしないうちに取得するすべての他の実施例は、本願の範囲に属する。

図１Ａは一部の実施例による家電製品システムの操作環境１００を示すブロック図である。
家電製品システムの操作環境１００は一つまたは複数の家電製品（例えば、電器Ａ１１０、電器Ｂ１１２及び電器Ｃ１１４）を含み、一つまたは複数の家電製品はネットワーク１９０（例えば、インターネットのワイドエリアネットワーク、またはスマートホームネットワークのローカルエリアネットワーク）を介して一つまたは複数のサーバ（例えば、トレーニングセットサーバ１２０及びトレーニングモデルサーバ１２２）に接続され、及び一つまたは複数のユーザデバイス（例えば、ユーザデバイスＡ１１１、ユーザデバイスＢ１１３及びユーザデバイスＣ１１５）および／またはアノテーションステーション１２８に選択可能に接続される。

一部の実施例において、一つまたは複数の家電製品（例えば、スマート洗濯機、スマート電子レンジ等）は、元のセンサデータ（例えば、画像、重量、温度、ヒートマップのデータ等）を収集し且つ元のセンサデータを対応するユーザデバイス（例えば、スマートフォン、タブレット等）、アノテーションステーション１２８（例えば、ワークステーション及びデスクトップコンピューター）および／またはトレーニングセットサーバ１２０（例えば、家電製品のメーカーまたはメーカー向けのサードパーティのサービスプロバイダーによって提供されるサーバ）に送信するように配置される。一部の実施例において、一つまたは複数の家電製品は、トレーニングモデルサーバ１２２および／または対応するユーザデバイスから制御命令を受信するように配置される（例えば、電器Ｃ１１４は野菜をローストするためにトレーニングモデルサーバ１２２から制御命令を受信して電子レンジの温度を４２５°Ｆに設置することができ、電器Ａ１１０はユーザデバイスＡ１１１から制御命令を受信して洗濯循環を選択することができる）。一つまたは複数の家電製品（例えば、電器Ａ１１０、電器Ｂ１１２及び電器Ｃ１１４）の更なる詳細に関しては本開示の他の部分の詳しい説明を参照する。

一部の実施例において、一つまたは複数のユーザデバイスは、対応する電器から元のセンサデータを受信するように配置される（例えば、電器Ａ１１０に対応するユーザデバイスＡ１１１は電器Ａ１１０から元のセンサデータを受信するように配置される）。一部の実施例において、一つまたは複数のユーザデバイスはさらにアノテーションデータをアノテーションステーション１２８および／またはトレーニングセットサーバ１２０に送信するように配置される。一部の実施例において、一つまたは複数のユーザデバイスは制御命令を生成して対応する電器に制御命令を送信するように配置される（例えば、ユーザデバイスＡ１１１は電器Ａ１１０に命令を送信して電器Ａ１１０をオン／オフし、または電器Ａ１１０における設定を選択する）。一部の実施例において、一つまたは複数のユーザデバイスは携帯電話、タブレットまたはコンピュータデバイスを含むが、これらに限定しない。一部の実施例において、一つまたは複数のユーザデバイスは一つの電器に対応してもよく（例えば、コンピュータおよび携帯電話はいずれも電器Ａ１１０に対応してもよく（例えば、機器設定のプロセスにおいて両方も電器Ａの制御デバイスとして登録される）、それによって、電器Ａ１１０が元のセンサデータをコンピュータおよび携帯電話中の一方または両方に送信することができる）。一部の実施例において、ユーザデバイスは電器に対応する（例えば、電器とデータを共有するおよび／または電器と通信する）（例えば、ユーザデバイスＡ１１１は電器Ａ１１０に対応する）。例えば、電器Ａ１１０はデータを収集して（例えば、画像または温度データなどの元のセンサデータ）、収集されたデータをユーザデバイスＡ１１１に送信してもよく、それによって、ユーザはユーザデバイスＡ１１１において収集されたデータをアノテーションすることができる。

一部の実施例において、アノテーションステーション１２８は一つまたは複数の電器（例えば、電器１１０、１１２および１１４）から収集されたデータを受信するように配置され、それによって、専門なアノテーション担当者が収集されたデータに対してアノテーションする。一部の実施例において、アノテーションステーション１２８は一つまたは複数のユーザデバイス（例えば、ユーザデバイス１１１、１１３および１１５）からアノテーションデータを受信するように配置され、それによって、専門なアノテーション担当者によるレビュー、編集、および／または承認を行う。一部の実施例において、一つまたは複数のユーザデバイスからのアノテーションデータがアノテーションステーション１２８で承認されると、アノテーションステーションは、承認されたデータをトレーニングセットサーバに記憶されたトレーニングデータ集合に含まれるようにトレーニングセットサーバ１２０に送信する。一部の実施例において、アノテーションステーション１２８はサーバ１２０からアノテーションデータを検索して、専門なアノテーション担当者によるレビュー、編集、および／または承認を行う。一部の実施例において、アノテーションステーション１２８はサーバ１２０からアノテーションされていないデータを検索して、専門なアノテーション担当者によるアノテーションを行う。アノテーションステーション１２８においてアノテーションされたおよび／または承認されたセンサデータはトレーニングデータ集合に含まれるようにサーバ１２０に返される。

一部の実施例において、トレーニングセットサーバ１２０は一つまたは複数の家電製品（例えば、電器１１０、１１２および１１４）から元のセンサデータを受信し、および／または一つまたは複数のユーザデバイス（例えば、ユーザデバイス１１１、１１３および１１５）からアノテーションデータを受信するように配置される。一部の実施例において、トレーニングセットサーバ１２０はさらに、アノテーションステーション１２８に元のデータおよび／またはアノテーションデータを送信して、アノテーションステーション１２８からアノテーションされたおよび／または承認されたアノテーションデータを受信するように配置される。トレーニングセットサーバ１２０は、トレーニングモデルサーバ１２２が採用するトレーニングモデルおよびトレーニング方法によって、アノテーションデータを事前処理し、例えば、トレーニングデータに対してグループ化、分割並びに関連付けし、及びトレーニングデータをインデックス並びに記憶するように配置される。トレーニングセットサーバ１２０は、トレーニングデータをリクエストする特定のトレーニングモデルに基づいて、選択されたトレーニングデータ（例えば、アノテーションステーション１２８において承認されたアノテーションデータに対応するデータ又はこのアノテーションデータ基づくデータを含む）をトレーニングモデルサーバ１２２に送信するように構成される。

一部の実施例において、トレーニングモデルサーバ１２２は、トレーニングセットサーバ１２０からトレーニングデータを受信するように配置される。トレーニングモデルサーバはさらに、選択可能に一つまたは複数の電器および／またはユーザデバイスに制御命令（例えば、特定の家電製品の制御プロトコルに従って準備された機器命令）および／またはテキストデータ（例えば、テキストメッセージ）を送信するように配置される。トレーニングモデルサーバ１２２は、識別モデル１２３（例えば対象を識別および分類するために用いられる）、位置決めモデル１２４（例えば、対象の位置決めおよび対象の輪郭の表示に用いられる）および他のモデルを含む。識別モデル１２３は、家電製品によって操作される対象（例えば、衣類、食物等）の識別に関連する。位置決めモデル１２４は、家電製品における品物の位置決めに関連する。例えば、位置決めモデル１２４は、スマートオーブンのオーブンラックの左側にある２枚の鶏肉、およびスマートオーブンのオーブンラックの右側にある４枚のクッキーを識別して、スマートオーブンによってキャプチャされた画像においてそれらの輪郭を一つずつ描くことに用いられ。トレーニングモデルサーバ１２２は、トレーニングセットサーバ１２０から受信したトレーニングデータに基づいて識別モデル１２３、位置決めモデル１２４および／または他のモデルをトレーニングする。識別モデル１２３、位置決めモデル１２４および他のモデルのトレーニングが十分に完了すると（例えば、精度の閾値レベルに達すると）、トレーニングセットサーバ１２０は家電製品からリクエストを受信して、家電製品によってキャプチャされたセンサデータに基づいてアイテムのアイデンティティ／位置をリアルタイムで決定する。一部の実施例において、トレーニングセットサーバ１２０によってアイテムを決定する条件は、リクエストを行った家電製品に返されて提供され、それにより、各家電製品は決定されたアイテムの条件に基づいて適切な動作を決定し、例えば、家電製品の操作を変化し、および／またはユーザに警告する。

一部の実施例において、家電製品（例えば、電器１１０、１１２および１１４）、ユーザデバイス（例えば、ユーザデバイス１１１、１１３および１１５）、アノテーションステーション１２８、トレーニングセットサーバ１２０とトレーニングモデルサーバ１２２は一つまたは複数のネットワーク１９０によって接続される（例えば、一つまたは複数のネットワーク１９０とデータを共有し、および／またはそれと通信する）。一つまたは複数のネットワーク１９０は有線および無線ネットワークを含んでもよく、かつ家庭のローカルエリアネットワークまたはワイドエリアネットワーク（例えば、インターネット）であってもよい。

図１Ｂは一部の実施例による家電製品システム１０１を示すブロック図である。

一部の実施例において、図１Ｂに示すように、家電製品システム１０１は、家電製品１４０および家電製品１４０と別に実現されるコンピューティングシステム１３０を含む。家電製品１４０は、図１Ａにおける家電製品１１０、１１２および１１４のいずれか一つとして用いられることができる。一部の実施例において、コンピューティングシステム１３０は一つまたは複数のネットワーク１９０を介して家電製品１４０と通信する。一部の実施例において、コンピューティングシステム１３０はユーザデバイスで実現される（例えば、家電製品を制御し且つ家電製品とインタラクションするためのユーザーアプリケーションに関連する）。一部の実施例において、コンピューティングシステム１３０および電器１４０はさらに、コンピューティングシステム１６０と通信して、クライアント－サーバーに基づいて、コンピューティングシステム１３０および電器１４０におけるいくつかの機能を完成させる。一部の実施例において、コンピューティングシステム１６０は家電製品のメーカーのサーバで（例えば、トレーニングモデルサーバ１２２で）実現される。一部の実施例において、コンピューティングシステム１６０はスタンドアロンコンピュータで（例えば、スマートホームのローカルサーバで）実現される。

図１Ｂを参照し、コンピューティングシステム１３０は、上記の図１Ａに関して説明されたユーザデバイス（例えば、ユーザデバイス１１１、１１３および１１５）に対応する、アノテーションユーザインターフェースモジュール１３２、画像処理モジュール１３４、ネットワーク通信ユニット１３６および一つまたは複数のデータベース１３８のうちの一つまたは複数を含む。一部の実施例において、コンピューティングシステム１３０は、ユーザ側操作進捗監視モジュール１４９およびユーザ側電器機能制御モジュール１５３をさらに含み、それにより、上記のような家電製品システムのデータ収集およびアノテーションを促進するほか、さらに家電製品システムの機器操作進捗監視および電器制御を促進する。

一部の実施例において、アノテーションユーザインターフェースモジュール１３２により、コンピューティングシステム１３０のユーザが対応する電器１４０（例えば、電器１１０、１１２または１１４）から受信された元のセンサデータを閲覧およびアノテーションできる。例えば、ユーザはそのユーザデバイス（例えば、ユーザデバイス１１１、１１３または１１５）におけるアプリケーションを使用して対応する電器によって記録された画像および温度データを閲覧することができる。一部の実施例により、ユーザは収集されたデータに対してアノテーションおよび詳細を追加できる。

一部の実施例において、画像処理モジュール１５５は、電器１４０のイメージングシステムによってキャプチャされた画像を取得して、当該画像を処理して分析する。画像処理モジュール１５４の機能および電器１４０のイメージングシステムの機能は、以下に例えば図３を参照して説明される。

ネットワーク通信ユニット１３６により、コンピューティングシステム１３０は、一つまたは複数のネットワーク１９０を介して電器１４０および／またはコンピューティングシステム１６０と通信することができる。

一部の実施例において、データベース１３８は前にキャプチャされた対象画像又は他の類似する家電製品システムからの画像を含む。一部の実施例において、データベース１３８は、コンピューティングシステムがユーザーに栄養情報およびレシピを提供することを可能にする成分データベース、またはコンピューティングシステムがユーザーに洗濯命令を提供することを可能にする衣類データベースを含む。

一部の実施例において、コンピューティングシステム１３０は、コンピューティングシステム１６０および電器１４０と結合してユーザ側機能、例えば、ユーザ側操作進捗監視および電器機能制御のユーザ側機能を提供するアプリケーションを含む。

一部の実施例において、ユーザ側進捗監視モジュール１４９は電器１４０によってキャプチャされたリアルタイムのセンサデータに基づいて機器操作の進捗を決定するように配置される。

一部の実施例において、ユーザ側電器機能制御モジュール１５３はユーザに対してユーザインターフェースを提供して電器の機能（例えば、電器のオン／オフまたは電器のパラメータの設置等）を直接的に制御し、および／または進捗監視の結果に基づいて制御命令を自動的に生成するように配置される。一部の実施例において、進捗監視の結果はユーザ側進捗監視モジュール１４９からユーザ側電器機能制御モジュール１５３に提供される。一部の実施例において、進捗監視の結果はコンピューティングシステム１６０からユーザ側電器機能制御モジュール１５３に提供される。一部の実施例において、進捗監視の結果は電器１４０からユーザ側電器機能制御モジュール１５３に提供される。

一部の実施例において、電器１４０は、１つまたは複数の第１センサ（例えば、センサ１４１）、１つまたは複数の加熱ユニット１４３、ディスプレイ１４４、Ｉ／Ｏモジュール１４５、ユーザインターフェース１４６、ネットワーク通信ユニット１４７、機械ユニット１４８、制御モジュール１５５、イメージングシステム、および選択可能な電器側動作進捗監視モジュール１４９’を含む。制御モジュール１５５は、電器側電器機能制御ユニット１５３’を選択可能に含む。

一部の実施例において、一つまたは複数の第１センサ１４１は、構造化データ、例えば温度、重量および／または湿度をキャプチャするように配置される。本開示で討論されたように、構造化データは、例えば、温度、湿度、時間、オン／オフ、オーブンモード等の定量または状態データを示す。例えば、一つまたは複数の第１センサ２１２は、家電製品１４０の温度センサ（例えば、温度計）または湿度センサ、または重量センサであってもよい。

一部の実施例において、一つまたは複数の加熱ユニット１４３は、加熱電器の少なくとも一部として配置される（例えば、加熱スマートオーブンの調理室の加熱コイルとして配置される）。

一部の実施例において、電器１４０はディスプレイ１４４を含み、ディスプレイ１４４はユーザに電器１４０に関する情報（例えば、現在選択される洗濯循環）を提供する。一部の実施例において、ディスプレイ１４４はＩ／Ｏモジュール１４５およびユーザインターフェース１４６と集積されてもよく、それによって、ユーザが情報を電器１４０に入力しまたは電器１４０から情報を読み出す。一部の実施例において、ディスプレイ１４４は、Ｉ／Ｏモジュール１４５およびユーザインターフェース１４６と結合してユーザにアドバイス、アラームと栄養情報を提供して、ユーザから制御命令（例えば、電器１４０を介して提供されるハードウエアおよび／またはソフトウェアインターフェース）を受信する。一部の実施例において、ディスプレイ１４４は、タッチスクリーンディスプレイ、またはボタンを含むディスプレイであってもよい。一部の実施例において、ディスプレイ１４４は、タッチスクリーン特徴を有しない簡単なディスプレイ（例えば、従来のＬＥＤまたはＬＣＤディスプレイ）、かつユーザインターフェース１４６は、手動で制御できるハードウエアボタンまたはノブであってもよい。一部の実施例において、ユーザインターフェース１４６は、選択可能に、ディスプレイ、スピーカ、キーボード、タッチスクリーン、音声入出力インターフェース等のうちの一つまたは複数を含む。

ネットワーク通信ユニット１４７は、機能でネットワーク通信ユニット１３７に類似する。ネットワーク通信ユニット１４７により、電器１４０が一つまたは複数のネットワーク１９０を介してコンピューティングシステム１３０および／またはコンピューティングシステム１６０と通信する。

本開示で説明された機械ユニット１４８は、家電製品１４０の内部感知（例えば、イメージング）、加熱および／またはレイアウトを物理的に変化させるように配置される、電器１４０のハードウエアおよび対応するソフトウェア並びにファームウェアコンポーネントを指す。例えば、一つまたは複数の第１センサ１４１は機械ユニットに対応してもよく、それにより、一つまたは複数のセンサ１４１が電器１４０内の対応する領域をスキャンするように移動することができる（例えば、モーターは、所定の領域においてデータをキャプチャするために、所定の領域においてセンサを移動させるように構成されてもよい）。一部の実施例において、家電製品システムの家電製品機能制御ユニット（例えば、家電製品側家電製品機能制御モジュール１５３’、ユーザ側電器機能制御モジュール１５３および／またはサーバ側電器機能制御モジュール１５３’’）からの命令に基づいて電器１４０の機械ユニット１４８を操作する。

一部の実施例において、電器側操作進捗監視モジュール１４９’は電器１４０の操作進捗を監視するように配置される。例えば、電器がスマートオーブンである場合、電器側操作進捗監視モジュール１４９’は一つまたは複数の第１センサ２１２および／または一つまたは複数の第２センサ２１４が記録した元のデータに基づいて、食物が中程度の熟度に調理されたと決定してもよい。一部の実施例において、電器側操作進捗監視モジュール１４９’は、食物アイテムの位置および輪郭決定モデルと、コンピューティングシステム１６０でトレーニングされた食物調理進行レベル決定モデルとを使用して、センサ１４１及びイメージングシステムによってキャプチャされたリアルタイムのセンサデータに基づいて、食物アイテムの調理の進捗を決定するように構成される。

一部の実施例において、イメージングシステムは、一つまたは複数の第２センサ１４２を含む。一つまたは複数の第２センサ１４２は非構造化データをキャプチャするように配置される。非構造化データの例は、ＲＧＢ画像および熱画像または赤外線画像を含む。例えば、電器がスマートオーブンである場合、一つまたは複数の第２センサ１４２は電器の調理箱にある食物の静止画像またはビデオをキャプチャまたは記録するように配置される。一部の実施例において、電器がスマートオーブンである場合、イメージングシステムはデータ記憶システムを含み、データ記憶システムは、食物調理箱の寸法、食物調理箱内の基準マークの寸法、カメラと食物調理箱内の各種基準マークとの間の距離を記憶し、それにより、カメラで撮影した画像を用いて画像内の食物アイテムの寸法及び形状を正確に決定することができる。そのため、イメージングシステムは、従来のイメージングシステムにおける、ユーザーが画像内のアイテムのサイズ、位置、および方向の情報を利用せずに、画像内において基準マークを配置し、又は画像を使用することに対する特別な注意を必要とする問題を排除した。一部の実施例において、イメージングシステムは、画像キャプチャトリガシステムを含む。例えば、一部の実施例において、画像キャプチャトリガシステムがカメラの視野において変化があったことを検出するとき、画像キャプチャがトリガされる。例えば、オーブンの扉が開かれると、オーブン内の照明条件が変化され、オーブンの扉が開かれることに応答して画像のキャプチャがトリガされる。一部の実施例において、食物アイテムがカメラの視野で現れ始めるとき、画像キャプチャがトリガされる。一部の実施例において、食物アイテムが完全に挿入され、且つオーブンの扉が閉じられると、画像キャプチャがトリガされる。一部の実施例において、画像キャプチャトリガシステムはさらに、オーブンの扉が開かれる前にオーブン内部の箱基線画像としてオーブンラックの画像を直ちにキャプチャして記憶するように、カメラに対して指示する。一部の実施例において、例えば、ユーザが食物アイテムを食物調理箱に挿入した後、ユーザの入力に応答して、手動で画像キャプチャをトリガする。手動トリガーがより簡単でその実現が複雑ではなく、且つ手動トリガーにより、ユーザーが食材アイテムの特徴を最も反映できる画像を意図的にキャプチャして成分認識に用いられる。一部の実施例において、画像処理モジュール１５４は、一つまたは複数の第２センサ１４２によってキャプチャされた画像を取得して、食物アイテムを挿入する前にキャプチャされた箱基線画像に基づいて画像に対して事前処理を行って、画像から背景を消去する。箱基線画像は、家電システムの食物調理箱内の食物サポートプラットフォームの適切な状態をキャプチャし、食物アイテムが含まれる画像に優れたフィルタリングを提供して背景を消去する。

一部の実施例において、制御モジュール１５５は、センサ制御１５１、センサ制御１５２および電器側電器機能制御モジュール１５３’を含む。センサ制御１５１は一つまたは複数の第１センサ１４１を制御および調整するように配置される。例えば、センサ制御１５１は、一つまたは複数の第１センサ１４１が１分間おきに温度データを記録するために、命令を送信してもよい。センサ制御１５２は一つまたは複数の第２センサ１４２を制御および調整するように配置される。例えば、一つまたは複数の第２センサ１４２が移動前に開始位置に位置しかつ移動後に最終位置に位置すると、センサ制御１５２は、一つまたは複数の第２センサ１４２が第１方向に沿って移動し、ピクチャーをキャプチャするように、命令を送信してもよい。

電器側電器機能制御モジュール１５３’は、電器１４０の各種の機能を制御および調整するように配置される。例えば、電器側電器機能制御モジュール１５３’は、一つまたは複数の加熱ユニットにおける第１加熱ユニットを活性化するために加熱ユニット１４３に命令を送信し、またはその位置を変えさせるために機械ユニット１４８に命令を送信する。一部の実施例において、電器側電器機能制御モジュール１５３’は事前配置された操作プロトコルに基づいて（例えば、電器１４０の正常で常套な機能を実現させるために）制御命令を生成してそれを電器１４０の各コンポーネントに送信する。一部の実施例において、電器側電器機能制御モジュール１５３’は、家電製品内のリアルタイム操作進捗監視に基づいて、制御命令を生成して家電製品１４０の各コンポーネントに制御命令を送信する（例えば、事前設定された反応プロトコルまたはプログラムに基づいて、ユーザーの介入なしに電器１４０の機能を自動的に調整する）。一部の実施例において、電器側電器機能制御モジュール１５３’は、ユーザデバイスから受信したリアルタイムのユーザ命令または電器１４０のユーザインターフェース１４６を介して受信したリアルタイムのユーザ命令に基づいて制御命令を生成し、且つ制御命令を電器１４０の各コンポーネントに送信する。一部の実施例において、操作進捗監視の結果をユーザ側操作進捗監視モジュール１４９から電器側電器機能制御モジュール１５３’に提供する。一部の実施例において、操作進捗監視の結果をコンピューティングシステム１６０から電器側電器機能制御モジュール１５３’に提供する。一部の実施例において、操作進捗監視の結果を電器側操作進捗監視モジュール１４９’から電器側電器機能制御モジュール１５３’に提供する。

一部の実施例において、コンピューティングシステム１６０は、サーバ側操作進捗監視モジュール１４９’’およびサーバ側電器機能制御モジュール１５３’’を含む。一部の実施例において、サーバ側操作進捗監視モジュール１４９’’は図１Ａに示す識別モデル１２３、位置決めモデル１２４および他のモデルを使用して、家電製品１４０から（例えば、直接的にまたはコンピューティングシステム１３０を介して）受信したリアルタイムのセンサデータに基づいて対象のアイデンティティ、位置、プロファイルおよび他の条件を決定する。一部の実施例において、コンピューティングシステム１６０は、例えば、図１Ａにおけるトレーニングモデルサーバ１２２によって実現される。

図１Ｂにおける家電製品システム１０１内の各種のシステムの機能は説明的なものに過ぎない。機能の他の配置および機能の他の分割は可能である。各種の実施例において、一つのサブシステムのいくつかの機能は別の一つのサブシステムにおいて実現されてもよい。

一部の実施例において、図１Ｃに示すように、家電製品システム１０１は、電器１４０’と集積されるコンピューティングシステム１３０’を含む。一部の実施例において、コンピューティングシステム１３０’は、コンピューティングシステム１６０’と通信して電器１４０’のいくつかの機能を完成させる。一部の実施例において、電器１４０’は、選択可能に、コンピューティングシステム１６０と通信して電器１４０’のいくつかの機能をアウトソーシングしてもよい。

図１Ｃを参照し、電器１４０’は、内蔵するコンピューティングシステム１３０’を有する。電器１４０’は、センサ１４１、加熱ユニット１４３、ディスプレイ１４４、Ｉ／Ｏモジュール１４５、ユーザインターフェース１４６、ネットワーク通信ユニット１４７、機械ユニット１４８、電器側操作進捗監視モジュール１４９’およびイメージングシステムを含む。電器１４０’のこれらのコンポーネントは電器１４０におけるコンポーネントに対応し、かつ類似する機能を有し、簡潔のために、ここでは繰り返して説明しない。

一部の実施例において、電器１４０’内のコンピューティングシステム１３０’は、制御モジュール１５５’、センサ制御１５１’、電器側電器機能制御モジュール１５３’”、画像処理システム１５４’、データベース１３８’、及び電器側アノテーションユーザインターフェースモジュール１３２’を含む。これらのコンポーネントの機能はそれらが電器１４０において同一の名称を有する対応する対応物に対応して（例えば、センサ制御１５１’はセンサ制御１５１と同一の機能を有する）、簡潔のために、ここでは繰り返して説明しない。一部の実施例において、アノテーションユーザインターフェースモジュール１３２”’により、ユーザが電器１４０と分離するユーザデバイスにおいてローユーザデータを閲覧およびアノテーションできる。それに比べて、電器側アノテーションユーザインターフェースモジュール１３２’により、ユーザが電器１４０’のディスプレイ１４４においてローユーザデータを閲覧およびアノテーションでき、および／または音声でアノテーション画像における操作進捗レベルを入力できる。

上記の例は、単に説明の目的で提供されるものである。以下は他の図面および説明を参照して各コンポーネントの機能の更なる詳細を説明する。本開示に記載の１つまたは複数のコンポーネントは、他のコンポーネントと独立して使用され得ることが理解される。
図２は一部の実施例による、洗濯機に積載された洗濯される衣類の検出画像に基づいて洗濯循環設定を自動的に選択するプロセス２００の模式図である。便宜上、プロセス２００は、洗濯機のコンピューティングシステム（例えば、図１Ｃにおける電器１４０’のコンピューティングシステム１３０’）によって実行されると説明される。

ユーザーが手動で洗濯機の洗濯循環設定を選択することに依存せず、洗濯機のコンピューティングシステムは、画像の検出および分類モデルを使用して衣類のタイプを識別し、適切な洗濯機の洗濯循環設定を自動的に選択する。一部の実施例において、自動的に選択される洗濯機循環設定は、積載衣服の検出された特性（例えば、織物のテクスチャ、色、寸法、タイプなど）に基づいたものであり、且つ洗濯中の衣類に対する損傷（例えば、色あせ、裂け目、引張りなど）を最小限に抑えるように設定される。一部の実施例において、洗濯機への損傷を防ぐために自動的に選択される洗濯循環を設定する。例えば、コンピューティングシステムが金属ジッパーのような金属部品を備えた衣類を検出した場合、コンピューティングシステムは、金属部品が洗濯機のドラムを傷つけないように、タンブリングが低減される洗濯循環を選択することができる。一部の実施例において、コンピューティングシステムによって、ユーザが洗濯目標の優先度を区別させることができ（例えば、衣類損傷の防止、洗浄結果の最大化、洗濯時間の最小化等）、かつコンピューティングシステムがユーザの配置に応じて洗濯循環を自動的に選択することができる。ユーザーは、洗濯機循環設定の自動選択を無効にして、代わりに手動で洗濯機循環設定を選択することができる。

自動で洗濯循環を選択するために、洗濯機のコンピューティングシステムは、まず洗濯機内に積載される洗濯される衣類の複数の画像を取得する（２０２）。一部の実施例において、一つまたは複数のカメラ（例えば、図１Ｂのセンサ１４１または１４２）は、洗濯機の中に取り付けられ、かつカメラの視野が洗濯機のドラムを覆う。例えば、一つまたは複数のカメラは、洗濯機の扉または窓に取り付けられてもよい。一部の実施例において、積載された衣類のさらなる代表的で完整なピクチャーを取得するために、洗濯機のドラムは、各画像キャプチャセッションの間にわずかに（例えば、半回転）タンブリング回転して、積載された洗濯される衣類を展開させる。一部の実施例において、洗濯機のドラムがタンブリング回転しているとき、一つまたは複数のカメラが積載された洗濯される衣類のビデオを撮影する。一部の実施例において、洗濯循環の対応する設定に基づいて洗濯循環を正式に開始する前に、コンピューティングシステムは、洗濯機にマシンドラムの回転を開始させるように指示し、マシンドラム内の衣類アイテムの一連の画像を取得し、それらの画像の各画像を使用して対象の検出および分類に用いられる入力画像とする。各入力画像からの推定結果を組み合わせることによって、複数の入力画像からの最終的な推定結果を取得する。例えば、一部の実施例において、複数の画像における一つの入力画像からの推定結果が、識別された衣類アイテムの中に最も厳しい設定要求を持つ特定のタイプの衣類アイテムが存在することを指示すれば、機器設定はその特定のタイプの衣類アイテムの存在に基づいて変更される。一部の実施例において、機械設定の変更をトリガーするために、複数の入力画像における閾値数の入力画像において特定のタイプの衣類アイテムを検出する必要がある。

１つまたは複数のカメラが積載された洗濯物の画像に対する撮影を完成すると、コンピューティングシステムは、画像を画像処理モジュール（例えば、図１Ｃにおける画像処理モジュール１５４’）に送信して事前処理を行う（２０３）。事前処理中に、非構造化画像の元のデータは、変換してから画像処理モデルに送られる。事前処理は、トレーニング速度および分類精度の向上に役立つ。例示的な事前処理技術は、縦横比の正規化、画像のスケーリング、平均値の正規化、データの正規化、次元縮退、データの強調などを含む。

次に、事前処理画像は、１つまたは複数の画像処理モデルに送信されて特徴検出に用いられる（２０４）。一部の実施例において、画像処理モデルは、洗濯機のコンピューティングシステムに記憶され、且つ洗濯機のコンピューティングシステムにおいてローカルで実行される。または、画像処理モデルは、リモートサーバ（例えば、図１Ａにおける推定結果セットサーバ１２９）に記憶されてリモートサーバにおいて実行され、当該リモートサーバはネットワーク（例えば、図１Ａにおけるネットワーク１９０）を介して洗濯機のコンピューティングシステムに接続される。画像処理モデルは、ネットワークを介して洗濯機の作業年限が切れるまでに更新し続けることができる。

一部の実施例において、画像処理モデルは、事前処理された洗濯される衣類の画像を入力として受信し、積載された洗濯される衣類のうちの一つまたは複数の衣類の検出された特徴を出力する。画像処理モデルは、一つまたは複数の画像検出アルゴリズム、例えば、畳み込みニューラルネットワーク（ＣＮＮ）、領域に基づくＣＮＮ（Ｒ－ＣＮＮ）、高速及びより高速なＲ－ＣＮＮ、領域に基づく完全畳み込みネットワーク（Ｒ－ＦＣＮ）、Ｙｏｕ－Ｏｎｌｙ－Ｌｏｏｋ－Ｏｎｃｅ（ＹＯＬＯ）、シングル検出器（ＳＳＤ）等を含んでもよい。トレーニング画像処理モデルに関連する資源コストが高いため、一部の実施例において、画像処理モデルはまずリモートコンピューティングシステム（例えば、図１Ａにおけるトレーニングモデルサーバ１２２）においてトレーニングされ、かつネットワークを介して更新されて洗濯機のローカルコンピューティングシステムに送信される。

一部の実施例において、各画像処理モデルは、１種のタイプの特徴を検出するように配置される。例えば、個別の画像処理モデルは、衣類のタイプ（２０６）、積載のサイズ（２０８）、衣類の色（２１０）、泡（２１２）、テクスチャのレベル（２１４）等を検出するように配置されてもよい。一部の実施例において、画像処理モデルは、特徴検出のために洗濯機に取り付けられたセンサから付加の入力を受信する。例えば、負荷重量を測定するために１つまたは複数の体重計を洗濯機に取り付けてもよい。一部の実施例において、各画像処理モデルは、バイカテゴリ分類分類器である。例えば、画像処理モデルは、画像が「シャツ」を含むかどうかを決定するように構成されてもよく、または画像処理モデルは、画像が「赤い服」を含むかどうかを決定するように構成されてもよい。

画像処理モデルを使用して衣類のタイプを検出することに関連する問題は、ある衣類のタイプが誤分類されやすくて、それにより、画像処理モデルに偽陽性結果（または、代わりに偽陰性結果）を常に発生させてしまうことである。これは、衣類がドラム内で捻られて絡んでいることが多いことで、その全部の特徴が完全に隠蔽されているためと考えられる。例えば、絡んだりねじったりしたシャツはブラジャーに非常に似ているように見える可能性があって、画像処理モデルは、シャツがブラジャー（偽陽性）であると誤って決定する可能性がある。対象の検出および分類の精度を高める（例えば、偽陽性の結果の数を減らす）とともに、画像処理モデルによってリコールを維持するために（例えば、偽陰性の結果の数を増やさない）、トレーニングサーバ（例えば、図１Ａのトレーニングモデルサーバ１２２）において修正された機器学習トレーニングプロセスを実現させる。図３を参照して修正された機器学習トレーニングプロセスを詳しく説明した。

画像処理モデルが積載された洗濯される衣類を検出して分類した後、洗濯機のコンピューティングシステムは、検出結果を対応する洗濯循環にマッピングする（２１６）。例示的な洗濯循環は、通常の循環（例えば、綿系衣類に用いられる）、パーマネントプレス循環（例えば、カラー系衣類に用いられる）、繊細循環（例えば、細粒系衣類に用いられる）等を含む。各循環は、異なる水温、タンブリング速度、回転速度、および洗濯時間に関連する。

検出結果から対応する洗濯循環設定へのマッピングは事前配置されたものであり、後にリモートサーバ（例えば、図１Ｂのコンピューティングシステム１３０）を介して更新されてもよい。例えば、マッピングは、１つ又は複数の洗濯ターゲット、例えば、衣類の寿命の維持、洗濯時間の短縮、汚れの除去などを最大化するように構成されてもよい。マッピングは、検出される衣類の素材、テクスチャ、サイズ、数、および色に基づいたものであってもよい。例えば、コンピューティングシステムが洗濯される衣類の負荷が羊毛からなる鮮やかな衣類が含まれていることを検出した場合、穏やかな洗濯循環を使用することができる。

図２は、画像処理モジュールからのターゲット検出結果および分類結果に基づいて機器設定を如何に制御する例であり、当該ターゲット検出および分類結果が本開示に説明されたマルチパストレーニングプロセスによって生成されたものである。一部の実施例により、他のタイプの機器は、機器の各種の動作を可変的な設定で制御するために本開示に記載された方法を選択可能に使用し、他のタイプの機器は、例えば、乾燥機ドラムの画像において識別される異なるタイプの衣類アイテムに対する異なる乾燥設定を有する衣類乾燥機、オーブンチャンバーの画像において識別される異なるタイプの食物アイテムに対する異なる調理設定を有するオーブン、ディッシュラックの画像における異なるタイプのお皿および容器に対する異なる洗濯設定を有する食器洗い機等を含む。

図３は一部の実施例によるマルチパストレーニングプロセスにおいて画像処理モデルをトレーニングすることに用いられるプロセス３００の模式図である。便宜上、プロセス３００は、リモートサーバ（例えば、図１Ａのトレーニングモデルサーバ１２２）によって実行されるものとして説明される。プロセス３００は、ローカルコンピューティングシステム（例えば、図１Ｃのコンピューティングシステム１３０’）によって記憶および使用されるトレーニングされた画像処理モデルを出力する。１つの代替実施例において、プロセス３００は、ローカルコンピューティングシステムによって実行され、同じローカルコンピューティングシステムによって記憶および使用されるトレーニングされた画像処理モデルを出力する。プロセス３００は、一般化された画像処理モデルトレーニングプロセスであり、図２で説明したようなトレーニングが衣類のタイプを検出するに用いられる画像処理モデルには特定されない。

プロセス３００は、少なくとも第１トレーニングパス３０１および第２トレーニングパス３０３を含むマルチパスプロセスである。従来のシングルパス画像処理モデルトレーニングプロセス（例えば、ＣＮＮにおける逆方向伝播）に比べて、プロセス３００は、まずトレーニングデータセットにおける「困難」データポイント（例えば、画像処理モデルが偽陽性推定結果を出力する原因となる１セットのデータポイント）を識別し、次に画像処理モデルに付加の出力タイプを追加してこれらの困難データポイントの推定結果を説明し、それによって、推定の精度を向上させる。結果として、プロセス３００は、バイカテゴリ分類モデル（例えば、第１画像処理モデル３０６）をマルチ分類モデル（例えば、第２画像処理モデル３０６）に効果的に変換する。

第１のトレーニングパス３０１の期間中に、コンピューティングシステムは、第１トレーニングセッション３０４において第１セットのトレーニングデータ３０２を用いて第１画像処理モデル３０６を生成する。第１セットのトレーニングデータ３０２は、画像処理モデルトレーニングに適用されるアノテーションデータを含む。例えば、第１セットのトレーニングデータ３０２は、衣類タイプ（例えば、家電製品が洗濯機である場合）がマークされ、または食物アイテムタイプ（例えば、家電製品がスマートオーブン又は電子レンジである場合）がマークされた１セットの画像であってもよい。一部の実施例において、一つの画像は、異なるデータタイプを有する複数のデータを含む。例えば、画像は、異なるタイプの複数の衣類を含んでもよい。このような場合、画像は、第１トレーニングセッション３０４に用いられる前に、複数のサブ画像に分割され、各サブ画像が一つのデータタイプ（例えば、衣類タイプ）を有する。

第１トレーニングセッション３０４は、データ（例えば、洗濯機内に積載された衣服の画像）を１つまたは複数の事前定義された出力カテゴリ（例えば、衣服タイプ）に適合させる画像処理モデルを出力する。画像処理モデルの例は、線形回帰、ロジク回帰、サポートベクターマシン、ニューラルネットワークなどが挙げられる。第１トレーニングセッション３０４の期間中に、画像処理モデルパラメータ（例えば、ニューラルネットワークいおける重み付き接続ノード）は、事前定義された損失関数を最小化するために微調整され（例えば、勾配下げ方法を用いる）、ここで、損失関数は、画像処理モデルの予測データタイプと実際のデータタイプとの一致度を測定する。

第１トレーニングセッション３０４が終了するとき、第１画像処理モデル３０６を生成する。次に、コンピューティングシステムは、第１検証セッション３０８において第１画像処理モデル３０６をテストする。第１検証セッション３０８の期間中に、第１画像処理モデル３０６は１セットの検証データを受信して対応するデータタイプを予測する。一部の実施例において、コンピューティングシステムは、第１セットのトレーニングデータ３０２を検証データとして第１画像処理モデル３０６に供給する。あるいは、コンピューティングシステムは、第１セットのトレーニングデータ３０２と異なる１セットのアノテーションデータセットを検証データとして使用する。

一部の実施例において、第１画像処理モデル３０６は、バイカテゴリ分類予測機（例えば、入力画像が特定のタイプの衣類を含むかどうかを決定するための出力ノードを有するニューラルネットワーク）である。バイカテゴリ分類画像処理モデル３０６からの出力（予測ともいう）が実際の入力データタイプと比べと、（１）真陽性結果３１４、（２）真陰性結果３１６、（３）偽陽性結果３１０、及び（４）偽陰性結果３１２の４つのカテゴリのうちの１つに分類されることができる。

真陽性結果３１４は、第１画像処理モデル３０６が、入力サンプルをあるデータタイプに属したものとして正しく分類したことを示す（例えば、画像がシャツを含むと予測し、且つ画像が実際にシャツを含む）。

真陰性結果３１６は、第１画像処理モデル３０６が、入力サンプルをあるデータタイプに属さないものとして正しく分類したことを示す（例えば、画像がシャツを含まないと予測し、且つ画像が靴下のみを含む）。

偽陽性結果３１０は、第１画像処理モデル３０６が、入力サンプルをあるデータタイプに属したものとして誤って分類したことを示す（例えば、画像がシャツを含むと予測したが、画像が実際に靴下のみを含む）。

偽陰性結果３１２は、第１画像処理モデル３０６が、入力サンプルをあるデータタイプに属さないものとして誤って分類したことを示す（例えば、画像がシャツを含まないと予測したが、画像が実際にシャツを含む）。

一部の実施例において、あるサンプルセットは誤分類されやすく、かつ第１画像処理モデル３０６に偽陽性結果を常に発生させてしまうことである。例えば、洗濯機の内部から撮影した画像に基づいて衣類タイプを検出するコンテキストには、シャツのようなねじれた衣類は常にブラジャーとして誤って検出されることが多い。そのため、ブラジャーを検出するように構成された画像処理モデルは、ねじれたシャツのみを有する画像が提供される場合に偽陽性予測結果を生成する可能性が高い。

第１画像処理モデル３０６の偽陽性結果の数を低減する（例えば、モデルの精度を向上させるために）とともに、偽陰性結果の数を増加しない（例えば、モデルのリコール率を維持または低減する）ために、コンピューティングシステムは、第２トレーニングパス３０３を実行して、第１画像処理モデル３０６に基づいて第２画像処理モデル３２８を生成する。第２トレーニングパス３０３の期間中に、コンピューティングシステムは、第１セットのトレーニングデータから第１画像処理モデル３０６に第１検証セッション３０８において偽陽性結果を発生させてしまう１セットのデータを識別して、識別された当該セットのデータに対して付加のマークを適用する。例えば、ねじれたシャツを含む画像の最初のデータタイプは「シャツ」である。当該画像により第１画像処理モデル３０６に偽陽性結果を発生させたことによって、コンピューティングシステムは、シャツのデータタイプを第２データタイプに置き換え、当該第２データタイプはシャツデータタイプが「擬似偽陽性カテゴリ３１８」（例えば、「偽シャツ」）に属することを示す。

一部の実施例において、トレーニングデータセットが画像データを含む場合、トレーニングのために用いられる新しく作成される擬似偽陽性データの数を増やすために、コンピューティングシステムは、識別される擬似偽陽性画像に対して画像補強３２２を実行する。データが画像データではない場合、他のタイプのデータ補強を実行し、またはデータ補強をスキップしてもよい。

第１画像処理モデル３０６に偽陽性結果を発生させてしまうデータに対して擬似偽陽性タイプラベル３１８を適用して、（当該データが画像データを含む場合）画像補強３２２を実行した後、コンピューティングシステムは、第１セットのトレーニングデータ３０２、および新しく生成された偽陽性データタイプを有するデータを含むことによって第２セットのトレーニングデータ３２４を形成する。

次に、コンピューティングシステムは、第２セットのトレーニングデータ３２４を使用して、第２トレーニングセッション３２６において第１画像処理モデル３０６を改めてトレーニングして、第２画像処理モデル３２８を生成する。第１画像処理モデル３０６と比べ、第２画像処理モデル３２８は、擬似偽陽性データタイプに対応する付加の出力を有する。その結果、第２画像処理モデル３２８に対するトレーニングおよび推定期間中に、擬似偽陽性ラベルを有するデータは、個別のカテゴリに分類される。例えば、第１画像処理モデルおよび第２画像処理モデルは、洗濯機におけるブラジャーを検出するように構成されてもよい。上述のように、あるタイプの衣類は、絡み合ったりねじれたりすると、部分的にブラジャーのように見えてしまい、画像処理モデルが偽陽性の結果を出力してしまうことがある。プロセス３００によって、第２画像処理モデル３２８は、現在、画像を受信して画像における対象を（１）ブラッジャー、（２）ブラッジャーに非常に似てる衣類（例えば、画像処理モデル３０６に偽陽性結果を出力させた衣類）、および（３）他のタイプの衣類（例えば、靴下、ジーンズ、および第１画像処理モデルによってブラッジャーではないと正しく予測された他の衣類）に分類するように構成される。そのため、プロセス３００は画像処理モデルの出力に対して粒状性を増加させて、従って、そのリコール率を保つとともに画像処理モデルの精度を増加させる。

一部の実施例において、第１の検証セッション３０８の期間中に第１画像処理モデル３０６に偽陰性結果３１０を出力させる原因となった１セットのデータを使用する代わりに、コンピューティングシステムは、第１画像処理モデル３０６に偽陽性結果３１２を出力させる原因となった１セットのデータを付加的にまたは選択可能に使用する。

対象タイプを特定するための得られた第２画像処理モデル３２８は、入力画像を処理して、対応するタイプの対象を検出する推定結果を生成するために用いられる。一部の実施例において、機器の特定の操作に対する機器設定の選択に関する（例えば、洗濯セッションの洗濯循環）各種の対象タイプ（例えば、デリケート、タオル、寝具、赤い衣類アイテムなど）について、図３で説明されたマルチパスモデルトレーニングは、改善された画像処理モデルを生成するために用いられ、対象タイプのアイテムを識別するために用いられてもよく、かつ各操作に対して、一つ以上の改善された画像処理モデル（例えば、繊細な衣類アイテム及び赤いアイテムを同時に検出するための改善された画像処理モデル）を活性化して、これらの改善された複数の画像処理モデルからの結果を組み合わせて（例えば、これらの設定への影響の事前設定された優先度などに基づいて）、特定の操作に対する設定値を生成する。

図４は一部の実施例による図３で説明されるマルチパストレーニングプロセスにおいて生成される画像処理モデルの模式図であり、そのうち、更新されるモデルがリコール率を保つとともに対象の検出及びバイカテゴリ分類の精度を向上させる。図４にニューラルネットワークが示されたが、いくつかの選択可能な実施例において、予測の精度を向上させるために同一の方式で他のタイプの画像処理モデルを改めて配置してもよい。オリジナルモデル４０２は、入力層４０４と、一つまたは複数の隠れ層４０６と、出力層４０８とを含む。出力層４０８は、予測された「陽性結果」及び「陰性結果」に対応する二つのノード（例えば、バイカテゴリ分類）を含む。例えば、オリジナルモデル４０２は、図３で説明されたような第１画像処理モデル３０６であってもよい。

図３で説明されたような最トレーニングのプロセスの後で、オリジナルモデル４０２は、更新されたモデル４０３に更新される。オリジナルモデル４０２と比べ、更新されたモデル４０３は、１つの余裕な出力ノード、即ち偽カテゴリ出力４１０を有する。上記のように、偽カテゴリ出力４１０は、データポイントが誤分類されやすい「困難サンプル」であることにより、例えば、オリジナルモデル４０２に偽陽性または偽陰性の結果を出力させることを示す。

図５は、一部の実施例による、画像検出と、物体検出モデルのマルチパストレーニングによって生成されたバイカテゴリ分類結果とに基づいて機器設定の自動選択を実行する方法５００のフローチャートである。便宜上、方法５００は、ネットワークを介して接続された複数のサーバを含むコンピューティングシステムによって実行されるものとして説明され、コンピューティングシステムの各サーバは、特定のタスクの実行に専用される。例えば、コンピューティングシステムは、トレーニングモデルサーバ（例えば、図１Ａのトレーニングモデルサーバ１２２）および電器サーバ（例えば、図１Ｃのコンピューティングシステム１３０’）を含んでもよい。一部の実施例において、機器は、洗濯機、オーブン、電子レンジ、冷蔵庫、または他の家電製品である。

第一ステップとして、コンピューティングシステムは（例えば、トレーニングモデルサーバを介して）第１画像処理モデルを受信し、当該第１画像処理モデルは、対応する入力画像を、前記第１タイプの少なくとも一つの対象が含まれる画像に対する前記第１カテゴリと、前記第１タイプの少なくとも一つの対象が含まれない画像に対する前記第２カテゴリと、に分類するようにトレーニングされる（５０２）。そのため、第１画像処理モデルは、画像が第１カテゴリまたは第２カテゴリに属すると分類されるバイカテゴリ分類器である。例えば、第１画像処理モデルは、衣類の画像（例えば、洗濯機から撮影した洗濯される衣類画像）を、衣類のタイプ（例えば、シャツ）が含まれるもの、または衣類のタイプが含まれないもの（例えば、シャツなし）に分類するように設計されている。一部の実施例において、第１画像処理モデルは、前に第１セットのトレーニングデータを使用してリモートサーバにおいてトレーニングされるニューラルネットワークであり、第１セットのトレーニングデータは、ラベル対象が付けられた画像を含む。

第１画像処理モデルを受信した後、コンピューティングシステムは、第１画像処理モデルによって出力された複数の推定結果から偽陽性結果としての推定結果の第１サブセットを識別し、当該偽陽性結果は、第１タイプの少なくとも一つの対象が含まれない第１セットの画像を第１タイプの少なくとも一つの対象が含まれる画像に対する前記第１カテゴリに分類するものである（５０４）。一部の実施例において、コンピューティングシステムの画像処理モジュール（例えば、図１Ｃの画像処理モジュール１５４’）は、推定タスクを実行するように配置される。一部の実施例において、複数の推定結果を生成するために、コンピューティングシステムは、（画像処理モジュールを介して）第１セットのトレーニングデータ（例えば、第１画像処理モデルを生成するために用いられたトレーニングデータセット）、または第１セットのトレーニングデータと異なる第１セットの推定データ、または両方の組み合わせを対照して第１画像処理モデルを検証する。第１セットのトレーニングデータ及び第１セットの推定データは、いずれも対象タイプがマークされた画像を含む（例えば、「シャツ」、「靴下」、「ワンピース」などを含むとマークされる画像）。例えば、第１セットの画像における画像は、衣類タイプを含むとマークされ、第１画像処理モデルは、画像が「シャツ」を含むかどうかを検出するように設計される。そのため、推定結果の第１サブセットには、如何なるシャツを含んでもないがシャツを含むと第１画像処理モデルによって誤って分類された画像が含まれる。

次に、コンピューティングシステムは、第１セットの画像から第１セットの新たなトレーニングデータを生成することであって、第１セットの画像における対応画像を補強して第１の対応する複数の画像を取得することと、第１の対応する複数の画像が第１カテゴリおよび第２カテゴリと異なる偽第１カテゴリの少なくとも一つの対象を含むとマークされることとを含むことを実行する（５０６）。一部の実施例において、コンピューティングシステムは、トレーニングセットサーバ（例えば、図１Ａのトレーニングセットサーバ１２０）を介して第１セットの新たなトレーニングデータを生成する。一部の実施例において、コンピューティングシステムは、画像歪み、反転、画像輝度調整、画像拡大などによって対応する画像のバリエーションを作成することにより、第１セットの画像における対応画像を補強する。画像補強によってトレーニングデータセットのサイズを拡大することにより、画像処理モデルをよりよくトレーニングして対象の検出及び分類を実行することができる。例えば、第１セットの画像における画像は、衣類タイプを含むとマークされ、第１画像処理モデルは、画像が「シャツ」を含むかどうかを検出するように設計されており、シャツが含まれない第１セットの画像のサブセットが、１つ前の推定スデップ期間中においてシャツを含むと誤って分類された。その結果、第１セットの画像のサブセットにおける画像は、いかなる以前の衣類ラベルと異なる特別なカテゴリラベル、例えば、「偽シャツ」を受け取ることになる。このカテゴリラベルは、これらの画像が誤分類されやすい対象を含むことを示す（第１画像処理モデルに偽陽性結果を発生させてしまう）。一部の実施例において、コンピューティングシステムは、トレーニングセットサーバを介して第１セットの画像のサブセットの旧いラベルを除去する。その結果、これらの画像は、衣類のタイプを含めず、新たな「偽カテゴリ」ラベルのみを含むとマークされる。

第１セットの新たなトレーニングデータを取得した後、コンピューティングシステムは、トレーニングモデルサーバ（例えば、図１Ａのトレーニングモデルサーバ１２２）を介して少なくとも第１セットの新たなトレーニングデータを含むトレーニングデータセットによって第２画像処理モデルをトレーニングすることにより、対応する入力画像を、第１タイプの少なくとも一つの対象が含まれる画像に対する第１カテゴリと、第１タイプの少なくとも一つの対象が含まれない画像に対する第２カテゴリと、第１画像処理モデルによって第１カテゴリと誤分類されやすい対象が含まれる画像に対する偽第１カテゴリと、に分類する（５０８）。そのため、バイカテゴリ分類を実行するように設計される第１画像処理モデルと比べると、第２画像処理モデルは、画像が偽カテゴリの対象を含むと分類されること（例えば、第１画像処理モデルに偽陽性結果の対象を出力させること）に対応する付加の出力を有する。例えば、トレーニングデータセットは、「シャツ」を含むとマークされた画像、「シャツ」を含むとマークされていない画像（例えば、「靴下」、「ワンピース」などのみを含む画像）、及び「偽シャツ」を含むとマークされた画像を含んでもよい。注意すべきのは、第２トレーニングモデルにおける第１カテゴリ及び第２カテゴリは、第１トレーニングモデルにおける第１カテゴリ及び第２カテゴリと異なっており、これは、偽第１カテゴリに属した画像（例えば、第１トレーニングモデルに基づいて、第１カテゴリに含まれやすいものであるが実際に第２カテゴリに属した画像）を第１カテゴリ及び第２カテゴリに含まれないように第２トレーニングモデルがトレーニングされているためである。

最後に、コンピューティングシステムは電器サーバ（例えば、図１Ｃの電器機能制御ユニット１５３”’）を介して、第１のマシンによってキャプチャされた第１入力画像の第１推定結果に基づいて、第１マシンの機器設定を修正し、ここで、第１推定結果は、前記第２画像処理モデルによって生成され、かつ前記第１カテゴリに対応する（５１０）。例えば、コンピューティングシステムが洗濯機に積載された洗濯される衣類の画像が特定のタイプの衣類（例えば、シャツ）を含むと決定した場合、コンピューティングシステムは、検出された衣類タイプに基づいて洗濯循環を選択して、衣類への損傷を最小限に抑え、洗浄結果を最大化することができる。

一部の実施例において、第１マシンが前記第１入力画像におけるキャプチャされた対象に対して第１操作を実行する前に、コンピューティングシステムは、第１マシンにおいて第１入力画像をキャプチャし、ここで、機器設定は第１マシンによって実行される第１操作の設定である。例えば、第１マシンは洗濯機であり、第１操作は洗濯操作であり、機器設定は特定の洗濯循環設定である。洗濯機は、操作の前に、洗濯機に積載された洗濯される衣類の画像を撮影して衣類のタイプを決定し、適切な洗濯循環設定を選択することにより、それに応じて洗濯機を操作する。

一部の実施例において、複数の画像処理モデルが存在して、コンピューティングシステムは、異なる画像処理モデルを使用して異なるタイプの対象を検出して、異なる設定を適用する。コンピューティングシステムは、第４画像処理モデルをトレーニングして、対応する入力画像を第３カテゴリ、第４カテゴリまたは偽第３カテゴリに分類することに用いられ、当該第３カテゴリは、第１タイプと異なる第２タイプの少なくとも一つの対象が含まれる画像に対するものであり、当該第４カテゴリは第２タイプの少なくとも一つの対象が含まれない画像に対するものであり、当該偽第３カテゴリは第３画像処理モデルによって第３カテゴリと誤分類しやすい対象が含まれる画像に対するものであり、当該第３画像処理モデルは対応する入力画像を第３カテゴリ及び第４カテゴリだけに分類するようにトレーニングされ、且つ第１マシンによってキャプチャされた第１入力画像の第２推定結果に基づいて、第１マシンの異なる機器設定を修正し、ここで、第２推定結果は、第４画像処理モデルによって生成され、かつ第３カテゴリに対応する。例えば、洗濯機は１つの画像処理モデルを使用してシャツを分類して、もう一つの画像処理モデルを使用してジーンズを検出してもよい。シャツ及びジーンズの画像処理モデルは、いずれも以上で説明されたマルチパストレーニングプロセスを使用して改善されることができる。次に、コンピューティングシステムは、シャツとジーンズの存在の有無で洗濯循環設定を選択する。例えば、洗濯される衣類にシャツとジーンズが同時に存在する場合は、シャツのみの場合またはジーンズのみの場合より洗濯時間が長くなる可能性がある。

一部の実施例において、選択可能にまたは代替的に、補強された偽陰性サンプルはマークされ、新たなトレーニングデータにおける真陽性サンプルとマージする。その結果、新たな画像処理モデルは、偽陰性サンプルとして誤分類されやすいサンプルを分類するようにトレーニングされる。コンピューティングシステムは、第１画像処理モデルによって出力された複数の推定結果から推定結果の第２サブセットを識別し、当該推定結果の第２サブセットは偽陰性結果であり、当該偽陰性結果は、第１タイプの少なくとも１つの対象が含まれる第２セットの画像を第１タイプの少なくとも１つの対象が含まれない第２カテゴリに分類するものである。例えば、推定結果の第２サブセットは、シャツを含むが第１画像処理モデルによってシャツを含まないと分類される画像を含んでもよい。

推定結果の第２サブセットに基づいて、コンピューティングシステムは、第２セットの画像から第２セットの新たなトレーニングデータを生成することであって、第２セットの画像における対応画像を補強して第２の対応する複数の画像を取得することと、第２の対応する複数の画像を第１カテゴリの画像にマークすることとを含むこと、を実行する。例えば、コンピューティングシステムは、上記のような「偽カテゴリ」を作成するというのタスクに類似するタスクを実行してもよい。

次に、コンピューティングシステムは、第２の対応する複数の画像をトレーニングデータセットに追加して、第１画像処理モデルによって第１カテゴリに正しく分類された画像とともに、第１カテゴリに対応するトレーニング画像とする。例えば、シャツを検出するように設計された画像処理モデルの場合、トレーニングデータセットには（１）シャツを含む画像、（２）シャツ（「偽シャツ」）として誤分類されやすい対象を含む画像、（３）シャツでもなく、「偽シャツ」でもない対象を含む画像、及び（４）シャツであるがシャツではないと誤分類されやすい対象を含む画像の４つのタイプのデータが含まれる。
一部の実施例において、偽陽性結果がトレーニング期間で発生するとき、ユーザが偽陽性結果を識別する。従って、従来のモデルを有するネットワーク接続機器は、アップグレードの前にトレーニングデータセットに対して貢献することができる。コンピューティングシステムは、ユーザの入力を収集して、当該ユーザの入力は、第２のマシンが使用する第１画像処理モデルのコピーによって生成される付加の推定結果を偽陽性結果と識別し、及び第２のマシンにおいてキャプチャされた付加の推定結果に対応する画像をトレーニングデータセットに追加して、第２画像処理モデルをトレーニングする。

図６は一部の実施例による例示的な家電製品６００の図である。例えば、様々な実施例において、家電製品６００は、電器１８、１１２、１１４、１４０、１４０’、２００、２０１、２０２、２０３、２０４として用いられることができる。家電製品６００は、一つまたは複数の処理ユニット（ＣＰＵ）６０２、一つまたは複数のネットワークインターフェース６０４、メモリ６０６及びこれらのコンポーネント（時にはチップセットと称する）を相互接続するために用いられる一つまたは複数の通信バス６０８を含む。家電製品６００は、ユーザインターフェース６１０をさらに含む。ユーザインターフェース６１０は、メディアコンテンツの提示を可能にする１つまたは複数の出力デバイス６１２を含み、前記出力デバイスが１つまたは複数のスピーカーおよび／または１つまたは複数の視覚ディスプレイを含む。ユーザインターフェース６１０は、１つまたは複数の入力デバイス６１４をさらに含み、ユーザの入力を容易にするユーザインターフェースコンポーネント、例えば、キーボード、マウス、音声コマンド入力ユニットまたはマイク、タッチスクリーンディスプレイ、タッチセンシティブ入力パッド、ジェスチャーキャプチャカメラ、またはその他の入力ボタンやコントタンブリングなどのを含む。一部の実施例において、家電６００は、家電製品６００の操作環境情報を感知するセンサ（例えば、センサ１４１、１４２）をさらに含む。センサには、１つ又は複数の熱センサ、光センサ、１つ又は複数のカメラ、湿度センサ、１つ又は複数の運動センサ、１つ又は複数の生物学センサ（例えば、皮膚電気抵抗センサ、パルス酸素計など）、重量センサ、分光器、および他のセンサが含まれるが、これらに限定されない。さらに、家電製品６００は、家電製品操作ユニット６２６（例えば、電気、誘導、ガス、放射などに基づく加熱装置）を含む。メモリ６０６は、不揮発性メモリ、例えば、１つまたは複数の磁気ディスク記憶装置、１つまたは複数の光ディスク記憶装置、１つまたは複数のフラッシュメモリデバイス、または１つまたは複数の他の不揮発性ソリッドステートストレージデバイスなどを含む。選択可能に、メモリ６０６は、１つまたは複数の処理ユニット６０２から遠隔に配置された１つまたは複数のストレージデバイスを含む。メモリ６０６、または選択可能に、メモリ６０６における不揮発性メモリは、非一時的なコンピュータ可読記憶媒体を含む。一部の実施例において、メモリ６０６、またはメモリ６０６の非一時的なコンピュータ可読記憶媒体は、
オペレーティングシステム６１６であって、様々な基本システムサービスを処理ためのプロセス及びハードウェア関連タスクを実行するためのプロセスを含むオペレーティングシステム６１６と、
ネットワーク通信モジュール６１８であって、１つまたは複数のネットワークインターフェース６０４（有線または無線）を介して外部サービスに接続するように構成されるネットワーク通信モジュール６１８と、
提示モジュール６２０であって、情報の提示を実現するように構成される提示モジュール６２０と、
入力処理モジュール６２２であって、１つまたは複数の入力デバイス６１４のうちの１つの入力デバイスから、１つまたは複数のユーザ入力またはインタラクションを検出し、検出された入力またはインタラクションを解釈するように構成される入力処理モジュール６２２と、。
家電製品制御ユニット６２４であって、家電製品６００を制御し、本開示に記載された家電製品１４０または１４０’のモジュールを含むがこれらに限定されない家電製品制御ユニット６２４と、
のプログラム、モジュール、およびデータ構造、またはそのサブセットやスーパーセットを記憶する。

上記のように識別された各素子は、上記１つまたは複数のメモリデバイスに記憶され、且つ上記機能を実行するための命令セットに対応してもよい。上記で識別されたモジュールまたはプログラム（すなわち、命令セット）は、単独のソフトウェアプログラム、プロセス、モジュール、またはデータ構造として実現される必要がないので、これらのモジュールの各サブセットが各実施例において組み合わせ又は他の方式で改めて配列されてもよい。一部の実施例において、選択可能に、メモリ６０６は、上記で識別されたモジュールおよびデータ構造のサブセットを記憶する。さらに、選択可能に、メモリ６０６は、上記で説明されていない付加のモジュールおよびデータ構造を記憶する。

上記は特定の実施例を説明したが、本願をこれらの特定の実施例に限定することを意図するものではないことが理解されるべきである。逆に、本願は、提示された請求項の精神及び範囲内の代替、修正および対等物を含む。本明細書に説明されるテーマに対する完全な理解を提供するために具体的な詳細が多く記載されている。しかしこれらの特定の詳細なしで本テーマを他の実施例に実施され得ることは当業者には明らかである、本開示は不要に当実施例の各方面を曖昧にしないように、周知の方法、プロセス、コンポーネント、および回路を詳しく説明していない。

１００ 家電製品システムの操作環境
１１０ 電器Ａ
１１１ ユーザデバイスＡ
１１２ 電器Ｂ
１１３ ユーザデバイスＢ
１１４ 電器Ｃ
１１５ ユーザデバイスＣ
１２０ トレーニングセットサーバ
１２２ トレーニングモデルサーバ
１２８ アノテーションステーション
１２９ 推定結果セットサーバ
１９０ ネットワーク

Claims (9)

1. 一つまたは複数のプロセッサ及びメモリを有するコンピューティングデバイスにおいて、
   第１画像処理モデルを受信することであって、前記第１画像処理モデルは対応する入力画像を第１カテゴリまたは第２カテゴリに分類するようにトレーニングされ、前記第１カテゴリは、第１タイプの少なくとも一つの対象が含まれる画像に対するものであり、前記第２カテゴリは、前記第１タイプの少なくとも一つの対象が含まれない画像に対するものであることと、
   前記第１画像処理モデルが出力した複数の推定結果から、偽陽性結果としての推定結果の第１サブセットを識別し、前記偽陽性結果は、第１タイプの少なくとも一つの対象が含まれない第１セットの画像を前記第１タイプの少なくとも一つの対象が含まれる画像に対する前記第１カテゴリに分類するものであることと、
   前記第１セットの画像から第１セットの新たなトレーニングデータを生成することであって、前記第１セットの画像における対応画像を補強して第１の対応する複数の画像を取得することと、前記第１の対応する複数の画像が偽第１カテゴリの少なくとも一つの対象を含むとマークされることとを含み、前記偽第１カテゴリは、前記第１カテゴリ及び前記第２カテゴリと異なることと、
   少なくとも前記第１セットの新たなトレーニングデータが含まれるトレーニングデータ集合によって第２画像処理モデルをトレーニングすることにより、対応する入力画像を、前記第１タイプの少なくとも一つの対象が含まれる画像に対する前記第１カテゴリと、前記第１タイプの少なくとも一つの対象が含まれない画像に対する前記第２カテゴリと、前記第１画像処理モデルによって前記第１カテゴリと誤分類されやすい対象が含まれる画像に対する前記偽第１カテゴリと、に分類することと、
   第１マシンによってキャプチャされた第１入力画像の第１推定結果に基づいて、前記第１マシンの機器設定を修正することであって、前記第１推定結果は、前記第２画像処理モデルによって生成され、かつ前記第１カテゴリに対応することと、を含む方法。
2. 前記第１マシンが前記第１入力画像におけるキャプチャされた対象に対して第１操作を実行する前に、前記第１マシンにおいて前記第１入力画像をキャプチャすることであって、前記機器設定は前記第１マシンによって実行される前記第１操作の設定であること、を含む
   請求項１に記載の方法。
3. 第４画像処理モデルをトレーニングすることであって、前記第４画像処理モデルは、対応する入力画像を第３カテゴリ、第４カテゴリまたは偽第３カテゴリに分類することに用いられ、前記第３カテゴリは、前記第１タイプとは異なる第２タイプの少なくとも一つの対象が含まれる画像に対するものであり、前記第４カテゴリは前記第２タイプの少なくとも一つの対象が含まれない画像に対するものであり、前記偽第３カテゴリは第３画像処理モデルによって前記第３カテゴリと誤分類しやすい対象が含まれる画像に対するものであり、前記第３画像処理モデルは前記対応する入力画像を前記第３カテゴリ及び前記第４カテゴリだけに分類するようにトレーニングされることと、
   前記第１マシンによってキャプチャされた第１入力画像の第２推定結果に基づいて、前記第１マシンの異なる機器設定を修正することであって、前記第２推定結果は、前記第４画像処理モデルによって生成され、かつ前記第３カテゴリに対応することと、を含む
   請求項１に記載の方法。
4. 前記第１画像処理モデルによって出力された複数の推定結果から推定結果の第２サブセットを識別し、前記推定結果の第２サブセットは偽陰性結果であり、前記偽陰性結果は、前記第１タイプの少なくとも一つの対象が含まれる第２セットの画像を前記第１タイプの少なくとも一つの対象が含まれない画像に対する前記第２カテゴリに分類するものであることと、
   前記第２セットの画像から第２セットの新たなトレーニングデータを生成することであって、前記第２セットの画像における対応画像を補強して第２の対応する複数の画像を取得することと、前記第２の対応する複数の画像を前記第１カテゴリの画像にマークすることとを含むことと、
   前記第２の対応する複数の画像を、トレーニングデータ集合に追加して、前記第１画像処理モデルによって前記第１カテゴリに正しく分類された画像とともに前記第１カテゴリに対応するトレーニング画像とすることと、を含む
   請求項１に記載の方法。
5. 前記第１画像処理モデルによって出力された前記複数の推定結果から推定結果の第３サブセットを識別し、前記第３サブセットは前記第１タイプの少なくとも一つの対象が含まれない第３セット画像を前記第２カテゴリに分類する真陰性結果であることと、
   推定結果に対応する前記第３サブセットの画像を前記トレーニングデータ集合に追加して前記第２カテゴリに対応するトレーニング画像とすることと、を含む
   請求項４に記載の方法。
6. ユーザの入力を収集することであって、前記ユーザの入力は、第２マシンが使用する前記第１画像処理モデルのコピーによって生成される付加の推定結果を偽陽性結果と識別することと、
   前記第２マシンにおいてキャプチャされた前記付加の推定結果に対応する対応画像を前記トレーニングデータ集合に追加して、前記第２画像処理モデルのトレーニングに用いられることと、を含む
   請求項１に記載の方法。
7. 第１サーバにおいて前記第１画像処理モデル及び前記第２画像処理モデルをトレーニングし、第２サーバにおいて前記第１セットの新たなトレーニングデータを生成し、第３サーバにおいて前記第２画像処理モデルによって前記第１推定結果を生成し、前記第１サーバ、前記第２サーバ及び前記第３サーバはネットワークによって接続される
   請求項１に記載の方法。
8. コンピューティングデバイスであって、
   一つまたは複数のプロセッサと、
   前記一つまたは複数のプロセッサによって実行されるとき、前記プロセッサに請求項１～７のいずれか１項に記載の方法を実現させる命令を記憶するメモリと、
   コンピューティングデバイス。
9. 命令を記憶するコンピュータ可読記憶媒体であって、
   前記命令が一つまたは複数のプロセッサによって実行されるとき、前記プロセッサに請求項１～７のいずれか１項に記載の方法を実現させる
   コンピュータ可読記憶媒体。

Images