JP2021012586A - データ生成装置、データ生成システムおよびデータ生成方法 - Google Patents

Abstract

【課題】作業場所や作業者などの画像撮影条件に変更があった場合にも、少ない手間で精度の高い教師データを生成して識別器の識別精度を保つ。【解決手段】 データ生成装置であって、時系列上同期可能な二つの映像を格納した画像記憶部と、映像のうちの一方から所定の区切り期間を一つまたは複数識別する区切り識別器と、映像のうちの他方を区切り期間に相当する期間の前後で区切って複数の映像に分割し、分割した前記複数の映像の時系列順に所定のラベルを決定するラベル決定部と、ラベル決定部が決定したラベルを、分割した映像ごとに付加して教師データを作成するラベル付加部と、を備える。【選択図】図２

Description

本発明は、データ生成装置、データ生成システムおよびデータ生成方法に関する。

カメラで撮影された画像の内容を機械的に識別する技術がある。特に近年は、ディープラーニングと呼ばれる機械学習の手法の発達により、ニューラルネットワークで構成される識別器を用いて高い精度で画像を識別することが可能となった。一般に、ディープラーニングによる識別器の学習のためには、画像とその内容を表す情報（ラベル）のペアからなる教師データを大量に作成する必要がある。教師データを生成する手間と時間を削減するために、例えば、特許文献１には、基準となる教師データセットを用いて識別器を学習させ、その識別器を用いて新たな画像群のラベルを推定することで、新たな教師データを作成する過程の一部を自動化する方法が記載されている。

特開２０１８−２００５３１号公報

上述の特許文献１に記載の技術では、自動的に教師データを作成することはできるが、その精度を担保する仕組みに欠けるため、作成された大量の教師データの質（正解率等）に問題がある場合には、期待した学習効果を得られず、誤識別が頻発してしまうおそれがある。とくに、作業場を撮影した映像を解析して作業工程を把握し、作業者の支援を行う作業支援システム等において誤認識が発生すると、作業者の支援をできず、作業者の作業を阻害するおそれすらある。こういった誤識別は、作業場所や作業者などの画像撮影条件に変更があった場合に発生しやすい。

本発明の目的は、作業場所や作業者などの画像撮影条件に変更があった場合にも、少ない手間で精度の高い教師データを生成して識別器の識別精度を保つことを目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。

本発明の一態様は、データ生成装置であって、時系列上同期可能な二つの映像を格納した画像記憶部と、上記映像のうちの一方から所定の区切り期間を一つまたは複数識別する区切り識別器と、上記映像のうちの他方を上記区切り期間に相当する期間の前後で区切って複数の映像に分割し、分割した上記複数の映像の時系列順に所定のラベルを決定するラベル決定部と、上記ラベル決定部が決定した上記ラベルを、分割した上記映像ごとに付加して教師データを作成するラベル付加部と、を備える。

本発明によれば、作業場所や作業者などの画像撮影条件に変更があった場合にも、少ない手間で精度の高い教師データを生成して識別器の識別精度を保つ技術を提供することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

第一の実施形態における工程識別装置の構成例を示す図である。 教師データ作成装置の構成例を示す図である。 工程識別装置（新工程識別時）の構成例を示す図である。 作業工程の例を示す図である。 画像ファイルセットのデータ構造の例を示す図である。 加工パラメータ表のデータ構造の例を示す図である。 推論結果（工程）のデータ構造の例を示す図である。 推論結果（区切り）のデータ構造の例を示す図である。 教師データのデータ構造の例を示す図である。 ラベル決定部の構成例を示す図である。 推論統計情報表のデータ構造の例を示す図である。 尤度閾値表のデータ構造の例を示す図である。 連続回数閾値表のデータ構造の例を示す図である。 工程順序定義表のデータ構造の例を示す図である。 画像ファイルセット作成処理のフローの例を示す図である。 工程推論処理のフローの例を示す図である。 教師データ作成及び学習処理のフローの例を示す図である。 ラベル情報生成処理のフローの例を示す図である。

以下の実施形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。

また、以下の実施形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

さらに、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。

また、実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。ただし、同一の部材であっても環境変更等により変更前の部材と称呼を共有すると混乱を生ぜしめるおそれが高い場合、別の異なる符号や名称を付すことがある。以下、本発明の各実施形態について図面を用いて説明する。

工場内で作業者の人手作業を支援する作業支援システムがある。作業支援システムの機能の一例として、複数の連続する工程からなる組立作業において、作業支援システムは作業ブースに備え付けの表示デバイスに各工程の作業指示書を表示する。作業者は、作業ブースで作業を進め、各工程の完了時にタッチパネル等の入力デバイスを操作する（工程の区切り作業に相当する）ことにより、次の工程の作業指示書の表示を作業支援システムに要求することができる。

画像識別技術をこのような作業支援システムに応用し、作業支援システムに対する作業指示書の表示を要求するこのような作業者の操作を自動化することが考えられる。例えば、作業現場を撮影した画像に対して、その画像がどの工程の作業を行っているかを表すラベルを付加することで教師データを作成し、識別器の学習に用いる。その識別器に現在作業中の作業者の動作を撮影した画像を入力することにより、作業者の作業中の工程を識別することができる。そして、この識別器の出力である作業中の工程に応じて、作業指示書を作業支援システムが表示することで、作業者からの要求入力を待たずに適切な工程の作業指示書を表示することができる。

しかし、作業場所や作業者は、作業現場の都合等により変更されることがある。識別器を作成したときに用いた教師データセットに含まれない新環境の作業場所や別の作業者の画像に対して識別器を適用すると、作業工程のような複雑な内容が識別対象の場合には、識別精度が低下しがちである。識別器の認識精度を保つためには、新環境である作業場所や作業者を撮影した画像を教師データとして用いて、学習した識別器を使用する必要がある。

一般的に行われる人手による教師データの作成には、手間と時間がかかる。また、従来技術に示したような教師データの自動生成手段をそのまま採用した場合でも、既存の教師データで学習した旧識別器、すなわち、作業場所や作業者が変更される前（旧環境）の画像で学習した識別器で工程ラベルを推定することになる。そのため、環境変更後に撮影した画像（新環境）に対して精度よく作業工程の推定を行えず、自動生成した教師データにラベルの誤りが多く含まれてしまうため、人手によるチェックおよび修正の作業を行う必要が有り能率が高くないという問題がある。

そこで、本発明においては、まず、旧環境で用いていた工程区切り作業を検出する区切り識別器を用いて、新環境の撮影データの工程の区切りを識別する。この工程区切り作業の特徴は、旧環境と新環境の間の撮影環境の変更による影響が少なく、作業内容も二値（工程の区切り作業か、そうでないか）を取りうる作業である。そのため、識別器による識別処理においても、作業の識別精度が環境に依存せず、高い精度を維持できるものであるため、旧環境の区切り識別器を新環境において流用しても適切に作業工程の区切り作業を検出できる。

そして、工程区切り作業の時刻に応じて新環境における作業の撮影データを工程に区切る。予め定義された作業順序に応じて、区切った撮影データに作業工程を割り当てて、作業工程の候補を作成する。

そして、作業工程の候補について、尤度や連続回数（連続フレーム数等、作業工程の長さ）等に例示される所定の指標値に応じて、明らかに作業工程の割り当てが誤っている候補をラベル付加対象から除外して作業工程を特定するラベル情報を付与することで、教師データとする。より具体的には、教師データは、撮影データを構成する連続する複数フレームあるいは静止画像と、その連続する複数フレームまたは静止画像が何の工程を写しているかを示す工程情報(ラベル)と、のペアからなる。なお、尤度や連続回数を用いて明らかに作業工程の割り当てが誤っている候補を除外することに限られず、その他の類似度合いを示す指標値であってもよい。

このようにして作成された教師データを新環境の工程識別器に学習させることで、以降の新環境における作業工程の識別精度を高く識別することのできる新環境の識別器を作成できる。以下においては、このような原理で動作する工程識別装置に相当するデータ生成装置、データ生成システムおよびデータ生成方法について、具体的な実施形態を示しながら作業支援システムの構成例を説明する。

なお、撮影環境の変更には、例えば撮影するカメラの撮影設定値の変更や、カメラの個体の変更、カメラのモデルの変更、カメラレンズや撮像素子等の部品の変更を含む。また、カメラで撮影する視点位置の変更や、撮影する境界の変更、被写界深度の変更、作業場のレイアウトの変更、光源の種類の変更、作業環境の明るさの変更、使用する工具や作業対象物の変更、作業者の衣類の色やデザインの変更、写りこむ背景となる床の色の変更、床のデザインの変更等、各種の映像の類似性を損う変更が含まれる。

［第一の実施形態］図１は、第一の実施形態における工程識別装置（旧工程識別時）の構成例を示す図である。作業支援システムには、工程識別装置１００と、カメラＸ１０１と、が含まれる。工程識別装置１００は、パーソナルコンピューターやスマートフォン、タブレット端末、サーバー装置等のいわゆる情報処理装置である。

工場での組立工程のような、連続する複数の工程からなる人手作業を支援する作業支援システムでは、各工程の作業指示書をタッチパネル等の表示装置に表示し、作業者はそれを参照して作業を行うことが想定される。１つの工程が終わると、作業者はタッチパネルに触れる。このタッチ入力が次の工程の作業指示書の表示の要求操作であり、上述した工程の区切り作業に相当する。

第一の実施形態における旧工程識別時の工程識別装置の構成例では、これとは異なり、実際の作業者の動作として工程の区切り作業を行わなくても、作業工程が終了したことを検出して次の作業工程の作業指示書の表示へと切り替える。この機能を、自動ページ送り機能と称呼することがある。

自動ページ送り機能を実現するためには、作業者の動作から作業工程を特定することと、作業動作の終了を正確に特定することが必要となり、いずれも教師データに現れる作業動作と、作業工程と、の間の関連付けの精度が高い必要がある。もしも教師データに現れる作業動作と、作業工程と、の間の関連付けの精度が高くない場合には、工程終了ではないタイミングでページが送られてしまうために作業指示書のページを戻したり、工程終了のタイミングで適切にページが送られずに作業指示書のページを進めるために工程の区切り動作と類似の動作を行う必要が発生し、自動ページ送り機能の効果が薄くなってしまう。

そこで、工程識別装置１００には、時計１０３と、画像受信部１０４と、画像加工部１０６と、画像記憶部１０８と、作業者用入出力部１０９と、画像出力部１１４と、学習推論部１２１と、推論記憶部１２５と、作業指示書１３２と、学習推論指示部１３３と、が含まれる。

工程識別装置１００は、カメラＸ１０１が撮影したいわゆる動画（３０分の１秒等、充分に短い時間で撮影した静止画を時系列に連続して関連付けたもの）を取得して、この動画に基いて作業全体の俯瞰画像である画像ファイルセットＸａ１１０と、動画の一部分を構成するタッチパネル上の局所的画像である画像ファイルセットＸｂ１１１と、を生成する。そして、工程識別装置１００は、それぞれの画像ファイルセットを入力として、工程識別器である識別器Ｘａ１２２と、工程の区切り識別器である識別器Ｘｂ１２３と、に推論させて、カメラＸ１０１で撮影した画像に含まれる作業工程を識別器Ｘa１２２で推論した推論結果Ｘ−Ｘａ１２６を得る。

図４は、作業工程の例を示す図である。図４に示す作業工程は、自動ページ送り機能を使用していない環境における作業工程の例である。左から右に時間が進み、第一工程２０１の作業時間がしばらく続くと、第一工程２０１の終了時にタッチパネルの操作２１０が発生し、これを境に第二工程２０２の作業時間が開始される。第二工程２０２の終了時にタッチパネルの操作２１１が発生し、これを境に第三工程２０３の作業時間が開始される。以降も順に、タッチパネルの操作２１２、第四工程２０４、タッチパネルの操作２１３、第五工程２０５、タッチパネルの操作２１４、第六工程２０６、・・・、と工程が続いていく。

作業工程の例として、第一工程２０１は基材に柱をネジ止めする工程、第二工程２０２は柱に補助柱を打ち込む工程、第三工程２０３は補助柱にコネクタ部品をはめ込む工程、等の粒度の作業が挙げられる。ただし、これに限られず、製造する製品の作業工程に応じて、より粒度の大きいあるいは小さい作業単位を作業工程としてもよい。

カメラＸ１０１は、作業現場を撮影して作業画像データを得る光学装置である。カメラＸ１０１は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）イメージセンサ等を備え、所定の画角で可視光あるいは不可視光を、所定の充分なフレームレート（例えば、３０ｆｐｓ等）で撮影する。カメラＸ１０１で撮影した作業画像データは、静止画である画像ファイルが複数時系列に関連付けられた動画データである。動画データは、以降において画像ファイルセットと称呼する。

図５は、画像ファイルセットのデータ構造の例を示す図である。画像ファイルセット３０１には、一または複数のフレームにわたる静止画のセット３０２について、画像ファイル名、画像データ、受信時刻が対応付けられている。静止画のセット３０２に時系列で次に相当する静止画のセット３０３についても、同様のデータ構造を有する。同様に、静止画のセット３０３に時系列で次に相当する静止画のセット３０４、さらに続く静止画のセット３０５についても、同様である。

保存した画像ファイルセット３０１に含まれる各静止画のセットは、画像出力部１１４から外部のディスプレイ等に映像として出力することができる。システム管理者が教師データを作成する場合は、画像出力部１１４経由で画像の内容を確認し、各画像に適切なラベルを割り当てる、あるいは再割り当てすることもできる。

なお、離れた位置に複数の作業場所が存在し、１つのカメラＸ１０１でそれぞれの作業画像を撮影できない場合は、作業場所ごとにカメラＸ１０１を設置し、それぞれのカメラ単位で画像ファイルセット３０１を管理することもできる。また、ある作業場所や作業者の画像で学習した識別器は、他の場所や作業者の画像を精度よく識別できないことがある。その場合は、識別対象画像別に複数の識別器を用いることもできる。

時計１０３は、日時を特定するデジタル時計である。時計１０３は、画像加工部１０６に要求されたタイミングで時刻情報を受け渡す。

画像受信部１０４は、カメラＸ１０１から作業画像データを受信し、画像加工部１０６へ受け渡す。

画像加工部１０６は、加工パラメータ表１０７に規定するパラメータを参照して、画像受信部１０４から受け取った作業画像データおよび時計１０３から得た時刻情報を識別器の学習・推論に適した形に加工し、画像記憶部１０８に画像ファイルセットとして記憶させる。

図６は、加工パラメータ表のデータ構造の例を示す図である。加工パラメータ表１０７は、システム管理者が学習推論指示部１３３から指定したパラメータが格納されている。加工パラメータ表１０７には、カメラ４０１および読み込ませる識別器４０２の種類別に、画像から切り出す座標４０３と、切り出すサイズ４０４と、学習および推論のラベル付けの単位となるフレーム数４０５と、切り出した画像の縮小率４０６と、切り出した画像を保存するか否かを定義する保存ＯＮ／ＯＦＦ４０７と、保存する場合の保存先４０８と、を含む情報が対応付けて記憶される。このうち、保存ＯＮ／ＯＦＦ４０７の値が「ＯＦＦ」の場合、カメラＸ１０１から画像を受信しても画像加工部１０６は画像記憶部１０８に画像データを保存せず、記憶領域の無駄な消費を防ぐことができる。

画像記憶部１０８には、カメラＸ１０１により撮影された画像を加工して得た画像ファイルセットＸａ１１０と、画像ファイルセットＸｂ１１１と、が格納される。画像ファイルセットＸａ１１０は、上述のように、作業全体の俯瞰画像が含まれる。例えば、画像ファイルセットＸａ１１０は、姿勢や手の位置、角度等が判別可能な作業者の姿と、作業台と、作業対象物と、工具類と、が写り込んだ動画データである。

また、画像ファイルセットＸｂ１１１は、動画の一部分を構成するタッチパネル上の局所的画像である。例えば、画像ファイルセットＸｂ１１１は、タッチパネル上の作業指示書のページ送りを指示するボタン部分が写り込んだ動画データである。そして、これらの画像ファイルセットＸａ１１０と、画像ファイルセットＸｂ１１１と、を作成するための加工パラメータは、上述の加工パラメータ表１０７により規定されている。また、画像ファイルセットＸａ１１０と、画像ファイルセットＸｂ１１１とは、ともにカメラＸ１０１により撮影された画像から得ているため、時刻による同期が可能である。ただし、これに限られず、異なるカメラで撮影された画像であっても、画像ファイルセットＸａ１１０と、画像ファイルセットＸｂ１１１とが時系列上同期可能な関係にあればよい。

作業者用入出力部１０９は、作業工程の推論結果を参照して、現作業工程に係る作業指示書１３２を作業者のタッチパネルに表示させる。

画像出力部１１４は、保存した画像ファイルセット３０１に含まれる各静止画のセットを外部のディスプレイ等に映像として出力する。

学習推論部１２１は、識別器Ｘａ１２２と、識別器Ｘｂ１２３と、を含む。識別器Ｘａ１２２は、画像ファイルセットＸａ１１０を入力として受け付け、作業工程を推論する工程識別器である。識別器Ｘａ１２２は、推論した作業工程を推論記憶部１２５に推論結果として記憶させる。識別器Ｘｂ１２３は、画像ファイルセットＸｂ１１１を入力として受け付け、工程の区切り作業を推論する区切り識別器である。

学習推論部１２１は、学習推論指示部１３３からの指示を受けて、教師データから取得した画像データおよびラベルを用いて識別器の学習を行う。学習は、例えば一般的な機械学習の手法により、識別器のパラメータを教師データに基づいて調整することによって行う。識別器Ｘａ１２２、識別器Ｘｂ１２３は、例えば一般的なニューラルネットワークとして構成することができる。

また、学習推論部１２１は、学習推論指示部１３３から推論対象の画像、使用する識別器を含む推論指示を受けると、画像ファイルセットＸａ１１０および画像ファイルセットＸｂ１１１から取得した画像データをそれぞれ識別器Ｘａ１２２、識別器Ｘｂ１２３に入力し、推論結果Ｘ−Ｘa１２６を推論記憶部１２５に格納する。本実施例では、識別器Ｘａ１２２は、画像ファイルセットＸａ１１０にラベルを付した教師データにより学習した工程の識別器であり、識別器Ｘｂ１２３は、画像ファイルセットＸｂ１１１にラベルを付した教師データにより学習した区切りの識別器である。

推論記憶部１２５は、学習推論部１２１により推論された結果を、推論結果ごとに記憶する。具体的には、推論記憶部１２５は、カメラＸ１０１により撮影された画像ファイルセットＸａ１１０を対象として識別器Ｘａ１２２により作業工程を推論した結果である推論結果Ｘ−Ｘａ１２６を学習推論部１２１から受け付けて、格納する。

図７は、推論結果（工程）のデータ構造の例を示す図である。推論結果Ｘ−Ｘａ１２６は、工程の推論結果であるため、図７に示すデータ構造を備える。なお、後述する推論結果Ｘ´−Ｘａ１２７と、推論結果Ｘ´−Ｘａ´１２９についても、工程の推論結果であるため、同様のデータ構造を備えるが、ここでは代表して推論結果Ｘ−Ｘａ１２６のデータ構造例を説明する。

推論結果Ｘ−Ｘａ１２６は、推論対象の一連の所定長のフレームから構成される画像ファイルセットについて、画像ファイル６０１と、画像ファイルセットに記録された受信時刻６０２と、工程識別器が出力する各工程の尤度(確からしさ)と、が対応付けられて格納される。各工程の尤度には、第一工程の尤度６０３、第二工程の尤度６０４、・・・、第Ｎ（Ｎは整数）工程の尤度６０６が含まれる。基本的には、画像ファイル６０１ごとに、尤度が最大となる工程が工程識別結果となるが、推論次第では異なる工程でも尤度が近似する可能性もあることから、画像ファイルと工程の組み合わせについて尤度を保持するようにしている。

作業指示書１３２は、作業工程ごとの手順を指示する書類のデジタルデータである。作業指示書１３２は、例えばＨＴＭＬ（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）やＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｉｌｅ）等の文書ファイル、あるいは所定のアニメーションや動画、静止画等各種の人間が読み取り可能な情報であればよい。

学習推論指示部１３３は、システム管理者からの入力を受け付けて、加工パラメータ表１０７を更新する。また、学習推論指示部１３３は、システム管理者から学習対象の識別器と教師データの指定の入力を受け付けて、識別器の学習を学習推論部１２１に指示する。また、学習推論指示部１３３は、システム管理者から対象の識別器と画像ファイルセットの指定の入力を受け付けて、識別器による推論を学習推論部１２１に指示する。

工程識別装置１００は、情報処理装置により実現される。情報処理装置は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理装置）と、メモリと、ハードディスク装置（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ＨＤＤ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの外部記憶装置と、キーボードやマウス、バーコードリーダ、タッチパネルなどの入力装置と、ディスプレイやプリンタなどの出力装置とを備えた一般的な情報処理装置、あるいはこの情報処理装置を複数備えたネットワークシステムで実現できる。

例えば、画像加工部１０６と、学習推論部１２１と、学習推論指示部１３３とは、外部記憶装置に記憶されている所定のプログラムをメモリにロードしてＣＰＵで実行することで実現可能であり、作業者用入出力部１０９は、ＣＰＵが入力装置を利用することで実現可能であり、画像出力部１１４は、ＣＰＵが出力装置を利用することで実現可能であり、画像記憶部１０８と、推論記憶部１２５と、作業指示書１３２とは、ＣＰＵがメモリまたは外部記憶装置を利用することにより実現可能である。

このような所定のプログラムは、外部記憶装置に格納され、それから、メモリ上にロードされてＣＰＵにより実行されるようにしてもよい。

また、読取書込装置を介して記憶媒体から、あるいは、通信装置を介してネットワークから、メモリ上に直接ロードされ、ＣＰＵにより実行されるようにしてもよい。

なお、上記の情報処理装置の例は、一般的なコンピュータで実現可能であることの例示であり、これに限定するものではなく、同様のハードウェア構成を備える情報処理装置であればよい。

図２は、教師データ作成装置の構成例を示す図である。教師データ作成装置１００´は、新工程における工程識別装置（新工程識別時）１００´´の学習に用いる教師データを作成する装置であり、基本的には工程識別装置１００と同様の構成を備える。そのため、工程識別装置１００と教師データ作成装置１００´は同一のハードウェア上に実装されることが望ましいが、異なるハードウェアであってもよい。しかし、工程識別装置１００と教師データ作成装置１００´では、新工程に対応するために一部の構成に相違があるため、以下は相違点を中心に説明する。

教師データ作成装置１００´は、カメラＸ１０１とは異なる撮影環境となる新環境の工程で映像を取得するカメラＸ´１０１´から画像情報を取得し、画像ファイルセットＸａ´１１０´および画像ファイルセットＸｂ´１１１を生成し、画像記憶部１０８に格納する。

教師データ作成装置１００´は、ラベル情報入力部１１５と、ラベル付加部１１６と、教師データ記憶部１１７と、ラベル決定部１３０と、決定パラメータ入力部１３１と、を備える。

また、学習推論部１２１には、新環境において工程を識別するための識別器Ｘａ´１２４が設けられる。推論記憶部１２５には、新環境のカメラＸ´１０１´で撮影した映像を旧環境の識別器Ｘａ１２２で推論した推論結果Ｘ´−Ｘａ１２７と、新環境のカメラＸ´１０１´で撮影した映像を旧環境の区切りの識別器Ｘｂ１２３で推論した推論結果Ｘ´−Ｘｂ１２８と、新環境のカメラＸ´１０１´で撮影した映像を新環境の識別器Ｘａ´１２４で推論した推論結果Ｘ´−Ｘａ´１２９と、が含まれる。

図８は、推論結果（区切り）のデータ構造の例を示す図である。推論結果Ｘ´−Ｘｂ１２８は、工程の区切りの識別器Ｘｂ１２３による推論結果であり、図８に示すデータ構造を備える。推論結果Ｘ´−Ｘｂ１２８は、推論対象の一連の所定長のフレームから構成される画像ファイルセットについて、画像ファイル７０１と、画像ファイルセットに記録された受信時刻７０２と、工程の区切りの識別器が出力する区切り作業の尤度(確からしさ)と、が対応付けられて格納される。区切り作業の尤度には、区切りラベルの尤度「ＹＥＳ」７０３と、区切りラベルの尤度「ＮＯ」７０４とが含まれる。

基本的には、画像ファイル７０１ごとに、「ＹＥＳ」７０３の尤度の方が「ＮＯ」７０４の尤度よりも大きい場合に当該画像ファイル７０１の作業は工程の区切り作業であるとの識別結果とみなせる。しかし、推論次第では「ＹＥＳ」７０３の尤度と「ＮＯ」７０４の尤度とが近似する、すなわち紛らわしい可能性もあることから、画像ファイルと工程の区切り作業の組み合わせについて「ＹＥＳ」７０３の尤度と「ＮＯ」７０４の尤度を保持するようにしている。

ラベル情報入力部１１５は、システム管理者からのラベル情報の入力を受け付ける。具体的には、ラベル情報入力部１１５は、ラベル決定部１３０が決定したラベル情報を画像出力部１１４に受け渡して編集可能に表示させ、各工程の区切り位置の修正および各工程の映像に付加されたラベル情報への修正情報の入力を受け付ける。

例えば、ラベル情報入力部１１５は、第五工程２０５の終了時にタッチパネルの操作２１４が発生したことが誤り（実際は、単なる作業指示書のページ拡大表示の操作）である場合、第六工程２０６の作業時間が開始されるのではなく、そのタッチパネルの操作２１４の区切りは削除して、第五工程２０５が継続しているように修正し、続く工程についてもラベルを割り当て直す入力を受け付ける。

ラベル付加部１１６は、後述するラベル決定部１３０から受け付けたラベル情報、あるいはラベル情報入力部１１５により受け付けたラベル情報の入力に従い、ラベル情報に含まれる各画像の情報を画像ファイルセットＸａ´１１０´および画像ファイルセットＸｂ´１１１´から取得し、ラベルを付加して教師データＸａ´１２０を生成し、教師データ記憶部１１７に格納する。

教師データ記憶部１１７には、旧環境における工程を推論する識別器Ｘａ１２２の学習に用いる教師データＸａ１１８と、旧環境における工程区切り作業を推論する識別器Ｘｂ１２３の学習に用いる教師データＸｂ１１９と、新環境における工程を推論する識別器Ｘａ´１２４の学習に用いる教師データＸａ´１２０と、が格納される。なお、新環境における工程区切り作業を推論する識別器は想定していないため、その教師データについても格納していないが、識別器が存在すればその教師データについても格納していても良い。

図９は、教師データのデータ構造の例を示す図である。教師データには、一または複数のフレームにわたる画像ファイルのセット５０１について、画像ファイル名、画像データ、受信時刻、ラベルが対応付けられている。画像ファイルのセット５０１に時系列上で次に相当する画像ファイルのセット５０２についても、同様のデータ構造を有する。同様に、画像ファイルのセット５０２に時系列上で次に相当する画像ファイルのセット５０３、さらに続く画像ファイルのセット５０４についても、同様である。保存した教師データに含まれる各画像ファイルのセットは、画像出力部１１４から外部のディスプレイ等に映像として出力することができる。システム管理者が教師データを作成する場合は、画像出力部１１４経由で画像の内容を確認し、各画像に適切なラベルを割り当てる、あるいは再割り当てすることもできる。

ラベルは、例えば、工程を識別する識別器を学習するための教師データを作成する場合は、各画像ファイルがどの工程を行っているかを表す情報（工程番号、工程名など工程毎に一意な情報）がラベルとなる。また、例えば、作業者のタッチパネル操作（工程の区切り作業）の有無を識別する識別器（工程区切り識別器）を作成する場合は、各画像で作業者がタッチパネルを操作しているかどうかを２値（Ｙｅｓ／Ｎｏ）で表す情報がラベルとなる。

そのため、同じ画像を用いても、異なるラベルで教師データを作成することにより、複数種類の識別器を作成することができる。本実施形態でいえば、教師データＸａ１１８は、画像ファイルセットＸａ１１０の画像ファイル名、画像データ、受信時刻と工程ラベルが関連付けられる。教師データＸｂ１１９は、画像ファイルセットＸｂ１１１の画像ファイル名、画像データ、受信時刻とタッチパネル操作のラベル（ＹｅｓまたはＮｏ）が関連付けられる。また、教師データＸａ´１２０は、画像ファイルセットＸａ´１１０´の画像ファイル名、画像データ、受信時刻と工程ラベルが関連付けられる。

ラベル決定部１３０は、画像ファイルセットについての推論結果およびラベル決定用パラメータに基づいて画像ファイルのラベルを決定し、ラベル情報をラベル付加部１１６に受け渡す。

図１０は、ラベル決定部の構成例を示す図である。ラベル決定部１３０は、ラベル決定用パラメータ記憶部９０１と、ラベル選択部９０２と、を備える。ラベル決定用パラメータ記憶部９０１には、推論統計情報表９０３と、尤度閾値表９０４と、連続回数閾値表９０５と、工程順序定義表９０６と、が含まれる。

図１１は、推論統計情報表のデータ構造の例を示す図である。推論統計情報表９０３には、工程１９０１ごとに、学習推論部１２１が作成した推論結果の統計情報が格納される。統計情報には、尤度の最小１９０２と、平均１９０３と、同一工程画像の連続回数の最小１９０４、平均１９０５が含まれる。なお、連続回数とは、画像ファイルごとに工程ラベルを付加した結果、同一工程のラベルを有する画像ファイルが連続した回数をいう。すなわち、画像ファイルは複数の固定フレームの連続体であるが、その画像ファイルが連続的に同一ラベルを付加された回数が連続回数であり、画像の尺（経過時間）を特定する情報ともいえる。

図１２は、尤度閾値表のデータ構造の例を示す図である。尤度閾値表９０４には、各工程および工程区切りのラベル１００１ごとに、尤度の閾値１００２が格納される。尤度の閾値は、実数値であるが、これに限られず、推論統計情報表９０３に格納された尤度を参照する数式であってもよい。例えば、図１２の例では、第２工程の尤度閾値には、推論統計情報表９０３に記録される第２工程の尤度の最小値の１．２倍の値であることを示す数式が格納されている。

図１３は、連続回数閾値表のデータ構造の例を示す図である。連続回数閾値表９０５には、各工程および工程区切りのラベル１１０１ごとに、同一ラベルが連続して推論された回数の閾値を特定する連続回数閾値１１０２が格納される。連続回数閾値は、実数値であるが、これに限られず、推論統計情報表９０３に格納された連続回数を参照する数式であってもよい。例えば、図１３の例では、第二工程の連続回数閾値には、推論統計情報表９０３に記録される第二工程の連続回数の平均値の０．８倍の値であることを示す数式が格納されている。

図１４は、工程順序定義表のデータ構造の例を示す図である。工程順序定義表９０６には、作業工程の順序１２０１と、その順序に対応する工程ラベル１２０２が参照可能に格納されている。工程順序定義表９０６は、表形式をとっているが、これに限られるものではない。工程順序定義表９０６は、工程の順序を定義できる形式であれば表形式である必要はなく、たとえば、各工程に一意な文字を割り当て、一般的な正規表現を用いて、工程の並び順を文字の並びのパターンとして表してもよい。なお、実際には、自動ページ送りを適用しない場合には、各工程間に工程区切りの動作(タッチパネル操作)を実施する時刻区間に相当する区間が挟まる形となる。図１４では工程間には工程の区切り作業が自明に存在するものとして、記載を省略している。

ここで、ラベル情報は、図示しないが、画像ファイルセットを構成する各画像ファイルに、一対一で工程名あるいは区切り作業を示す情報が対応付けられた情報である。

ラベル選択部９０２は、推論結果、およびラベル決定用パラメータ記憶部９０１に格納された各パラメータを参照して、画像データのラベルを選択して決定する。具体的には、ラベル選択部９０２は、後述するラベル情報生成処理において、区切り作業の推論結果を用いて区切り作業を特定し、区切り作業に相当する時刻区間において工程を区切ることで工程区間候補に分割する。そして、ラベル選択部９０２は、工程区間候補ごとに工程の推論結果を用いて工程を推定し、ラベル情報を特定する。

決定パラメータ入力部１３１は、尤度閾値表９０４、連続回数閾値表９０５、工程順序定義表９０６についての、システム管理者からの設定情報の入力を受け付けて、ラベル決定用パラメータ記憶部９０１を更新する。

図２に示した教師データ作成装置１００´を用いることで、新環境における工程を撮影した画像ファイルセットＸａ´１１０´を工程に分割し、工程のラベルの選択および付加を自動的に行うことができる。ラベルが付加された教師データを新環境における識別機Ｘａ´に学習させることで、新環境における識別器Ｘａ´の識別精度を迅速に必要充分に高めることができる。

図３は、工程識別装置（新工程識別時）の構成例を示す図である。工程識別装置（新工程識別時）１００´´は、教師データ作成装置１００´により作成した新環境における工程の学習に用いる教師データを学習した後に、新環境において新工程の識別に用いる装置である。

工程識別装置（新工程識別時）１００´´は、基本的には工程識別装置１００と同様の構成を備える。そのため、工程識別装置１００と工程識別装置（新工程識別時）１００´´は同一のハードウェア上に実装されることが望ましいが、異なるハードウェアであってもよい。しかし、工程識別装置１００と工程識別装置（新工程識別時）１００´´では、新工程に対応するために一部の構成に相違があるため、以下は相違点を中心に説明する。

工程識別装置（新工程識別時）１００´´は、新環境において作業員を撮影するカメラＸ´１０１´から得た画像を加工パラメータ表１０７に基いて作成した画像ファイルセットＸａ´１１０´と、画像ファイルセットＸｂ´１１１´と、を用いて工程の推論を行う。

学習推論部１２１には、旧環境の区切り作業の識別器Ｘｂ１２３と、新環境の作業工程の識別器Ｘａ´１２４と、が含まれる。旧環境の区切り作業の識別器Ｘｂ１２３には、画像ファイルセットＸｂ´１１１´が入力データとして与えられ、新環境の作業工程の識別器Ｘａ´１２４には、画像ファイルセットＸａ´１１０´が入力データとして与えられる。

そして、旧環境の区切り作業の識別器Ｘｂ１２３と、新環境の作業工程の識別器Ｘａ´１２４とは、それぞれ区切り作業と作業工程の識別を行い、新環境の作業工程の識別器Ｘａ´１２４による推論結果Ｘ´−Ｘａ´１２９が作業工程の識別結果として得られる。これを用いて、作業者用入出力部１０９は、作業指示書１３２の該当する工程の作業指示書１３２を表示させる。

図１５は、画像ファイルセット作成処理のフローの例を示す図である。画像ファイルセット作成処理は、旧環境におけるカメラＸ１０１または新環境におけるカメラＸ´１０１´が撮影を開始すると、開始される。

画像受信部１０４は、カメラＸ１０１または新環境におけるカメラＸ´１０１´から画像を受信する（ステップ１３０１）。そして、画像受信部１０４は、受信した画像データを画像加工部１０６へ受け渡す。

画像加工部１０６は、加工パラメータ表１０７を参照し、撮影中のカメラおよび識別器に応じたパラメータを取得する。画像加工部１０６は、保存ＯＮ／ＯＦＦ４０７の内容を取得して、画像データを保存するか否か判定する（ステップ１３０２)。

保存ＯＮ／ＯＦＦ４０７の値が「ＯＦＦ」の場合（ステップ１３０２にて「ＮＯ」の場合）には、画像加工部１０６は、画像記憶部１０８に画像データを保存せずに次の画像の受信を待つためにステップ１３０１へ制御を戻す。

保存ＯＮ／ＯＦＦ４０７の値が「ＯＮ」の場合（ステップ１３０２にて「ＹＥＳ」の場合）には、画像加工部１０６は、受信時刻を時計１０３から取得して画像に付与する（ステップ１３０３）。

そして、画像加工部１０６は、加工パラメータ表１０７の切り出す座標４０３と、切り出すサイズ４０４に相当する部分の画像を切り抜く（トリミング）（ステップ１３０４）。

そして、画像加工部１０６は、加工パラメータ表１０７の切り出した画像の縮小率４０６を用いて、ステップ１３０４にて切り抜いた画像を拡大あるいは縮小する（ステップ１３０５）。

そして、画像加工部１０６は、学習および推論のラベル付けの単位となる加工パラメータ表１０７のフレーム数４０５で指定された画像枚数の単位に画像を分割・結合する（ステップ１３０６）。

そして、画像加工部１０６は、分割・結合した画像データを、加工パラメータ表１０７の保存先４０８に指定される画像ファイルセットに保存し、制御をステップ１３０１へ戻す（ステップ１３０７）。

なお、ステップ１３０６の分割・結合処理において、指定されたフレーム数に画像枚数が足りない場合は、画像加工部１０６は、次の画像データの受信を待って補充後に保存する。逆に、受信した画像枚数が指定されたフレーム数よりも多い場合には、画像加工部１０６は、指定されたフレーム数単位に分割して複数の画像ファイルとして保存する。また、同一の画像から複数の識別器用に複数の画像ファイルセットを作成する場合、たとえば、加工パラメータ表１０７において１つのカメラに複数の識別器が定義されている場合は、画像加工部１０６は、１つの画像データに対してステップ１３０１〜ステップ１３０７の処理を繰り返す。

以上が、画像ファイルセット作成処理のフローの例である。画像ファイルセット作成処理によれば、カメラＸ１０１またはカメラＸ´１０１´から得た画像を加工して、識別器に読み込ませるための画像ファイルセットを得ることができる。また、一つの画像データを重複を許す複数の領域にトリムして複数の画像ファイルセットを得ることができる。

図１６は、工程推論処理のフローの例を示す図である。工程推論処理は、カメラＸ１０１またはカメラＸ´１０１´で画像を撮影すると開始され、撮影した画像から工程を推論する処理である。

まず、システム管理者は、学習推論指示部１３３に、推論指示を入力する（ステップ１５０１）。具体的には、学習推論指示部１３３は、画像ファイルセットの推論対象部分（例えば、画像ファイルセットＸａ１１０またはその一部）と、推論に用いる工程識別器（例えば、工程の識別器Ｘａ１２２）と、結果保存先の推論結果Ｘ−Ｘａ１２６の格納先の指定を受け付け、学習推論部１２１に推論を指示する。

学習推論部１２１は、指定された画像ファイルを１つ選択する（ステップ１５０２）。具体的には、学習推論部１２１は、指定された画像ファイルセットの推論対象部分から複数フレームからなる画像ファイルを取得し、指定された推論に用いる工程識別器に入力する。

そして、学習推論部１２１は、識別器に推論をさせる（ステップ１５０３）。学習推論部１２１は、識別器から出力された工程の尤度を、推論結果に追加する（ステップ１５０４）。例えば、学習推論部１２１は、画像ファイルセットＸａ１１０の画像ファイルを工程の識別器Ｘａ１２２に推論させた結果を、推論結果Ｘ−Ｘａ１２６として格納する。

そして、学習推論部１２１は、完了を判定する（ステップ１５０５）。具体的には、学習推論部１２１は、指定された画像ファイルセットの全ての画像ファイルに対して推論結果を得た場合には、完了と判定する。完了した場合（ステップ１５０５にて「ＹＥＳ」の場合）には、学習推論指示部１３３は、工程推論処理を終了させる。未完了の場合（ステップ１５０５にて「ＮＯ」の場合）には、学習推論指示部１３３は、制御をステップ１５０２に戻す。

以上が、工程推論処理の流れである。工程推論処理によれば、画像ファイルセットに含まれる工程を推論することができる。例えば、工程の推論結果は、自動ページ送り機能において現在作業中の工程を判断するために作業者用入出力部１０９が参照することができる。また、区切り作業の推論結果は、工程の推論結果と合わせて、後述する教師データ自動生成の際に使用することができる。

なお、工程推論処理の流れは、区切り作業の識別用の画像ファイルセット（例えば、画像ファイルセットＸｂ１１１）を、区切り作業の識別器（例えば、識別器Ｘｂ１２３）で推論する場合も、同様の流れである。

図１７は、教師データ作成及び学習処理のフローの例を示す図である。教師データ作成及び学習処理は、システム管理者が教師データ作成装置１００´に対して開始指示を与えることにより開始される。

教師データ作成及び学習処理の本例では、カメラＸ´１０１´で撮影した画像を識別するための工程識別器Ｘａ´１２４を構成するにあたり、学習させるための教師データＸａ´１２０を作成する例を示す。本例では、教師データＸａ´１２０を、旧工程のカメラＸ１０１用の工程の識別器Ｘａ１２２と、工程の区切り識別器Ｘｂ１２３と、の出力を用いて生成する。識別器Ｘａ１２２と、識別器Ｘｂ１２３とは、旧環境で用いていた物を流用する等、学習が済んでいるものとする。

まず、システム管理者は、上述の画像ファイルセット作成処理により、新環境のカメラＸ´１０１´で撮影した画像に基づく画像ファイルセットＸａ´１１０´と、画像ファイルセットＸｂ´１１１´とを作成する（ステップ１７０１）。

そして、上述の工程推論処理により、旧環境の画像ファイルセットＸａ１１０と、新環境の画像ファイルセットＸａ´１１０´とを旧環境の工程の識別器Ｘａ１２２に入力し、新環境の画像ファイルセットＸｂ´１１１´を旧環境の区切り作業の識別器Ｘｂ１２３に入力する。これにより、推論結果Ｘ−Ｘａ１２６と、Ｘ´−Ｘａ１２７と、Ｘ´−Ｘｂ１２８と、を作成する（ステップ１７０２）。

次に、決定パラメータ入力部１３１は、閾値パラメータと工程順序についてシステム管理者から入力を受け付ける（ステップ１７０３）。具体的には、決定パラメータ入力部１３１は、尤度閾値表９０４、連続回数閾値表９０５、工程順序定義表９０６についての入力を受け付けて更新する。

そして、決定パラメータ入力部１３１は、推論結果Ｘ−Ｘａ１２６の推論統計情報を作成する（ステップ１７０４）。具体的には、決定パラメータ入力部１３１は、推論結果Ｘ−Ｘａ１２６について、工程ごとの尤度の最小値、平均値、連続回数の最小値、平均値をそれぞれ算出し、推論統計情報表９０３に格納する。

そして、決定パラメータ入力部１３１は、閾値の調整入力を受け付ける（ステップ１７０５）。具体的には、決定パラメータ入力部１３１は、推論結果Ｘ−Ｘａ１２６の推論統計情報を表示させて、システム管理者からの閾値の調整入力を受け付ける。

そして、ラベル決定部１３０は、ラベル情報を生成する（ステップ１７０６）。具体的には、ラベル決定部１３０のラベル選択部９０２は、ラベル決定用パラメータ記憶部９０１に格納された推論統計情報表９０３と、尤度閾値表９０４と、連続回数閾値表９０５と、工程順序定義表９０６と、推論結果Ｘ´−Ｘａ１２７と、Ｘ´−Ｘｂ１２８と、を参照して、新環境におけるカメラＸ´１０１´により撮影した画像を旧環境の工程の識別器Ｘａ１２２により工程を推論した推論結果Ｘ´−Ｘａ１２７に含まれる画像のラベル情報を決定する。この処理の詳細については、ラベル情報生成処理として後述する。

そして、ラベル決定部１３０は、教師データＸａ´１２０を教師データ記憶部１１７に保存する（ステップ１７０７）。具体的には、ラベル決定部１３０は、生成したラベル情報をラベル付加部１１６に受け渡し、ラベル付加部１１６は、入力されたラベル情報に含まれる各画像の情報を画像ファイルセットから取得し、教師データＸａ´１２０を作成して保存する。これにより、システム管理者は、画像ファイルセットＸａ´１１０´の個々の画像ファイルの内容を表示・確認したり、ラベルを指定する必要なく、教師データＸａ´１２０を作成することができる。

そして、学習推論指示部１３３は、学習指示の入力を受け付ける（ステップ１７０８）。具体的には、システム管理者からの、作成した教師データＸａ´１２０の指定と、学習する識別器Ｘａ´１２４の指定を受け付ける。

そして、学習推論部１２１は、学習推論指示部１３３から指示を受けると、識別器Ｘａ´１２４について教師データＸａ´１２０を用いて学習処理を行う（ステップ１７０９）。

以上が、教師データ作成及び学習処理のフローの例である。教師データ作成及び学習処理によれば、旧環境における作業工程の識別器Ｘａ１２２と、旧環境における区切り作業の識別器Ｘｂ１２３と、を活用しつつ、新環境における撮影データから教師データを作成して新環境における作業工程の識別器Ｘａ´１２４に学習させることができる。

図１８は、ラベル情報生成処理のフローの例を示す図である。ラベル情報生成処理は、上述の教師データ作成及び学習処理のフローのステップ１７０６において実施される処理である。

まず、ラベル選択部９０２は、区切り作業を識別した推論結果Ｘ´−Ｘｂ１２８に含まれる各画像を、工程区切りが「ＹＥＳ」となる尤度が閾値以上となるか否かに応じてフィルタ（選別）する（ステップ１８０１）。例えば、各画像の推論結果の工程区切りが「ＹＥＳ」の尤度と、尤度閾値表９０４の工程区切りが「ＹＥＳ」に相当する尤度閾値とを比較し、閾値以上の画像データのみを工程区切りとして選択する。

そして、工程区切りとして選択された画像データについて、工程区切りとみなされた画像データが連続する回数に応じて、ラベル選択部９０２はさらにフィルタ（選別）する（ステップ１８０２）。つまり、工程区切りとみなされた一連のフレーム長の画像ファイルが連続する回数を数え、連続している回数が連続回数閾値表９０５の工程区切りが「ＹＥＳ」に対応する閾値以上の部分を１つの工程区切りとして選択する。

すなわち、ステップ１８０１、１８０２のフィルタ処理により、工程区間である画像を工程区切りの画像であると誤認識する可能性を低減し、単純に工程区切り識別の結果に従うよりも高い確度で工程区切りの時刻区間部分を特定することができる。

そして、ラベル選択部９０２は、残った推論結果Ｘ´−Ｘｂ１２８の部分と同じ時刻区間に基づき、推論結果Ｘ´−Ｘａ１２７を工程区間候補に分割する（ステップ１８０３）。具体的には、ラベル選択部９０２は、ステップ１８０２で選択された各工程区切りとみなされた画像データの受信時刻を用いて工程区切り作業を行っている区切り期間を特定する。そして、ラベル選択部９０２は、推論結果Ｘ´−Ｘａ１２７の中で、工程区切り作業を行っている区切り期間の前後で区切り、工程区切り作業の時刻区間に相当しない画像データを、作業工程を実施している区間として特定する。

ここで、時刻区間の比較は、ラベル選択部９０２が、推論結果Ｘ´−Ｘａ１２７、推論結果Ｘ´−Ｘｂ１２８に含まれる画像データのそれぞれに記録された受信時刻を用いて行う。各工程は、工程区切り作業の時刻区間が含まれずに連続した時刻区間が連なったものとなる。

そして、ラベル選択部９０２は、各工程区間候補に対して、工程順序定義表９０６に基づいて工程を割り当てる（ステップ１８０４）。すなわち、図４に示したように、工程区切りによって区切られた各工程区間が１つの工程であり、それらが工程順序定義にしたがって時系列順に並ぶことを利用する。ラベル選択部９０２は、工程区間ごとに、工程ごとの尤度を算出する。最初の工程区間には第一工程に対応する工程が最も尤度が高く、Ｎ番目の工程区間には、第Ｎ工程に対応する工程が最も尤度が高くなると考えられる。

次に、ラベル選択部９０２は、工程区間候補の一つを選択する（ステップ１８０５）。ラベル選択部９０２は、選択したその工程区間候補に含まれる画像データごとに最高の尤度となる工程を割り当て、割り当てられた工程に対応する尤度閾値でフィルタする（ステップ１８０６）。例えば、選択した工程区間候補に割り当てた工程が「第Ｍ工程」の場合、その工程区間候補に含まれる各画像データについて、推論結果Ｘ´−Ｘａ１２７に記録された「第Ｍ工程」の尤度が、尤度閾値表９０４の第Ｍ工程の尤度閾値より小さい画像データは推論結果が誤っている可能性が高いとみなして除外する。

そして、ラベル選択部９０２は、ステップ１８０６のフィルタで除外されなかった画像について、同一工程において連続している画像ファイルの連続回数を計上し、連続回数閾値でさらにフィルタする（ステップ１８０７）。つまり、連続回数が閾値より小さい画像データは、想定する作業工程よりも短い時間で作業を完了している可能性が高いといえるため、推論した作業工程に誤りがある可能性が高いとみなして、当該画像データは教師データから除外する。

そして、ラベル選択部９０２は、残った画像データのラベル情報を、確定した工程のラベルとしてラベル付加部１１６に入力する（ステップ１８０８）。

そして、ラベル選択部９０２は、全ての工程区間候補についてステップ１８０５〜１８０９の処理を完了したか否か判定する（ステップ１８０９）。完了した場合（ステップ１８０９にて「ＹＥＳ」の場合）には、ラベル選択部９０２は、ラベル情報生成処理を終了させる。完了していない場合（ステップ１８０９にて「ＮＯ」の場合）には、ラベル選択部９０２は、制御をステップ１８０５に戻す。

以上が、ラベル情報生成処理のフローの例である。ラベル情報生成処理によれば、ラベル決定部１３０は、実施作業を撮影した画像データに基づいて、作業工程に応じた適切なラベル情報を生成することができる。

以上が、本発明に係るデータ生成装置、データ生成システムおよびデータ生成方法の実施形態である。なお、本実施形態では、複雑かつ微妙な識別内容では識別器による識別精度が低下するような環境変化があった場合においても、単純な識別内容（例えばタッチパネルに指が接触したかどうかという判定、本実施形態では区切り作業の識別）では環境変化の影響を受けにくく、旧環境での識別器を用いても識別精度が保たれやすいことを利用している。

例えば、本実施形態の場合には、作業工程の識別器Ｘａ１２２は旧環境のカメラＸ１０１で撮影した画像による教師データで学習済みのため、撮影位置等の撮影環境が異なるカメラＸ´１０１´で撮影した画像ファイルセットＸａ´１１０´を対象に工程識別した推論結果Ｘ´−Ｘａ１２７は、撮影環境の変化により識別精度が落ちやすい。しかし、ページ送り機能のタッチパネル部分のみを撮影した画像ファイルセットＸｂ´１１１´を対象にタッチパネル操作の有無のみを区切り作業の識別器Ｘｂ１２３により識別した推論結果Ｘ´−Ｘｂ１２８は、識別精度が落ちにくい。

そこで、内容を細かく識別できるが精度が落ちやすい工程識別器と、単純な識別しかできないが精度が落ちにくい区切り作業の識別器の２つによる推論結果を組み合わせた。これにより、精度高く画像の工程ラベル情報を生成することが可能となり、作業場所や作業者などの画像撮影条件に変更があった場合にも、少ない手間で精度の高い教師データを生成して識別器の識別精度を保つことができるといえる。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、実施形態の構成の一部について、構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、必ずしも全ての製品上の制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

本発明は、作業員一人を撮影する実施形態を用いて説明したが、これに限られず、複数の作業員による作業工程に採用することも可能であり、様々な態様で提供できる。

１００・・・工程識別装置、１００´・・・教師データ作成装置、１０１・・・カメラＸ、１０１´・・・カメラＸ´、１０３・・・時計、１０４・・・画像受信部、１０６・・・画像加工部、１０７・・・加工パラメータ表、１０８・・・画像記憶部、１０９・・・作業者用入出力部、１１０・・・画像ファイルセットＸａ、１１０´・・・画像ファイルセットＸａ´、１１１・・・画像ファイルセットＸｂ、１１１´・・・画像ファイルセットＸｂ´、１１４・・・画像出力部、１１５・・・ラベル情報入力部、１１６・・・ラベル付加部、１１７・・・教師データ記憶部、１１８・・・教師データＸａ、１１９・・・教師データＸｂ、１２０・・・教師データＸａ´、１２１・・・学習推論部、１２２・・・識別器Ｘａ、１２３・・・識別器Ｘｂ、１２４・・・識別器Ｘａ´、１２５・・・推論記憶部、１２６・・・推論結果Ｘ−Ｘａ、１２７・・・推論結果Ｘ´−Ｘａ、１２８・・・推論結果Ｘ´−Ｘｂ、１２９・・・推論結果Ｘ´−Ｘａ´、１３０・・・ラベル決定部、１３１・・・決定パラメータ入力部、１３２・・・作業指示書、１３３・・・学習推論指示部。

Claims (11)

1. 時系列上同期可能な二つの映像を格納した画像記憶部と、
   前記映像のうちの一方から所定の区切り期間を一つまたは複数識別する区切り識別器と、
   前記映像のうちの他方を前記区切り期間に相当する期間の前後で区切って複数の映像に分割し、分割した前記複数の映像の時系列順に所定のラベルを決定するラベル決定部と、
   前記ラベル決定部が決定した前記ラベルを、分割した前記映像ごとに付加して教師データを作成するラベル付加部と、
   を備えることを特徴とするデータ生成装置。
2. 請求項１に記載のデータ生成装置であって、
   前記所定のラベルを決定する処理において、
   前記ラベル決定部は、分割した前記映像の内容と前記時系列順に応じて、前記所定のラベルごとに分割した前記映像について当該ラベルとの関連を示す所定の指標を推定し、推定された指標に応じて前記所定のラベルのいずれかを決定する、
   ことを特徴とするデータ生成装置。
3. 請求項１に記載のデータ生成装置であって、
   前記区切り識別器は、所定の動作に相当する変化が前記映像に含まれる期間を前記区切り期間として特定する、
   ことを特徴とするデータ生成装置。
4. 請求項１に記載のデータ生成装置であって、
   前記区切り識別器は、所定の動作間の区切り動作に相当する変化が前記映像に含まれる期間を前記区切り期間として特定する、
   ことを特徴とするデータ生成装置。
5. 請求項１に記載のデータ生成装置であって、
   前記ラベル決定部は、予め定義された工程順序のラベルを参照可能に有し、分割した前記複数の映像の時系列順に、前記工程順序のラベルを決定する、
   ことを特徴とするデータ生成装置。
6. 請求項１に記載のデータ生成装置であって、
   前記所定のラベルを決定する処理において、
   前記ラベル決定部は、分割した前記映像の内容と前記時系列順に応じて、前記所定のラベルごとに分割した前記映像について当該ラベルとの関連を示す尤度を推定し、推定された尤度に応じて前記所定のラベルのいずれかを決定する、
   ことを特徴とするデータ生成装置。
7. 請求項１に記載のデータ生成装置であって、
   前記所定のラベルを決定する処理において、
   前記ラベル決定部は、分割した前記映像の内容と前記時系列順に応じて、前記所定のラベルごとに分割した前記映像について当該ラベルとの関連を示す尤度を推定し、所定の尤度に満たない場合にはラベル付加対象から除外する、
   ことを特徴とするデータ生成装置。
8. 請求項１に記載のデータ生成装置であって、
   前記所定のラベルを決定する処理において、
   前記ラベル決定部は、分割した前記映像の内容と前記時系列順に応じて、分割した前記映像の連続した記録時間が所定の時間に満たない場合にはラベル付加対象から除外する、
   ことを特徴とするデータ生成装置。
9. 請求項１に記載のデータ生成装置であって、
   前記教師データを用いて学習した識別器、
   を備えることを特徴とするデータ生成装置。
10. 所定の撮影条件で撮影した映像を取得するカメラと、データ生成装置と、を備え、
    前記データ生成装置は、
    前記カメラから前記映像を取得して時系列上同期可能な異なる二つの映像を生成する画像加工部と、
    前記映像のうちの一方から所定の区切り期間を一つまたは複数識別する区切り識別器と、
    前記映像のうちの他方を前記区切り期間に相当する期間の前後で区切って複数の映像に分割し、分割した前記複数の映像の時系列順に所定のラベルを決定するラベル決定部と、
    前記ラベル決定部が決定した前記ラベルを、分割した前記映像ごとに付加して教師データを作成するラベル付加部と、
    を備えることを特徴とするデータ生成システム。
11. データ生成装置を用いたデータ生成方法であって、
    前記データ生成装置は、
    時系列上同期可能な二つの映像を格納した画像記憶部と、
    演算部と、を備え、
    前記演算部は、
    前記映像のうちの一方から所定の区切り期間を一つまたは複数識別する区切り識別ステップと、
    前記映像のうちの他方を前記区切り期間に相当する期間の前後で区切って複数の映像に分割し、分割した前記複数の映像の時系列順に所定のラベルを決定するラベル決定ステップと、
    前記ラベル決定ステップにおいて決定した前記ラベルを、分割した前記映像ごとに付加して教師データを作成するラベル付加ステップと、
    を実施することを特徴とするデータ生成方法。

Images