JP2021081926A - ラベル識別装置、ラベル識別方法、学習装置、識別装置及びコンピュータプログラム - Google Patents

Abstract

【課題】管理対象の表面に示される１つ以上の表示の組み合わせによって表される管理情報を、その管理対象が撮像された画像に基づいてより精度良く識別することができる技術を提供すること。【解決手段】実施形態のラベル識別装置は、管理対象の異なる表示位置に表示され得る１つ以上の表示であって、その組み合わせにより１つのラベルを表すラベル要素が撮像された学習用の画像データと、その学習用の画像データに撮像された前記ラベル要素との関係性を機械学習の手法により学習する学習部と、識別対象のラベル要素が撮像された識別用の画像データと、学習部による前記関係性の学習結果を示す学習データとに基づいて、前記識別用の画像データに撮像された管理対象に示されているラベル要素を識別する第１の識別部と、前記管理対象に示された１つ以上のラベル要素の識別結果に基づいて前記管理対象に表示されているラベルを識別する第２の識別部と、を備える。【選択図】図１

Description

本発明は、ラベル識別装置、ラベル識別方法、学習装置、識別装置及びコンピュータプログラムに関する。

一般に、鉄鋼製品の製造を業とする鉄鋼メーカーは、鉄鋼製品の管理を目的として、鉄鋼製品の識別情報を管理するための情報（以下「管理情報」という。）を鉄鋼製品自体に表示する場合がある。例えば、の表面に管理情報が印字又は刻印されたり、管理情報を記載したシールや表示器等の表示媒体が梱包用紙の表面に貼付される場合もある。

このような鉄鋼製品の一例として、鉄鋼メーカーが製造するコイル材がある。コイル材は圧延により板状に成形された鋼材をコイル状に巻き取ることによって製造される鉄鋼製品の一つである。コイル材はサイズが大きいことから、コイル材に表示される管理情報は、人が目視によって容易に識別することができるように、大きくかつ分かりやすい態様で表示されることが好ましい。そのため、このようなコイル材に管理情報を表示する方法の１つとして、コイル材の表面に示される１つ以上の表示の組み合わせによって１つの管理情報を表示する方法がある。

特開２０１８−１８５５５２号公報 特開２０１８−２００５３１号公報

しかしながら、従来、鉄鋼メーカーは管理情報がコイル材に正しく表示されているかどうかの判断を目視で行っていたため、その判断を誤ってしまう可能性があった。

上記事情に鑑み、本発明は、コイル材の表面に示される１つ以上の表示の組み合わせによって表される管理情報を、そのコイル材が撮像された画像に基づいて識別することができる技術を提供することを目的としている。

本発明の一態様は、管理対象の異なる表示位置に表示され得る１つ以上の表示であって、その組み合わせにより１つのラベルを表すラベル要素が撮像された学習用の画像データと、その学習用の画像データに撮像された管理対象に示されている前記ラベル要素とを示す教師データに基づいて、前記学習用の画像データと前記ラベル要素との関係性を機械学習の手法により学習する学習部と、識別対象のラベル要素が撮像された識別用の画像データと、前記学習部による前記関係性の学習結果を示す学習データとに基づいて、前記識別用の画像データに撮像された管理対象に示されている前記ラベル要素を識別する第１の識別部と、前記管理対象に示された１つ以上のラベル要素の識別結果に基づいて前記管理対象に表示されているラベルを識別する第２の識別部と、を備えるラベル識別装置である。

本発明の一態様は上記のラベル識別装置であって、前記学習部は、管理対象の各表示位置が撮像された画像データと前記表示位置に表示されたラベル要素との関係性を学習して前記表示位置ごとの学習データを生成し、前記第１の識別部は、前記表示位置ごとの学習データと、管理対象の各表示位置が撮像された識別用の画像データとに基づいて、前記管理対象の各表示位置に示されているラベル要素を識別する。

本発明の一態様は上記のラベル識別装置であって、前記学習部は、前記撮像部によって取得された画像データから前記表示位置が撮像された領域以外の領域の一部又は全部が削除された画像データを前記学習用の画像データとして用いる。

本発明の一態様は上記のラベル識別装置であって、前記管理対象は、圧延により板状に成形された鋼材をコイル状に巻き取ることによって製造されたコイル材であり、前記表示位置は、前記コイル材の端面、内径面又は外周面である。

本発明の一態様は上記のラベル識別装置であって、前記ラベル要素は、その形状及び色の組み合わせによって識別される。

本発明の一態様は、管理対象の異なる表示位置に表示され得る１つ以上の表示であって、その組み合わせにより１つのラベルを表すラベル要素が撮像された画像データを取得する撮像ステップと、学習用の画像データと、その画像データに撮像された管理対象に示されている前記ラベル要素とを示す教師データに基づいて、前記画像データと前記ラベル要素との関係性を機械学習の手法により学習する学習ステップと、識別用の画像データと、前記学習ステップにおける前記関係性の学習結果を示す学習データとに基づいて、前記画像データに撮像された管理対象に示されている前記ラベル要素を識別する第１の識別ステップと、前記管理対象に示された１つ以上のラベル要素の識別結果に基づいて前記管理対象に表示されているラベルを識別する第２の識別ステップと、を有するラベル識別方法である。

本発明の一態様は、管理対象の異なる表示位置に表示され得る１つ以上の表示であって、その組み合わせにより１つのラベルを表すラベル要素が撮像された画像データと、その画像データに撮像された管理対象に示されている前記ラベル要素とを示す教師データに基づいて、前記画像データと前記ラベル要素との関係性を機械学習の手法により学習する、学習装置である。

本発明の一態様は、管理対象の異なる表示位置に表示され得る１つ以上の表示であって、その組み合わせにより１つのラベルを表すラベル要素が撮像された画像データと、その画像データに撮像された管理対象に示されている前記ラベル要素とを示す教師データに基づいて、前記画像データと前記ラベル要素との関係性を機械学習の手法により学習する学習装置によって学習された前記関係性の学習結果を示す学習データと、識別対象のラベル要素が撮像された識別用の画像データとに基づいて、前記識別用の画像データに撮像された管理対象に示されている前記ラベル要素を識別し、前記管理対象に示された１つ以上のラベル要素の識別結果に基づいて前記管理対象に表示されているラベルを識別する、識別装置である。

本発明の一態様は、管理対象の異なる表示位置に表示され得る１つ以上の表示であって、その組み合わせにより１つのラベルを表すラベル要素が撮像された画像データと、その画像データに撮像された管理対象に示されている前記ラベル要素とを示す教師データに基づいて、前記画像データと前記ラベル要素との関係性を機械学習の手法により学習するステップを、コンピュータに実行させるためのコンピュータプログラムである。

本発明の一態様は、管理対象の異なる表示位置に表示され得る１つ以上の表示であって、その組み合わせにより１つのラベルを表すラベル要素が撮像された画像データと、その画像データに撮像された管理対象に示されている前記ラベル要素とを示す教師データに基づいて、前記画像データと前記ラベル要素との関係性を機械学習の手法により学習する学習装置によって学習された前記関係性の学習結果を示す学習データと、識別対象のラベル要素が撮像された識別用の画像データとに基づいて、前記識別用の画像データに撮像された管理対象に示されている前記ラベル要素を識別するステップと、前記管理対象に示された１つ以上のラベル要素の識別結果に基づいて前記管理対象に表示されているラベルを識別するステップと、をコンピュータに実行させるためのコンピュータプログラムである。

本発明により、管理対象の表面に示される１つ以上の表示の組み合わせによって表される管理情報を、その管理対象が撮像された画像に基づいてより精度良く識別することが可能となる。

本実施形態における管理情報識別システムのシステム構成の具体例を示すシステム構成図である。 本実施形態の学習装置の機能構成の具体例を示す機能ブロック図である。 本実施形態の学習装置が学習用画像データに基づいて学習データを生成する処理の流れを示すフローチャートである。 コイル材の外観の一例を示す図である。 コイル材の外観の一例を示す図である。 本実施形態における学習データの生成方法の具体例を示す図である。 コイル材に表示され得るラベル要素の具体例を示す図である。 ラベル要素の識別情報の具体例を示す図である。 本実施形態の識別装置の機能構成の具体例を示す機能ブロック図である。 本実施形態の識別装置がコイル材に表示された管理情報を識別する処理の流れの具体例を示すフローチャートである。 各表示面におけるラベル要素の識別結果とラベルとの対応関係を示す図である。

以下、実施形態のラベル識別装置、ラベル識別方法、学習装置、識別装置及びコンピュータプログラムを、図面を参照して説明する。

図１は、本実施形態における管理情報識別システム１００のシステム構成の具体例を示すシステム構成図である。管理情報識別システム１００は、撮像装置２、学習装置３及び識別装置４を備える。撮像装置２は識別対象のコイル材を撮像する装置である。コイル材は圧延により板状に成形された鋼材をコイル状に巻き取ることによって製造される鉄鋼製品の一つである。撮像装置２は学習装置３及び識別装置４と通信可能に接続され、コイル材を撮像した画像データを学習装置３及び識別装置４に送信する。具体的には、撮像装置２は管理情報の学習用に撮像した画像データ（以下「学習用画像データ」という。）を学習装置３に送信し、識別対象のコイル材が撮像された画像データ（以下「識別用画像データ」という。）を識別装置４に送信する。なお、以下では、学習用画像データによって表される画像を「学習用画像」といい、識別用画像データによって表される画像を「識別用画像」という。

学習装置３は、学習用画像データと、その学習用画像に撮像されたコイル材に表示されている管理情報との関係性を機械学習の手法を用いて学習する装置である。具体的には、学習装置３は、上記関係性を学習するための教師データを学習用画像データに基づいて生成する機能と、生成した教師データにより上記関係性を学習する機能とを有する。学習装置３は、上記関係性の学習結果を示すデータ（以下「学習データ」という。）を識別装置４に供給する。

識別装置４は、学習装置３によって生成された学習データに基づいて、識別用画像に撮像されたコイル材の管理情報を識別する装置である。具体的には、識別装置４は、学習データと識別用画像データとに基づいて、その識別用画像に撮像されたコイル材に表示されている管理情報の識別情報（以下「ラベル」という。）を識別する。識別装置４は、予め記憶している管理情報のうち、取得したラベルに対応づけられている情報をそのコイル材の管理情報として出力する。なお、管理情報とラベルとの対応関係を示す情報（以下「対応情報」という。）は予め識別装置４に記憶されているものとする。

図２は、本実施形態の学習装置３の機能構成の具体例を示す機能ブロック図である。学習装置３は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、プログラムを実行する。学習装置３は、プログラムの実行によって画像データ記憶部３１、教師データ記憶部３２、学習用画像データ入力部３３、教師データ生成部３４、学習データ生成部３５及び学習データ出力部３６を備える装置として機能する。なお、学習装置３の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

画像データ記憶部３１は学習用画像データを記憶する。例えば画像データ記憶部３１は磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。
教師データ記憶部３２は教師データを記憶する。例えば教師データ記憶部３２は、画像データ記憶部３１と同様に、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。

学習用画像データ入力部３３は学習用画像データを学習装置３に入力する機能を有する。例えば学習用画像データ入力部３３は通信インターフェースを用いて構成され、撮像装置２から送信される学習用画像データを受信することにより学習用画像データを入力する。なお、学習用画像データ入力部３３は通信による入力方法以外の方法で学習用画像データを入力してもよい。例えば学習用画像データ入力部３３は学習用画像データを記憶した記録媒体から学習用画像データを読み出すことによって学習用画像データを入力してもよい。学習用画像データ入力部３３は入力した学習用画像データを画像データ記憶部３１に記録する。

教師データ生成部３４は学習用画像データに基づいて教師データを生成する機能を有する。例えば教師データ生成部３４はタッチパネル、マウス及びキーボード等の入力装置を用いて構成され、学習用画像データに対して入力操作に応じた編集処理を行うことにより、学習用画像データと、その学習用画像に撮像されたコイル材に表示されている管理情報との関係性を学習するための教師データを生成する。教師データ生成部３４は生成した教師データを教師データ記憶部３２に記録する。なお、学習装置３は、学習用画像データ入力部３３及び教師データ生成部３４に代えて、予め生成された教師データを入力する機能部を備えてもよい。また、教師データを生成する処理の一部又は全部は所定のルールに基づいて自動化されてもよい。

学習データ生成部３５は教師データの学習により、コイル材に表示された管理情報のラベルを識別するための学習データを生成する機能を有する。具体的には、学習データ生成部３５は、コイル材が撮像された識別用画像データに基づいてそのコイル材に表示されたラベルを識別するために用いる識別器を構成するためのパラメータ（以下「識別器パラメータ」という。）を教師データに基づいて決定する。

例えば、学習データ生成部３５は、識別用画像データの各画素値を入力して１つのラベルを特定するために必要な情報を出力するニューラルネットワークによって識別器パラメータを決定することができる。ここで、１つのラベルを特定するために必要な情報とは、１つのラベルを構成する構成要素（以下「ラベル要素」という。）ごとの識別情報であり、１つのラベルを各ラベル要素の識別結果を統合して識別するために必要となる情報である。なお、ラベルとラベル要素との関係性や、ラベル要素と学習データとの関係性については以下にて詳細に説明するため、ここではこれ以上の説明を割愛する。

なお、ニューラルネットワークへの入力は画像データの画素値に限定されず、画像データに基づいて取得されるどのような値が入力されてもよい。例えば、ニューラルネットワークには、画像データの各画素値に代えて画像データから抽出された特徴量が入力されてもよいし、同特徴量は画像データの各画素値に加えて入力されてもよい。また、画像データとラベル要素との関係性は、必ずしもニューラルネットワークによって記述される必要はない。例えば、学習データ生成部３５は、ニューラルネットワークに基づくディープラーニングや深層学習等の手法を用いて上記関係性を記述してもよいし、線形回帰や非線形回帰、単回帰、重回帰等の回帰的分析手法を用いて上記関係性を記述してもよい。また、画像データを対応する複数のラベル要素のいずれかに分類することを上記関係性の学習と考えた場合、学習データ生成部３５は、ＳＶＭ（サポートベクターマシン）やランダムフォレスト、ｋ平均法等のクラスタリング手法を用いて定めた分類方法によって画像データとラベル要素との関係性を記述してもよい。

学習データ生成部３５は、このようにして決定した識別器パラメータの値を学習データとして生成し、生成した学習データを学習データ出力部３６に出力する。

学習データ出力部３６は学習データを識別装置４に出力する機能を有する。例えば学習データ出力部３６は通信インタフェースを用いて構成され、学習データ生成部３５によって生成された学習データを識別装置４に送信することにより学習データを出力する。なお、学習用画像データの入力と同様に、学習データ出力部３６は通信による出力方法以外の方法で学習データを出力してもよい。例えば学習データ出力部３６は、自装置及び識別装置４に着脱可能な記録媒体に学習データを書き込むことによって学習データを出力してもよい。この場合、学習データを記憶した記録媒体は学習装置３から取り外された後に識別装置４に接続され、識別装置４がその記録媒体から学習データを読み出すことによって学習データが識別装置４に入力される。

図３は、本実施形態の学習装置３が学習用画像データに基づいて学習データを生成する処理の流れを示すフローチャートである。まず、学習用画像データ入力部３３が、撮像装置２によって取得された学習用画像データを学習装置３に入力する（ステップＳ１０１）。学習用画像データ入力部３３は入力した学習用画像データを画像データ記憶部３１に記録する（ステップＳ１０２）。

続いて、教師データ生成部３４が、画像データ記憶部３１に記憶されている学習用画像データに対して、各学習用画像に撮像されたコイル材に表示されている各ラベル要素の識別情報を対応づけることによって教師データを生成する（ステップＳ１０３）。より具体的には、教師データ生成部３４は、学習用画像において各ラベル要素が表示され得る領域（後述するコイル材の端面、外周面及び内径面に対応）ごとにラベル要素の有無及び種別を識別するための教師データを生成する。ここで、図４〜図８に示す各種の具体例を適宜参照しながら、教師データを生成する方法について詳細に説明する。

まず、識別対象となるコイル材の外観の具体例を図４及び図５に示す。コイル材は出荷先や用途、塗装の有無等に応じて異なる包装状態で保管される場合がある。例えば図４は薄板製品のシートで包装されたコイル材の外観を表している。図４の例は、コイルの内径面に貼付された青色のテープＢ１と、コイルの端面に貼付された青色のテープＢ２との組み合わせによって１つのラベルを表した例である。一方で、図５の例は、コイルの外周面に貼付された赤色のテープＲ１によって１つのラベルを表した例である。

ここで図４の例のように、ラベルを構成するテープ（例えばＢ１及びＢ２）以外のテープがコイル材に貼付されない場合には、そのコイル材が撮像された画像データに対してコイル材に表示されたラベルそのものの識別情報を対応づけたものを教師データとして学習すればよい。しかしながら、図５の例のように、ラベルを構成するテープ（例えばＲ１）以外のテープ（例えばＲ２）がコイル材に貼付される可能性がある場合、このような画像データにラベルそのものの識別情報を対応づけたものを教師データとして学習すると、ラベルを構成しないテープもラベルの一部として学習される可能性があるため、必ずしも精度良くラベルを識別できない場合がある。また、コイル材にはテープ以外にも様々な態様の表示がなされたり、特に情報としての意味をなさない物（例えば梱包用の紐やテープなど）が取り付けられたりする場合があり、これらの画像がラベルの識別精度を低下させる要因となりうる。

そこで、本実施形態の管理情報識別システム１００では、１つのラベルを構成する１以上の構成要素（すなわちラベル要素）ごとにその有無及び種別を識別し、その識別結果を統合して１つのラベルを識別することにより、画像に撮像されたラベルに対応づけられた管理情報をより精度良く識別することを可能にしている。具体的には、本実施形態におけるラベルの識別方法は、学習装置３が、学習用画像データをもとに個々のラベル要素を識別するための学習データを生成する工程と、識別装置４がその学習データに基づいて各ラベル要素を識別する工程と、識別装置４が各ラベル要素の識別結果を統合して１つのラベルを識別する工程と、によって実現される。

図６は、本実施形態における学習データの生成方法の具体例を示す図である。例えば図６はコイル材の端面、内径面及び外周面（表示位置の一例。以下「表示面」という。）のそれぞれに１つのラベル要素が表示され得る場合において、表示面ごとにラベル要素の有無及び種別を識別するための学習データを生成する方法を示している。この場合、まず撮像装置２によって各表示面を主たる被写体とする学習用画像データを取得する。

例えば図６（Ａ）はコイル材の端面を主たる被写体とした学習用画像データの具体例を示し、図６（Ｂ）はコイル材の外周面を主たる被写体とした学習用画像データの具体例を示している。また、図６（Ｃ）はコイル材の内径面を主たる被写体とした学習用画像データの具体例を示している。なお、学習用画像データは、主たる被写体とする各表示面をより大きくかつより鮮明に示すものであるほどよいが、表示面ごとの画像データを取得することが難しい場合や、識別の精度に大きな影響を与えない場合等においては、複数の表示面が撮像された１つの学習用画像データを複数の表示面の学習用画像データとして取得してもよい。例えば、図６（Ａ）の画像データ（端面）と、図６（Ｂ）の画像データ（外周面）とでは撮像条件に大きな差がないため、このような場合には、学習用画像データはいずれか一方の画像データに集約されてもよい。

続いて学習装置３において教師データ生成部３４が、各表示面について取得された学習用画像データを編集し、学習用画像データから表示面以外の情報の一部又は全部を削除する。これは、ラベル要素の識別精度を低下させる要因となり得る情報を減らすための処理であり、学習データを生成する前処理として行うものである。この編集処理により、例えば図６（Ａ）に示す端面の学習用画像データＧ１は矩形領域内の画像データＧ１’となるように編集され、図６（Ｂ）に示す外周面の学習用画像データＧ２は矩形領域内の画像データＧ２’となるように編集され、図６（Ｃ）に示す内径面の学習用画像データＧ３は矩形領域内の画像データＧ３’となるように編集される。

なお、このような一部の矩形領域の画像を抽出する方法は、学習用画像データから表示面以外の情報を削除する編集方法の一例であり、学習用画像データは他の方法によって編集されてもよい。例えば、各表示面が画像内の所定範囲に位置することが分かっている場合、学習装置３はその範囲外の画像をマスクすることによって表示面以外の情報を削除してもよい。

続いて教師データ生成部３４は、編集後の各学習用画像データに対して、撮像された表示面におけるラベル要素の有無及び種別を示す情報を対応づけることにより、各表示面の教師データを生成する。例えば図６の例では、図６（Ａ）の端面と図６（Ｃ）の内径面とには“１本の直線”によって表されるラベル要素が表示されており、図６（Ｂ）の外周面にはラベル要素が表示されていない。このような場合、教師データ生成部３４は、図６（Ａ）の学習用画像データと図６（Ｃ）の学習用画像データとには、表示されているラベル要素の識別情報を対応づけ、図６（Ｂ）の学習用画像データにはラベル要素が表示されていない旨を示す情報を対応づけることにより教師データを生成する。

図７は、コイル材に表示され得るラベル要素の具体例を示す図である。例えば図７（Ａ）、図７（Ｂ）及び図７（Ｃ）は、端面、内径面及び外周面に表示され得るラベル要素の一例として１本の直線によって表されるラベル要素を示す。また例えば図７（Ｄ）は端面に表示され得るラベル要素の一例として２本の直線によって表されるラベル要素を示す。また例えば図７（Ｅ）は、内径面及び外周面に表示され得るラベル要素の一例として十字によって表されるラベル要素を示す。図７（Ａ）〜図７（Ｅ）は、コイル材に表示された１以上のラベル要素の組み合わせによってそれぞれ異なる１つのラベルを表すことができる。

なお、図７に示すラベル要素のパターン及びその組み合わせによって表されるラベルのパターンは一例であり、ラベル要素及びラベルにはこれらとは異なるパターンが用いられても良い。ラベル要素のパターンを多くするほどその組み合わせによって表されるラベルのパターンも多くなるため、より多くの種類の管理情報を識別することが可能となるが、その一方でより複雑化したパターンを識別しなければならなくなる可能性が高くなることからラベル要素自体の識別精度が低下することも考えらえる。そのため、ラベル要素は、識別したい管理情報の種類に応じて、できるだけ簡単なパターンに設定されるとよい。なお、ラベル要素は、図７の例のような形状によるパターン分けに限らず、表示の色によってパターン分けされてもよい。

図８は、ラベル要素の識別情報（以下「要素ＩＤ」という。）の具体例を示す図である。図８に示す表の左から１列目はラベル要素の色を表し、２列目はラベル要素の形状を表している。３列目は対応する色と形状の組み合わせによって決定されるラベル要素の要素ＩＤを表している。この例において、例えば赤色の１本の直線によって表されるラベル要素が表示面に表示されている場合には、教師データ生成部３４は、その表示面を示す学習用画像データに対して要素ＩＤ“Ｒ１”を対応づけたものを教師データとして生成する。また例えば、黄色の十字によって表されるラベル要素が表示面に表示されている場合には、教師データ生成部３４は、その表示面を示す学習用画像データに対して要素ＩＤ“Ｙ＋”を対応づけたものを教師データとして生成する。一方で、表示面にラベル要素が表示されていない場合には、教師データ生成部３４は、その表示面を示す学習用画像データに対して要素ＩＤ“Ｚ”を対応づけたものを教師データとして生成する。

このように生成された教師データを機械学習の手法により学習することで、教師データ生成部３４は、各表示面におけるラベル要素の有無と、各表示面に表示されているラベル要素の種別と、を識別することを可能にする学習データを生成することができる。

図３の説明に戻る。教師データ生成部３４は、このように生成した表示面ごとの教師データを教師データ記憶部３２に記録する（ステップＳ１０４）。続いて、学習データ生成部３５が、教師データ記憶部３２に記憶されている表示面ごとの教師データを学習することにより、表示面ごとの学習用画像データとラベル要素との関係性を示す学習データを生成する（ステップＳ１０５）。学習データ生成部３５は、このように生成した表示面ごとの学習データを学習データ出力部３６に出力する（ステップＳ１０６）。そして、学習データ出力部３６が、表示面ごとに生成された学習データを識別装置４に出力する。

図９は、本実施形態の識別装置４の機能構成の具体例を示す機能ブロック図である。識別装置４は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、プログラムを実行する。識別装置４は、プログラムの実行によって画像データ記憶部４１、学習データ記憶部４２、対応情報記憶部４３、識別用画像データ入力部４４、学習データ入力部４５、識別部４６及び管理情報出力部４７を備える装置として機能する。なお、識別装置４の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

画像データ記憶部４１は学習用画像データを記憶する。例えば画像データ記憶部４１は磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。
学習データ記憶部４２は学習データを記憶する。例えば学習データ記憶部４２は、画像データ記憶部４１と同様に、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。
対応情報記憶部４３は対応情報を記憶する。例えば対応情報記憶部４３は、画像データ記憶部４１及び学習データ記憶部４２と同様に、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。

識別用画像データ入力部４４は識別用画像データを識別装置４に入力する機能を有する。例えば識別用画像データ入力部４４は通信インターフェースを用いて構成され、撮像装置２から送信される識別用画像データを受信することにより識別用画像データを入力する。なお、識別用画像データ入力部４４は通信による入力方法以外の方法で識別用画像データを入力してもよい。例えば識別用画像データ入力部４４は識別用画像データを記憶した記録媒体から識別用画像データを読み出すことによって識別用画像データを入力してもよい。識別用画像データ入力部４４は入力した識別用画像データを画像データ記憶部４１に記録する。

学習データ入力部４５は学習データを識別装置４に入力する機能を有する。例えば学習データ入力部４５は通信インターフェースを用いて構成され、学習装置３から送信される学習データを受信することにより学習データを入力する。なお、学習データ入力部４５は通信による入力方法以外の方法で学習データを入力してもよい。例えば学習データ入力部４５は学習データを記憶した記録媒体から学習データを読み出すことによって学習データを入力してもよい。学習データ入力部４５は入力した学習データを学習データ記憶部４２に記録する。

識別部４６は識別対象のコイル材が撮像された識別用画像データと、学習装置３により生成された学習データとに基づいて、そのコイル材に表示されている管理情報のラベルを識別する機能を有する。具体的には、識別部４６は、識別用画像データと、表示面ごとに生成された学習データとに基づいてコイル材の各表示面に表示されているラベル要素を識別し、各表示面におけるラベル要素の識別結果に基づいて１つのラベルを特定する。識別部４６は、このようにして特定したラベルを管理情報出力部４７に出力する。

管理情報出力部４７は、識別部４６によって特定されたラベルと、自装置に記憶されている対応情報とに基づいて、特定されたラベルに対応づけられた管理情報を取得する。管理情報出力部４７は、このようにして取得した管理情報を所定の態様で出力する。例えば、管理情報出力部４７は、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示装置に管理情報を表示させてもよいし、スピーカ等の音声出力装置に管理情報を示す音声を出力させてもよい。また、管理情報出力部４７は、自装置と通信可能な他の装置に管理情報を送信してもよい。

図１０は、本実施形態の識別装置４が、識別用画像データに基づいて、コイル材に表示された管理情報を識別する処理の流れの具体例を示すフローチャートである。まず、識別用画像データ入力部４４が撮像装置２によって取得された識別用画像データを識別装置４に入力する（ステップＳ２０１）。識別用画像データ入力部４４は入力した識別用画像データを画像データ記憶部４１に記録する（ステップＳ２０２）。

一方で、学習データ入力部４５が学習装置３から出力される表示面ごとの学習データを識別装置４に入力する（ステップＳ２０３）。学習データ入力部４５は入力した学習データを学習データ記憶部４２に記録する（ステップＳ２０４）。

続いて、識別部４６が、画像データ記憶部４１に記憶されている識別用画像データと、学習データ記憶部４２に記憶されている学習データとに基づいて、識別用画像に撮像されているコイル材に表示されたラベル要素を識別する（ステップＳ２０５）。具体的には、識別部４６は、表示面ごとの学習データを用いて各表示面におけるラベル要素の有無及び種別を識別する識別器を構成し、この識別器に識別用画像データを入力することにより、その出力として、識別用画像に撮像されたコイル材の各表示面に表示されたラベル要素の識別情報（すなわち要素ＩＤ）を取得する。識別部４６は、このようにして各表示面ごとに取得した要素ＩＤを管理情報出力部４７に出力する。

続いて、管理情報出力部４７が識別部４６から出力された表示面ごとの要素ＩＤと対応情報とに基づいて、識別用画像に撮像されたコイル材に表示されたラベルに対応づけられた管理情報を取得する（ステップＳ２０６）。ここで、管理情報を識別する方法の詳細について図１１を用いて説明する。

図１１は、各表示面におけるラベル要素の識別結果とラベルとの対応関係を示す図である。Ａ面の列はコイル材の一方の端面（以下「Ａ面」という。）におけるラベル要素の識別結果を表し、Ｂ面の列はＡ面とは異なる端面（以下「Ｂ面」という。）におけるラベル要素の識別結果を表している。また、外周面の列はコイル材の外周面におけるラベル要素の識別結果を表し、内径面の列はコイル材の内径面におけるラベル要素の識別結果を表している。ラベルの列は、Ａ面、Ｂ面、外周面及び内径面におけるラベル要素の各識別結果の組み合わせによって特定される管理情報のラベルを表す。

例えばこの例において、要素ＩＤ“Ｒ１”によって識別されるラベル要素（すなわち赤色の１本の直線によって表されるラベル要素）がコイル材のＡ面及びＢ面に表示されており、外周面及び内径面にはラベル要素の表示がないことが識別部４６によって識別された場合、管理情報出力部４７はそのコイル材に表示されたラベルが“Ｐ０１”であると識別する。この場合、管理情報出力部４７は、対応情報において“Ｐ０１”に対応づけられている情報を管理情報として取得する。

また例えば、要素ＩＤ“Ｗ＋”によって識別されるラベル要素（すなわち白色の十字によって表されるラベル要素）がコイル材の外周面及び内径面に表示されており、Ａ面及びＢ面にはラベル要素の表示がないことが識別部４６によって識別された場合、管理情報出力部４７はそのコイル材に表示されたラベルが“Ｐ１２”であると識別する。この場合、管理情報出力部４７は、対応情報において“Ｐ１２”に対応づけられている情報を管理情報として取得する。

また例えば、コイル材のＡ面、Ｂ面、外周面及び内径面のいずれにおいてもラベル要素の表示がない（すなわちラベルが“ＰＺＺ”である）ことが識別部４６によって識別された場合、管理情報出力部４７は対応情報に基づいてそのコイル材にはラベルが表示されていないと判定する。

また例えば、管理情報出力部４７はコイル材のＡ面、Ｂ面、外周面及び内径面におけるラベル要素の識別結果の組み合わせが“Ｐ０１”〜“Ｐ１３”及び“ＰＺＺ”に対応するいずれの組み合わせでもない（すなわちラベルが“ＰＸＸ”である）ことが対応情報に基づいて判定された場合、管理情報出力部４７はそのコイル材に表示されているラベルが不明なラベルであると判定する。

このように構成された実施形態の管理情報識別システム１００は、上述した学習装置３と識別装置４とを備えることにより、コイル材（管理対象の一例）の表面に示される１つ以上の表示の組み合わせによって表される管理情報を、そのコイル材が撮像された画像に基づいてより精度良く識別することが可能となる。

具体的には、実施形態の学習装置３は、学習用画像データと、その学習用画像データに撮像されたコイル材（管理対象の一例）に示されているラベル要素とを示す教師データに基づいて、画像データとラベル要素との関係性を機械学習の手法により学習する学習データ生成部３５（学習部の一例）を備える。

また、実施形態の識別装置４は、識別用画像データと、学習データ生成部３５による上記関係性の学習結果を示す学習データとに基づいて、画像データに撮像されたコイル材に示されているラベル要素を識別する識別部４６（第１の識別部の一例）と、コイル材に示された１つ以上のラベル要素の識別結果に基づいて、コイル材に表示されているラベルを識別する管理情報出力部４７（第２の識別部の一例）と、を備える。

なお、上記の実施形態では、学習装置３と識別装置４とが別体に構成される場合について説明したが、学習装置３と識別装置４とは必ずしも別体に構成される必要はない。学習装置３と識別装置４とはラベル識別装置として一体に構成されてもよい。また、撮像装置２（撮像部の一例）も、学習装置３及び識別装置４と別体に構成されてもよいし、それらのいずれか一方と一体に構成されてもよい。また、学習装置３と識別装置４とがラベル識別装置として一体に構成される場合、撮像装置２はラベル識別装置と一体に構成されてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、管理対象の表面に示される１つ以上の表示の組み合わせによって表される管理情報を、その管理対象が撮像された画像に基づいて識別する技術に適用可能である。

１００…管理情報識別システム、 ２…撮像装置、 ３…学習装置、 ３１…画像データ記憶部、 ３２…教師データ記憶部、 ３３…学習用画像データ入力部、 ３４…教師データ生成部、 ３５…学習データ生成部、 ３６…学習データ出力部、 ４…識別装置、 ４１…画像データ記憶部、 ４２…学習データ記憶部、 ４３…対応情報記憶部、 ４４…識別用画像データ入力部、 ４５…学習データ入力部、 ４６…識別部、 ４７…管理情報出力部

Claims (10)

1. 管理対象の異なる表示位置に表示され得る１つ以上の表示であって、その組み合わせにより１つのラベルを表すラベル要素が撮像された学習用の画像データと、その学習用の画像データに撮像された管理対象に示されている前記ラベル要素とを示す教師データに基づいて、前記学習用の画像データと前記ラベル要素との関係性を機械学習の手法により学習する学習部と、
   識別対象のラベル要素が撮像された識別用の画像データと、前記学習部による前記関係性の学習結果を示す学習データとに基づいて、前記識別用の画像データに撮像された管理対象に示されている前記ラベル要素を識別する第１の識別部と、
   前記管理対象に示された１つ以上のラベル要素の識別結果に基づいて前記管理対象に表示されているラベルを識別する第２の識別部と、
   を備えるラベル識別装置。
2. 前記学習部は、管理対象の各表示位置が撮像された画像データと前記表示位置に表示されたラベル要素との関係性を学習して前記表示位置ごとの学習データを生成し、
   前記第１の識別部は、前記表示位置ごとの学習データと、管理対象の各表示位置が撮像された識別用の画像データとに基づいて、前記管理対象の各表示位置に示されているラベル要素を識別する、
   請求項１に記載のラベル識別装置。
3. 前記学習部は、前記撮像部によって取得された画像データから前記表示位置が撮像された領域以外の領域の一部又は全部が削除された画像データを前記学習用の画像データとして用いる、
   請求項１又は２に記載のラベル識別装置。
4. 前記管理対象は、圧延により板状に成形された鋼材をコイル状に巻き取ることによって製造されたコイル材であり、
   前記表示位置は、前記コイル材の端面、内径面又は外周面である、
   請求項１から３のいずれか一項に記載のラベル識別装置。
5. 前記ラベル要素は、その形状及び色の組み合わせによって識別される、
   請求項１から４のいずれか一項に記載のラベル識別装置。
6. 管理対象の異なる表示位置に表示され得る１つ以上の表示であって、その組み合わせにより１つのラベルを表すラベル要素が撮像された画像データを取得する撮像ステップと、
   学習用の画像データと、その画像データに撮像された管理対象に示されている前記ラベル要素とを示す教師データに基づいて、前記画像データと前記ラベル要素との関係性を機械学習の手法により学習する学習ステップと、
   識別用の画像データと、前記学習ステップにおける前記関係性の学習結果を示す学習データとに基づいて、前記画像データに撮像された管理対象に示されている前記ラベル要素を識別する第１の識別ステップと、
   前記管理対象に示された１つ以上のラベル要素の識別結果に基づいて前記管理対象に表示されているラベルを識別する第２の識別ステップと、
   を有するラベル識別方法。
7. 管理対象の異なる表示位置に表示され得る１つ以上の表示であって、その組み合わせにより１つのラベルを表すラベル要素が撮像された画像データと、その画像データに撮像された管理対象に示されている前記ラベル要素とを示す教師データに基づいて、前記画像データと前記ラベル要素との関係性を機械学習の手法により学習する、
   学習装置。
8. 管理対象の異なる表示位置に表示され得る１つ以上の表示であって、その組み合わせにより１つのラベルを表すラベル要素が撮像された画像データと、その画像データに撮像された管理対象に示されている前記ラベル要素とを示す教師データに基づいて、前記画像データと前記ラベル要素との関係性を機械学習の手法により学習する学習装置によって学習された前記関係性の学習結果を示す学習データと、識別対象のラベル要素が撮像された識別用の画像データとに基づいて、前記識別用の画像データに撮像された管理対象に示されている前記ラベル要素を識別し、
   前記管理対象に示された１つ以上のラベル要素の識別結果に基づいて前記管理対象に表示されているラベルを識別する、
   識別装置。
9. 管理対象の異なる表示位置に表示され得る１つ以上の表示であって、その組み合わせにより１つのラベルを表すラベル要素が撮像された画像データと、その画像データに撮像された管理対象に示されている前記ラベル要素とを示す教師データに基づいて、前記画像データと前記ラベル要素との関係性を機械学習の手法により学習するステップを、
   コンピュータに実行させるためのコンピュータプログラム。
10. 管理対象の異なる表示位置に表示され得る１つ以上の表示であって、その組み合わせにより１つのラベルを表すラベル要素が撮像された画像データと、その画像データに撮像された管理対象に示されている前記ラベル要素とを示す教師データに基づいて、前記画像データと前記ラベル要素との関係性を機械学習の手法により学習する学習装置によって学習された前記関係性の学習結果を示す学習データと、識別対象のラベル要素が撮像された識別用の画像データとに基づいて、前記識別用の画像データに撮像された管理対象に示されている前記ラベル要素を識別するステップと、
    前記管理対象に示された１つ以上のラベル要素の識別結果に基づいて前記管理対象に表示されているラベルを識別するステップと、
    をコンピュータに実行させるためのコンピュータプログラム。

Images