JP2021064356A - プログラム、情報処理システム、情報処理方法及び情報処理装置 - Google Patents

Abstract

【課題】照合物に対し、適切な照合領域を抽出することが可能なプログラム等を提供すること。【解決手段】一つの側面にプログラムは、特徴点となるオブジェクトを含むパーツ画像を取得し、取得した前記パーツ画像内のオブジェクトを認識し、認識した前記オブジェクトから所定のオフセット位置にて所定サイズの領域画像を抽出し、抽出した領域画像に対応するパーツ固有情報を取得し、取得した前記パーツ固有情報を出力する処理をコンピュータに実行させる。【選択図】図１０

Description

本発明は、プログラム、情報処理システム、情報処理方法及び情報処理装置に関する。

近年、品質管理や流通管理のため、製品または製品を組み立てたパーツ（部品）等の照合物を照合・認識するニーズが高まっている。特許文献１には、照合物の所定の照合領域の照合画像の正反射を生じていると推定される画素位置に対応する登録画像の画素の輝度値の統計値に基づいて、照合物と登録物とを照合する照合システムが開示されている。

国際公開２０１６／１３６９００号公報

しかしながら、特許文献１に係る発明は、照合物の照合領域（領域画像）を自動的に抽出できないおそれがある。

一つの側面では、照合物に対し、適切な照合領域を抽出することが可能なプログラム等を提供することを目的とする。

一つの側面にプログラムは、特徴点となるオブジェクトを含むパーツ画像を取得し、取得した前記パーツ画像内のオブジェクトを認識し、認識した前記オブジェクトから所定のオフセット位置にて所定サイズの領域画像を抽出し、抽出した領域画像に対応するパーツ固有情報を取得し、抽出した前記パーツ固有情報を出力する処理をコンピュータに実行させる。

一つの側面では、照合物に対し、適切な照合領域を抽出することが可能となる。

トレーサビリティシステムの概要を示す説明図である。 画像処理サーバの構成例を示すブロック図である。 パーツサーバの構成例を示すブロック図である。 パーツ固有情報ＤＢのレコードレイアウトの一例を示す説明図である。 ＤＢサーバの構成例を示すブロック図である。 製品管理ＤＢのレコードレイアウトの一例を示す説明図である。 パーツ詳細ＤＢのレコードレイアウトの一例を示す説明図である。 工場サーバの構成例を示すブロック図である。 製品ＤＢのレコードレイアウトの一例を示す説明図である。 パーツ固有情報を出力する動作を説明する説明図である。 オブジェクト認識モデルを説明する説明図である。 パーツ固有情報を出力する際の処理手順を示すフローチャートである。 パーツ固有情報を出力する際の処理手順を示すフローチャートである。 製品ＩＤをパーツＩＤに対応付けて出力する動作を説明する説明図である。 製品ＩＤをパーツＩＤに対応付けて出力する際の処理手順を示すフローチャートである。 製品ＩＤをパーツＩＤに対応付けて出力する際の処理手順を示すフローチャートである。 実施形態３のトレーサビリティシステムの概要を示す説明図である。 削除サーバの構成例を示すブロック図である。 パーツ管理ＤＢのレコードレイアウトの一例を示す説明図である。 生産計画ＤＢのレコードレイアウトの一例を示す説明図である。 登録済みのパーツを削除する際の処理手順を示すフローチャートである。 オブジェクトの認識向上に関する説明図である。 二つの撮影装置によりパーツ画像を撮影する説明図である。 パーツ画像を取得する際の処理手順を示すフローチャートである。 オフセット位置の補正を説明する説明図である。 面積歪みが生じたパーツ画像を補正する際の処理手順を示すフローチャートである。 実施形態７の画像処理サーバの構成例を示すブロック図である。 実施形態７のＤＢサーバの構成例を示すブロック図である。 パーツ損傷情報ＤＢのレコードレイアウトの一例を示す説明図である。 パーツ固有情報とパーツの損傷に関する情報との両方を出力する際の処理手順を示すフローチャートである。 実施形態８のパーツ固有情報ＤＢのレコードレイアウトの一例を示す説明図である。 実施形態８のパーツ詳細ＤＢのレコードレイアウトの一例を示す説明図である。 パーツの保管情報をパーツＩＤに対応付けて出力する際の処理手順を示すフローチャートである。 滞留されているパーツを検出する際の処理手順を示すフローチャートである。 実施形態９の画像処理サーバの構成例を示すブロック図である。 実施形態９のＤＢサーバの構成例を示すブロック図である。 照合結果ＤＢのレコードレイアウトの一例を示す説明図である。 消耗識別モデルを説明する説明図である。 パーツを照合する際の処理手順を示すフローチャートである。 パーツの登録処理を行う際の処理手順を示すフローチャートである。 パーツの照合処理を行う際の処理手順を示すフローチャートである。 筒端面に複数のオブジェクトが分散して配されている筒状物の一例を示す説明図である。

以下、本発明をその実施形態を示す図面に基づいて詳述する。

（実施形態１）
実施形態１は、パーツ画像内のオブジェクトを認識し、認識したオブジェクトから所定のオフセット位置にて領域画像を抽出し、抽出した領域画像に対応するパーツ固有情報を出力する形態に関する。パーツは、自動車、パソコン、家電、スマートフォンまたは工作機械等の製品全体を構成するための部品（部分品またはコンポーネント）である。例えば製品が自動車である場合、パーツはドアパネル、ミラーまたはタイヤ等である。オブジェクトは、パーツ上での特徴点であり、例えばプレスの抜き加工形状やドリル穴、エッジ形状、塗料、シール、強制打痕穴、レーザー捺印、立体文字等である。

パーツ固有情報は、パーツの物体指紋、製造情報、材料情報または取付け情報等を含む。物体指紋は、パーツ（物体）表面の微細な紋様（例えば、凹凸または模様等）である。物体指紋は製造段階で自然に生じ、後から傷等が付いても物体指紋そのものが変容することがないため、物体指紋認識技術（画像認識技術）を用いてそれぞれのパーツを判別することができる。

図１は、トレーサビリティシステムの概要を示す説明図である。本実施形態のシステムは、情報処理装置１、撮影装置２、情報処理装置３、データベース装置４及び情報処理装置５を含み、各装置はインターネット等のネットワークＮを介して情報の送受信を行う。

情報処理装置１は、種々の情報に対する処理、記憶及び送受信を行う情報処理装置である。情報処理装置１は、例えばサーバ装置、エッジコンピュータ、パーソナルコンピュータまたは汎用のタブレットＰＣ（パソコン）等である。本実施形態において、情報処理装置１はサーバ装置であるものとし、以下では簡潔のため画像処理サーバ１と読み替える。

撮影装置２は、オブジェクトを含むパーツを撮影して画像を生成する。本実施形態の撮影装置２は、無線通信部を含む。無線通信部は、通信に関する処理を行うための無線通信モジュールであり、ネットワークＮを介して、画像処理サーバ１等と撮影画像の送受信を行う。なお、撮影装置２の代わりに、撮影可能な情報処理端末であっても良い。情報処理端末は、例えばスマートフォン、携帯電話、タブレット、パーソナルコンピュータ端末等の情報処理機器である。

情報処理装置３は、パーツの登録、認証等を行う情報処理装置である。情報処理装置３は、例えばサーバ装置、パーソナルコンピュータまたは汎用のタブレットＰＣ等である。本実施形態において、情報処理装置３はサーバ装置であるものとし、以下では簡潔のためパーツサーバ３と読み替える。

データベース（ＤＢ：database）装置４は、パーツ固有情報、及びパーツを使用した製品に関する情報を格納する記憶装置である。本実施形態において、以下では簡潔のため、データベース装置４はＤＢサーバ４と読み替える。

情報処理装置５は、工場等で製品ごとの各パーツの製造情報及び材料情報等を管理する情報処理装置である。情報処理装置５は、例えばサーバ装置、パーソナルコンピュータまたは汎用のタブレットＰＣ等である。本実施形態において、情報処理装置５はサーバ装置であるものとし、以下では簡潔のため工場サーバ５と読み替える。

なお、本実施形態においては、１台の情報処理装置１及び１台の撮影装置２を含む例を説明したが、これに限らず、複数台の情報処理装置１及び複数台の撮影装置２を含んでも良い。例えば、１台の情報処理装置１（登録用）と１台の撮影装置２（登録用）との組み合わせ、並びに、１台の情報処理装置１（認証用）と１台の撮影装置２（認証用）との組み合わせを用いる場合、情報処理装置１（登録用）は、撮影装置２（登録用）が撮影したパーツ画像をパーツサーバ３に登録する処理を行う。情報処理装置１（認証用）は、パーツサーバ３に登録済みのパーツ画像と照合し、撮影装置２（認証用）が撮影したパーツ画像を認証する処理を行う。

本実施形態に係る画像処理サーバ１は、特徴点となるオブジェクトを含むパーツ画像を撮影装置２から取得し、取得したパーツ画像内のオブジェクトを認識する。画像処理サーバ１は、認識したオブジェクトから所定のオフセット位置にて所定サイズの領域画像を抽出し、抽出した領域画像に対応するパーツ固有情報を取得する。画像処理サーバ１は、取得したパーツ固有情報に対してパーツＩＤを割り振り、割り振ったパーツＩＤとパーツ固有情報とをパーツサーバ３及びＤＢサーバ４に出力する。

図２は、画像処理サーバ１の構成例を示すブロック図である。画像処理サーバ１は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読取部１６及び大容量記憶部１７を含む。各構成はバスＢで接続されている。

制御部１１はＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を含み、記憶部１２に記憶された制御プログラム１Ｐを読み出して実行することにより、画像処理サーバ１に係る種々の情報処理、制御処理等を行う。なお、図２では制御部１１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

記憶部１２はＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ素子を含み、制御部１１が処理を実行するために必要な制御プログラム１Ｐ又はデータ等を記憶している。また、記憶部１２は、制御部１１が演算処理を実行するために必要なデータ等を一時的に記憶する。通信部１３は通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して、撮影装置２、パーツサーバ３、ＤＢサーバ４及び工場サーバ５との間で情報の送受信を行う。

入力部１４は、マウス、キーボード、タッチパネル、ボタン等の入力デバイスであり、受け付けた操作情報を制御部１１へ出力する。表示部１５は、液晶ディスプレイ又は有機ＥＬ（electroluminescence）ディスプレイ等であり、制御部１１の指示に従い各種情報を表示する。

読取部１６は、ＣＤ（Compact Disc）−ＲＯＭ又はＤＶＤ（Digital Versatile Disc）−ＲＯＭを含む可搬型記憶媒体１ａを読み取る。制御部１１が読取部１６を介して、制御プログラム１Ｐを可搬型記憶媒体１ａより読み取り、大容量記憶部１７に記憶しても良い。また、ネットワークＮ等を介して他のコンピュータから制御部１１が制御プログラム１Ｐをダウンロードし、大容量記憶部１７に記憶しても良い。さらにまた、半導体メモリ１ｂから、制御部１１が制御プログラム１Ｐを読み込んでも良い。

大容量記憶部１７は、例えばＨＤＤ（Hard disk drive:ハードディスク）、ＳＳＤ(Solid State Drive:ソリッドステートドライブ)等の記録媒体を備える。大容量記憶部１７は、オブジェクト認識モデル１７１を含む。オブジェクト認識モデル１７１は、パーツ画像に基づいてパーツ画像内のオブジェクトを認識する認識器であり、機械学習により生成された学習済みモデルである。

なお、本実施形態において記憶部１２及び大容量記憶部１７は一体の記憶装置として構成されていても良い。また、大容量記憶部１７は複数の記憶装置により構成されていても良い。更にまた、大容量記憶部１７は画像処理サーバ１に接続された外部記憶装置であっても良い。

なお、本実施形態では、画像処理サーバ１は一台の情報処理装置であるものとして説明するが、複数台により分散して処理させても良く、または仮想マシンにより構成されていても良い。

図３は、パーツサーバ３の構成例を示すブロック図である。パーツサーバ３は、制御部３１、記憶部３２、通信部３３、入力部３４、表示部３５、読取部３６及び大容量記憶部３７を含む。各構成はバスＢで接続されている。

制御部３１はＣＰＵ、ＭＰＵ、ＧＰＵ等の演算処理装置を含み、記憶部３２に記憶された制御プログラム３Ｐを読み出して実行することにより、パーツサーバ３に係る種々の情報処理、制御処理等を行う。なお、図３では制御部３１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

記憶部３２はＲＡＭ、ＲＯＭ等のメモリ素子を含み、制御部３１が処理を実行するために必要な制御プログラム３Ｐ又はデータ等を記憶している。また、記憶部３２は、制御部３１が演算処理を実行するために必要なデータ等を一時的に記憶する。通信部３３は通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して、画像処理サーバ１との間で情報の送受信を行う。

入力部３４は、マウス、キーボード、タッチパネル、ボタン等の入力デバイスであり、受け付けた操作情報を制御部３１へ出力する。表示部３５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部３１の指示に従い各種情報を表示する。

読取部３６は、ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭを含む可搬型記憶媒体３ａを読み取る。制御部３１が読取部３６を介して、制御プログラム３Ｐを可搬型記憶媒体３ａより読み取り、大容量記憶部３７に記憶しても良い。また、ネットワークＮ等を介して他のコンピュータから制御部３１が制御プログラム３Ｐをダウンロードし、大容量記憶部３７に記憶しても良い。さらにまた、半導体メモリ３ｂから、制御部３１が制御プログラム３Ｐを読み込んでも良い。

大容量記憶部３７は、例えばＨＤＤ、ＳＳＤ等の記録媒体を備える。大容量記憶部３７は、パーツ固有情報ＤＢ３７１を含む。パーツ固有情報ＤＢ３７１は、パーツＩＤに対応付けてパーツ固有情報を記憶している。

なお、本実施形態において記憶部３２及び大容量記憶部３７は一体の記憶装置として構成されていても良い。また、大容量記憶部３７は複数の記憶装置により構成されていても良い。更にまた、大容量記憶部３７はパーツサーバ３に接続された外部記憶装置であっても良い。

なお、本実施形態では、パーツサーバ３は一台の情報処理装置であるものとして説明するが、複数台により分散して処理させても良く、または仮想マシンにより構成されていても良い。

図４は、パーツ固有情報ＤＢ３７１のレコードレイアウトの一例を示す説明図である。パーツ固有情報ＤＢ３７１は、パーツＩＤ列、パーツ画像列及び登録日時列を含む。パーツＩＤ列は、各パーツを識別するために、一意に特定されるパーツのＩＤを記憶している。パーツ画像列は、パーツ画像の全体または一部分の領域画像を記憶している。登録日時列は、パーツを登録した日時情報を記憶している。なお、パーツ固有情報に属するパーツの製造情報、材料情報または取付け情報等がパーツ固有情報ＤＢ３７１に記憶されても良い。

図５は、ＤＢサーバ４の構成例を示すブロック図である。ＤＢサーバ４は、制御部４１、記憶部４２、通信部４３、読取部４４及び大容量記憶部４５を含む。各構成はバスＢで接続されている。

制御部４１はＣＰＵ、ＭＰＵ、ＧＰＵ等の演算処理装置を含み、記憶部４２に記憶された制御プログラム４Ｐを読み出して実行することにより、データ読取、データ格納等を行う。なお、図５では制御部４１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

記憶部４２はＲＡＭ、ＲＯＭ等のメモリ素子を含み、制御部４１が処理を実行するために必要な制御プログラム４Ｐ又はデータ等を記憶している。また、記憶部４２は、制御部４１が演算処理を実行するために必要なデータ等を一時的に記憶する。通信部４３は通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して、画像処理サーバ１との間で情報の送受信を行う。

読取部４４は、ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭを含む可搬型記憶媒体４ａを読み取る。制御部４１が読取部４４を介して、制御プログラム４Ｐを可搬型記憶媒体４ａより読み取り、大容量記憶部４５に記憶しても良い。また、ネットワークＮ等を介して他のコンピュータから制御部４１が制御プログラム４Ｐをダウンロードし、大容量記憶部４５に記憶しても良い。さらにまた、半導体メモリ４ｂから、制御部４１が制御プログラム４Ｐを読み込んでも良い。

大容量記憶部４５は、例えばＨＤＤ、ＳＳＤ等の記録媒体を備える。大容量記憶部４５は、製品管理ＤＢ４５１及びパーツ詳細ＤＢ４５２を含む。製品管理ＤＢ４５１は、製品ＩＤと該製品を組み立てたパーツＩＤとの対応関係等の情報を記憶している。パーツ詳細ＤＢ４５２は、パーツＩＤに対応付けてパーツの詳細情報を記憶している。

なお、本実施形態において記憶部４２及び大容量記憶部４５は一体の記憶装置として構成されていても良い。また、大容量記憶部４５は複数の記憶装置により構成されていても良い。更にまた、大容量記憶部４５はＤＢサーバ４に接続された外部記憶装置であっても良い。

なお、本実施形態では、ＤＢサーバ４は一台のデータベース装置であるものとして説明するが、複数台により分散して処理させても良く、または仮想マシンにより構成されていても良い。

図６は、製品管理ＤＢ４５１のレコードレイアウトの一例を示す説明図である。製品管理ＤＢ４５１は、製品ＩＤ列、種別列、製品名列及びパーツＩＤ列を含む。製品ＩＤ列は、各製品を識別するために、一意に特定される製品のＩＤを記憶している。種別列は、製品の種別情報を記憶している。製品名列は、製品の名称を記憶している。パーツＩＤ列は、該製品を組み立てたパーツを特定するパーツＩＤを記憶している。

図７は、パーツ詳細ＤＢ４５２のレコードレイアウトの一例を示す説明図である。パーツ詳細ＤＢ４５２は、パーツＩＤ列、製造情報列、素材情報列及び取付け情報列を含む。パーツＩＤ列は、各パーツを識別するために、一意に特定されるパーツのＩＤを記憶している。

製造情報列は、加工機ＩＤ列、加工機メーカ名列、ロケーション番地列及び加工日時列を含む。加工機ＩＤ列は、各加工機を識別するために、一意に特定される加工機のＩＤを記憶している。加工機メーカ名列は、加工機のメーカ名称を記憶している。ロケーション番地列は、パーツが加工された住所番地または生産ラインの名称を記憶している。加工日時列は、パーツが加工された日時情報を記憶している。

素材情報列は、素材ＩＤ列、素材メーカＩＤ列、ロット番号列及び納品日時列を含む。素材ＩＤ列は、各素材を識別するために、一意に特定される素材のＩＤを記憶している。素材メーカＩＤ列は、各素材メーカを識別するために、一意に特定される素材メーカのＩＤを記憶している。ロット番号列は、素材の製造時の生産単位ごとにつけられた素材ロット番号を記憶している。納品日時列は、素材が納品された日時情報を記憶している。

取付け情報列は、取付けロボットＩＤ列、取付けメーカ名列及びロケーション番地列を含む。取付けロボットＩＤ列は、各取付けロボットを識別するために、一意に特定される取付けロボットのＩＤを記憶している。取付けメーカ名列は、パーツを製品に取り付けた際に利用した取付けロボットのメーカ名を記憶している。ロケーション番地列は、パーツが取り付けられた住所番地または生産ラインの名称を記憶している。

図８は、工場サーバ５の構成例を示すブロック図である。工場サーバ５は、制御部５１、記憶部５２、通信部５３、入力部５４、表示部５５、読取部５６及び大容量記憶部５７を含む。各構成はバスＢで接続されている。

制御部５１はＣＰＵ、ＭＰＵ、ＧＰＵ等の演算処理装置を含み、記憶部５２に記憶された制御プログラム５Ｐを読み出して実行することにより、工場サーバ５に係る種々の情報処理、制御処理等を行う。なお、図８では制御部５１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

記憶部５２はＲＡＭ、ＲＯＭ等のメモリ素子を含み、制御部５１が処理を実行するために必要な制御プログラム５Ｐ又はデータ等を記憶している。また、記憶部５２は、制御部５１が演算処理を実行するために必要なデータ等を一時的に記憶する。通信部５３は通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して、画像処理サーバ１との間で情報の送受信を行う。

入力部５４は、マウス、キーボード、タッチパネル、ボタン等の入力デバイスであり、受け付けた操作情報を制御部５１へ出力する。表示部５５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部５１の指示に従い各種情報を表示する。

読取部５６は、ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭを含む可搬型記憶媒体５ａを読み取る。制御部５１が読取部５６を介して、制御プログラム５Ｐを可搬型記憶媒体５ａより読み取り、大容量記憶部５７に記憶しても良い。また、ネットワークＮ等を介して他のコンピュータから制御部５１が制御プログラム５Ｐをダウンロードし、大容量記憶部５７に記憶しても良い。さらにまた、半導体メモリ５ｂから、制御部５１が制御プログラム５Ｐを読み込んでも良い。

大容量記憶部５７は、例えばＨＤＤ、ＳＳＤ等の記録媒体を備える。大容量記憶部５７は、製品ＤＢ５７１を含む。製品ＤＢ５７１は、製品に関する情報、及び該製品を組み立てたパーツに関する情報を記憶している。

なお、本実施形態において記憶部５２及び大容量記憶部５７は一体の記憶装置として構成されていても良い。また、大容量記憶部５７は複数の記憶装置により構成されていても良い。更にまた、大容量記憶部５７は工場サーバ５に接続された外部記憶装置であっても良い。

なお、本実施形態では、工場サーバ５は一台の情報処理装置であるものとして説明するが、複数台により分散して処理させても良く、または仮想マシンにより構成されていても良い。

図９は、製品ＤＢ５７１のレコードレイアウトの一例を示す説明図である。製品ＤＢ５７１は、製品ＩＤ列、製品種別列、パーツ種別列、パーツ特徴列、製造情報列、素材情報列及び取付け情報列を含む。

製品ＩＤ列は、各製品を識別するために、一意に特定される製品のＩＤを記憶している。製品種別列は、ＩＤ列及び名称列を含む。ＩＤ列は、製品種別のＩＤを記憶している。名称列は、製品種別の名称を記憶している。パーツ種別列は、ＩＤ２列及び名称２列を含む。ＩＤ２列は、パーツ種別のＩＤを記憶している。名称２列は、パーツ種別の名称を記憶している。なお、上述した製品種別列またはパーツ種別列のレイアウトに限るものではない。製品種別列またはパーツ種別列は、ＩＤ及び名称に加えて他の情報を記憶しても良い。

パーツ特徴列は、オフセット位置列、領域画像サイズ列及び領域画像列を含む。オフセット位置列は、オブジェクトより離れた距離情報を記憶している。領域画像サイズ列は、パーツ固有情報を取得するための領域画像のサイズを記憶している。領域画像列は、パーツの指紋（特徴）を示す画像（パーツ画像の一部分）を記憶している。

製造情報列、素材情報列及び取付け情報列に関しては、パーツ詳細ＤＢ４５２の製造情報列、素材情報列及び取付け情報列と同様であるため、説明を省略する。

なお、上述した各ＤＢの記憶形態は一例であり、データ間の関係が維持されていれば、他の記憶形態であっても良い。

図１０は、パーツ固有情報を出力する動作を説明する説明図である。画像処理サーバ１の制御部１１は、通信部１３を介して、特徴点となるオブジェクトを含むパーツ画像を撮影装置２から取得する。なお、本実施形態では、パーツ画像が撮影装置２から送信された例を説明したが、これに限るものではない。例えば、撮影装置２が撮影したパーツ画像をメモリーカード経由で画像処理サーバ１に転送しても良い。

制御部１１は、取得したパーツ画像を入力した場合に該パーツ画像内のオブジェクトを認識した認識結果を出力する学習済みのオブジェクト認識モデル１７１に、取得したパーツ画像を入力し、該パーツ画像内のオブジェクトを認識した認識結果を出力する。なお、オブジェクトの認識処理に関しては後述する。

制御部１１は、認識結果に基づいてオブジェクトを認識した場合、認識したオブジェクトから所定のオフセット位置にて所定サイズの領域画像を抽出する。オフセット位置は、オブジェクトより離れた距離であり、例えばオブジェクトの右から２０ピクセルである。所定サイズは、ピクセル（画素）単位でパーツ画像から抽出される領域画像のサイズであり、例えば１２０×１２０ピクセルである。オブジェクトの種類ごとに所定のオフセット位置及び所定サイズが予め記憶部１２または大容量記憶部１７に記憶されている。

制御部１１は、抽出した領域画像に対応するパーツ固有情報を工場サーバ５から取得する。具体的には、制御部１１は、通信部１３を介して、パーツ種別ＩＤ及びオブジェクトによるオフセット位置を、抽出した領域画像と共に工場サーバ５に送信する。工場サーバ５の制御部５１は、通信部５３を介して、画像処理サーバ１から送信されたパーツ種別ＩＤ、オフセット位置、領域画像を受信する。制御部５１は、受信したパーツ種別ＩＤ、オフセット位置、領域画像に基づき、大容量記憶部５７の製品ＤＢ５７１から該当するパーツ固有情報を取得する。パーツ固有情報は、パーツの製造情報、素材情報及び製品への取付け情報を含む。

具体的には、制御部５１は、受信した領域画像から該領域画像のサイズを取得する。制御部５１は、取得した領域画像のサイズと、受信したパーツ種別ＩＤ及びオフセット位置とに基づき、製品ＤＢ５７１の領域画像列に記憶された領域画像を抽出する。制御部５１は、受信した領域画像と、製品ＤＢ５７１から抽出した領域画像とをマッチング処理を行う。制御部５１は、マッチ度が所定閾値以上であると判定した場合、製品ＤＢ５７１から該当するパーツ固有情報を取得する。なお、制御部５１は、直接に撮影された領域画像と、製品ＤＢ５７１に記憶された領域画像とを比較しても良い。

制御部５１は、取得したパーツの製造情報、素材情報及び製品への取付け情報を含むパーツ固有情報を通信部５３により画像処理サーバ１に送信する。画像処理サーバ１の制御部１１は、工場サーバ５から送信されたパーツ固有情報を通信部１３により受信し、受信したパーツ固有情報に対してパーツＩＤを割り振る。なお、本実施形態では、制御部１１はパーツＩＤを割り振った例を説明したが、これに限るものではない。例えば、制御部１１は工場サーバ５で管理用のパーツＩＤを取得して利用しても良い。

制御部１１は、割り振ったパーツＩＤに対応するパーツをパーツサーバ３に登録する。具体的には、制御部１１は通信部１３を介して、割り振ったパーツＩＤに対応付けて、抽出した領域画像をパーツサーバ３に送信（出力）する。パーツサーバ３の制御部３１は、通信部３３を介して、画像処理サーバ１から送信されたパーツＩＤ及び領域画像を受信する。制御部３１は、受信したパーツＩＤに対応付けて領域画像を大容量記憶部３７のパーツ固有情報ＤＢ３７１に記憶する。具体的には、制御部３１は、パーツＩＤ、領域画像及び登録日時を一つのレコードとしてパーツ固有情報ＤＢ３７１に記憶する。

制御部１１は、割り振ったパーツＩＤに対応するパーツ固有情報（パーツ詳細情報）をＤＢサーバ４に出力する。具体的には、制御部１１は通信部１３を介して、割り振ったパーツＩＤに対応付けて、受信したパーツ固有情報をＤＢサーバ４に送信（出力）する。ＤＢサーバ４の制御部４１は、画像処理サーバ１から送信されたパーツＩＤ及びパーツ固有情報を通信部４３により受信する。制御部４１は、受信したパーツＩＤに対応付けて、パーツ固有情報を大容量記憶部４５のパーツ詳細ＤＢ４５２に記憶する。具体的には、制御部４１は、パーツＩＤ、製造情報（加工機ＩＤ、加工機メーカ名、ロケーション番地、加工日時）、素材情報（素材ＩＤ、素材メーカＩＤ、ロット番号、納品日時）、及び取付け情報（取付けロボットＩＤ、取付けメーカ名、ロケーション番地）を一つのレコードとしてパーツ詳細ＤＢ４５２に記憶する。

続いて、オブジェクト認識モデル１７１を用いるオブジェクトの認識処理を説明する。図１１は、オブジェクト認識モデル１７１を説明する説明図である。オブジェクト認識モデル１７１は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。オブジェクト認識モデル１７１は、パーツ画像を入力とし、該パーツ画像内のオブジェクトの位置及び種類を含む認識結果を出力とするニューラルネットワークを構築済みの認識器である。

本実施の形態のオブジェクト認識モデル１７１は、一例としてＲＣＮＮ（Regions with Convolutional Neural Network）を用いて推定を行う。オブジェクト認識モデル１７１は、領域候補抽出部７１ａと、分類部７１ｂとを含む。分類部７１ｂは、図示を省略するニューラルネットワークを含む。ニューラルネットワークは、コンボリューション層、プーリング層および全結合層を含む。

画像処理サーバ１の制御部１１は、パーツ画像と、該パーツ画像内のオブジェクトの位置（オブジェクト領域の座標範囲）及び種類（例えば、三角型の塗料マーク、星型のシール等）とが対応付けられた教師データの組み合わせを用いて学習を行う。教師データは、パーツ画像に対し、該パーツ画像内のオブジェクトがラベル付けされたデータである。

学習済みのオブジェクト認識モデル１７１に、パーツ画像が入力される。領域候補抽出部７１ａは、パーツ画像から、様々なサイズの領域候補を抽出する。分類部７１ｂは、抽出された領域候補の特徴量を算出する。分類部７１ｂは、算出した特徴量に基づいて領域候補に映っている被写体がオブジェクトであるか否か、及び被写体がオブジェクトである場合のオブジェクトの種類を分類する。オブジェクト認識モデル１７１は、領域候補の抽出と分類とを繰り返す。

オブジェクト認識モデル１７１は、所定の閾値（例えば、８５％）よりも高い確率でオブジェクトが写っていると分類された領域候補について、オブジェクトが写っている確率、オブジェクトの位置（領域の座標範囲）及び種類を出力する。図１１に示す例では、９０％の確率でオブジェクトが写っている領域（オブジェクト位置）と、オブジェクト種類とが検出されている。

なお、図１１では、パーツ画像内の単一のオブジェクトを認識した例を説明したが、これに限るものではない。パーツ画像内のオブジェクトが複数である場合、制御部１１はオブジェクト認識モデル１７１を用いて、複数のオブジェクトを認識することができる。

この場合、分類部７１ｂは、領域候補抽出部７１ａが抽出した領域候補の特徴量を算出し、算出した特徴量に基づいて領域候補に映っているそれぞれの被写体がオブジェクトであるか否か、及びそれぞれの被写体がオブジェクトである場合の該オブジェクトの種類を分類する。オブジェクト認識モデル１７１は、領域候補の抽出と分類とを繰り返し、それぞれのオブジェクトの位置及び種類を含む認識結果を出力する。

なお、ＲＣＮＮの代わりに、ＣＮＮ（Convolution Neural Network）、Ｆａｓｔ ＲＣＮＮ、Ｆａｓｔｅｒ ＲＣＮＮ、Ｍａｓｋ ＲＣＮＮ、ＳＳＤ（Single Shot Multibook Detector）、ＹＯＬＯ（You Only Look Once）、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、または回帰木等の任意の物体検出アルゴリズムを使用しても良い。

なお、本実施形態では、オブジェクト認識モデル１７１が画像処理サーバ１により構築されても良く、または外部の情報処理装置により構築されても良い。オブジェクト認識モデル１７１が外部の情報処理装置により構築された場合、画像処理サーバ１は、外部の情報処理装置から学習済みのオブジェクト認識モデル１７１をダウンロードしてインストールしても良い。

なお、オブジェクトの認識処理は、上述した機械学習により認識処理に限るものではない。例えば、Ａ−ＫＡＺＥ（Accelerated KAZE）、ＳＩＦＴ（Scale Invariant Feature Transform）、ＳＵＲＦ（Speeded-Up Robust Features）、ＯＲＢ（Oriented FAST and Rotated BRIEF）、ＨＯＧ(Histograms of Oriented Gradients)等の局所特徴量抽出方法を用いてパーツ画像内のオブジェクトを認識しても良い。

図１２及び図１３は、パーツ固有情報を出力する際の処理手順を示すフローチャートである。画像処理サーバ１の制御部１１は、通信部１３を介して、パーツ画像を撮影装置２から取得する（ステップＳ１０１）。制御部１１は、取得したパーツ画像を入力した場合に該パーツ画像内のオブジェクトを認識した認識結果を出力する学習済みのオブジェクト認識モデル１７１に、取得したパーツ画像を入力し、該パーツ画像内のオブジェクトを認識した認識結果を出力する（ステップＳ１０２）。

制御部１１は、認識した認識結果に基づき、オブジェクトを認識したか否かを判定する（ステップＳ１０３）。制御部１１は、オブジェクトを認識していないと判定した場合（ステップＳ１０３でＮＯ）、ステップＳ１０１に戻る。制御部１１は、オブジェクトを認識したと判定した場合（ステップＳ１０３でＹＥＳ）、認識したオブジェクトから所定のオフセット位置にて所定サイズの領域画像を抽出する（ステップＳ１０４）。

具体的には、制御部１１は認識した認識結果に基づき、オブジェクトの種類（例えば、星シール、丸型の強制打痕穴等）を特定する。制御部１１は、特定したオブジェクトの種類に対応するオフセット位置及び領域画像のサイズを記憶部１２または大容量記憶部１７から読み出す。例えば、認識したオブジェクトに対応するオフセット位置は、水平方向にオブジェクトのバウンディングボックス（Bounding Box）の中心から右への２０ピクセルである。制御部１１は、認識したオブジェクトのバウンディングボックスの中心から読み出したオフセット位置にて、読み出した領域画像のサイズ（例えば、１２０×１２０ピクセル）の領域画像を抽出する。なお、領域画像の抽出処理は、上述したオブジェクトのバウンディングボックスの中心に限るものではない。例えば、制御部１１はオブジェクトの特定のコーナーの座標を起点としたオフセット位置にて領域画像を抽出しても良い。

制御部１１は、通信部１３を介して、パーツ種別ＩＤ、オブジェクトよるオフセット位置、及び抽出した領域画像と共に工場サーバ５に送信する（ステップＳ１０５）。工場サーバ５の制御部５１は、通信部５３を介して、画像処理サーバ１から送信されたパーツ種別ＩＤ、オフセット位置及び領域画像を受信する（ステップＳ５０１）。

制御部５１は、受信したパーツ種別ＩＤ、オフセット位置及び領域画像に基づき、大容量記憶部５７の製品ＤＢ５７１から、パーツの製造情報、素材情報及び製品への取付け情報を含むパーツ固有情報を取得する（ステップＳ５０２）。制御部５１は、取得したパーツ固有情報を通信部５３により画像処理サーバ１に送信する（ステップＳ５０３）。画像処理サーバ１の制御部１１は、工場サーバ５から送信されたパーツ固有情報を通信部１３により受信し（ステップＳ１０６）、受信したパーツ固有情報に対してパーツＩＤを割り振る（ステップＳ１０７）。

制御部１１は、割り振ったパーツＩＤに対応付けて、抽出した領域画像をパーツサーバ３に通信部１３により送信する（ステップＳ１０８）。パーツサーバ３の制御部３１は、通信部３３を介して、画像処理サーバ１から送信されたパーツＩＤ及び領域画像を受信する（ステップＳ３０１）。制御部３１は、受信したパーツＩＤに対応付けて領域画像を大容量記憶部３７のパーツ固有情報ＤＢ３７１に記憶する（ステップＳ３０２）。

制御部１１は、割り振ったパーツＩＤに対応付けて、受信したパーツ固有情報をＤＢサーバ４に通信部１３により送信する（ステップＳ１０９）。ＤＢサーバ４の制御部４１は、画像処理サーバ１から送信されたパーツＩＤ及びパーツ固有情報を通信部４３により受信する（ステップＳ４０１）。制御部４１は、受信したパーツＩＤに対応付けて、パーツ固有情報を大容量記憶部４５のパーツ詳細ＤＢ４５２に記憶する（ステップＳ４０２）。

本実施形態によると、パーツ画像内のオブジェクトから所定のオフセット位置にて抽出された領域画像に対応するパーツ固有情報を取得することが可能となる。

本実施形態によると、パーツ画像に基づき、オブジェクト認識モデル１７１を用いて該パーツ画像内のオブジェクトを認識することが可能となる。

本実施形態によると、オブジェクトの位置と合わせることにより、レーザー等を用いる位置補正システムを利用せずに、高精度の位置合わせを実現することが可能となる。

（実施形態２）
実施形態２は、パーツのパーツＩＤに対応付けて、該パーツを使用した製品の製品ＩＤをＤＢサーバ４に出力する形態に関する。なお、実施形態１と重複する内容については説明を省略する。

図１４は、製品ＩＤをパーツＩＤに対応付けて出力する動作を説明する説明図である。画像処理サーバ１の制御部１１は、通信部１３を介して、パーツ画像を撮影装置２から取得する。制御部１１は、取得したパーツ画像をオブジェクト認識モデル１７１に入力し、該パーツ画像内のオブジェクトを認識した認識結果を出力する。制御部１１は、認識結果に基づいてオブジェクトを認識した場合、認識したオブジェクトから所定のオフセット位置にて所定サイズの領域画像を抽出する。

続いて、パーツサーバ３からパーツＩＤを取得する処理を説明する。制御部１１は、抽出した領域画像を通信部１３によりパーツサーバ３に送信する。パーツサーバ３の制御部３１は、画像処理サーバ１から送信された領域画像を通信部３３により受信し、受信した領域画像の特徴量を抽出する。制御部３１は、抽出した画像領域の特徴量と、大容量記憶部３７のパーツ固有情報ＤＢ３７１に記憶されたパーツ画像の特徴量とを比較する。

制御部３１は両者の特徴量が一致すると判定した場合、該当するパーツＩＤをパーツ固有情報ＤＢ３７１から取得する。なお、特徴量の比較処理に関しては、完全一致に限らず、例えばマッチ度が所定閾値以上であれば、両者の特徴量が一致すると判定した結果を出力しても良い。また、機械学習により生成された学習済みの画像認識モデルを用いて特徴量の比較処理を行っても良い。制御部３１は、取得したパーツＩＤを通信部３３により画像処理サーバ１に送信する。画像処理サーバ１の制御部１１は、パーツサーバ３から送信されたパーツＩＤを通信部１３により受信する。

続いて、工場サーバ５から製品ＩＤを取得する処理を説明する。制御部１１は、通信部１３を介して、パーツ種別ＩＤ及びオブジェクトよるオフセット位置を、抽出した領域画像と共に工場サーバ５に送信する。工場サーバ５の制御部５１は、通信部５３を介して、画像処理サーバ１から送信されたパーツ種別ＩＤ、オフセット位置及び領域画像を受信する。

制御部５１は、受信したパーツ種別ＩＤ、オフセット位置及び領域画像に基づき、大容量記憶部５７の製品ＤＢ５７１から該当する製品ＩＤを取得する。制御部５１は、取得した製品ＩＤを通信部５３により画像処理サーバ１に送信する。画像処理サーバ１の制御部１１は、通信部１３を介して、工場サーバ５から送信された製品ＩＤを受信し、受信した製品ＩＤをパーツＩＤに対応付けてＤＢサーバ４に送信（出力）する。

ＤＢサーバ４の制御部４１は、通信部４３を介して、画像処理サーバ１から送信された製品ＩＤ及びパーツＩＤを受信する。制御部４１は、受信した製品ＩＤをパーツＩＤに対応付けて、大容量記憶部４５の製品管理ＤＢ４５１に記憶する。具体的には、制御部４１は、製品ＩＤ、製品の種別、製品名及びパーツＩＤを一つのレコードとして製品管理ＤＢ４５１に記憶する。

図１５及び図１６は、製品ＩＤをパーツＩＤに対応付けて出力する際の処理手順を示すフローチャートである。なお、図１２及び図１３と重複する内容については同一の符号を付して説明を省略する。画像処理サーバ１の制御部１１は、ステップＳ１０１〜Ｓ１０４を実行する。制御部１１は、抽出した領域画像を通信部１３によりパーツサーバ３に送信する（ステップＳ１２１）。

パーツサーバ３の制御部３１は、画像処理サーバ１から送信された領域画像を通信部３３により受信する（ステップＳ３２１）。制御部３１は、受信した領域画像に基づいて、大容量記憶部３７のパーツ固有情報ＤＢ３７１から該当するパーツＩＤを取得する（ステップＳ３２２）。制御部３１は、取得したパーツＩＤを通信部３３により画像処理サーバ１に送信する（ステップＳ３２３）。画像処理サーバ１の制御部１１は、パーツサーバ３から送信されたパーツＩＤを通信部１３により受信する（ステップＳ１２２）。

制御部１１は、ステップＳ１０５を実行する。工場サーバ５の制御部５１は、ステップＳ５０１を実行する。制御部５１は、受信したパーツ種別ＩＤ、オブジェクトよるオフセット位置及び領域画像に基づき、大容量記憶部５７の製品ＤＢ５７１から該当する製品ＩＤを取得する（ステップＳ５２１）。制御部５１は、取得した製品ＩＤを通信部５３により画像処理サーバ１に送信する（ステップＳ５２２）。

画像処理サーバ１の制御部１１は、通信部１３を介して、工場サーバ５から送信された製品ＩＤを受信し（ステップＳ１２３）、受信した製品ＩＤをパーツＩＤに対応付けてＤＢサーバ４に送信する（ステップＳ１２４）。ＤＢサーバ４の制御部４１は、通信部４３を介して、画像処理サーバ１から送信された製品ＩＤ及びパーツＩＤを受信する（ステップＳ４２１）。制御部４１は、受信した製品ＩＤをパーツＩＤに対応付けて、大容量記憶部４５の製品管理ＤＢ４５１に記憶する（ステップＳ４２２）。

本実施形態によると、パーツと、該パーツを使用した製品とが対応付けられた情報を記憶して管理することにより、出荷後の工程でトレーサビリティを確保することが可能となる。

（実施形態３）
実施形態３は、登録済みのパーツを削除する形態に関する。なお、実施形態１〜２と重複する内容については説明を省略する。製品の生産計画に基づき、登録済みの第１パーツに関連付けた第２パーツの登録期間が所定期間を過ぎた場合、登録済みの第１パーツを削除するアラートまたは指令を出力することができる。

図１７は、実施形態３のトレーサビリティシステムの概要を示す説明図である。なお、図１と重複する内容については同一の符号を付して説明を省略する。本実施形態のシステムは、情報処理装置６を含む。

情報処理装置６は、期限切れのパーツの検出、該期限切れのパーツに関連付けた登録済みのパーツを削除する指示の送信等を行う情報処理装置である。情報処理装置６は、例えばサーバ装置、パーソナルコンピュータまたは汎用のタブレットＰＣ等である。本実施形態において、情報処理装置６はサーバ装置であるものとし、以下では簡潔のため削除サーバ６と読み替える。

図１８は、削除サーバ６の構成例を示すブロック図である。削除サーバ６は、制御部６１、記憶部６２、通信部６３、入力部６４、表示部６５、読取部６６、大容量記憶部６７及び時計部６８を含む。各構成はバスＢで接続されている。

制御部６１はＣＰＵ、ＭＰＵ、ＧＰＵ等の演算処理装置を含み、記憶部６２に記憶された制御プログラム６Ｐを読み出して実行することにより、削除サーバ６に係る種々の情報処理、制御処理等を行う。なお、図１８では制御部６１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

記憶部６２はＲＡＭ、ＲＯＭ等のメモリ素子を含み、制御部６１が処理を実行するために必要な制御プログラム６Ｐ又はデータ等を記憶している。また、記憶部６２は、制御部６１が演算処理を実行するために必要なデータ等を一時的に記憶する。通信部６３は通信に関する処理を行うための通信モジュールであり、ネットワークＮを介して、パーツサーバ３及びＤＢサーバ４等との間で情報の送受信を行う。

入力部６４は、マウス、キーボード、タッチパネル、ボタン等の入力デバイスであり、受け付けた操作情報を制御部６１へ出力する。表示部６５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部６１の指示に従い各種情報を表示する。

読取部６６は、ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭを含む可搬型記憶媒体６ａを読み取る。制御部６１が読取部６６を介して、制御プログラム６Ｐを可搬型記憶媒体６ａより読み取り、大容量記憶部６７に記憶しても良い。また、ネットワークＮ等を介して他のコンピュータから制御部６１が制御プログラム６Ｐをダウンロードし、大容量記憶部６７に記憶しても良い。さらにまた、半導体メモリ６ｂから、制御部６１が制御プログラム６Ｐを読み込んでも良い。

大容量記憶部６７は、例えばＨＤＤ、ＳＳＤ等の記録媒体を備える。大容量記憶部６７は、パーツ管理ＤＢ６７１及び生産計画ＤＢ６７２を含む。パーツ管理ＤＢ６７１は、製品の生産計画に基づき、パーツの登録期限等を管理するための管理情報を記憶している。生産計画ＤＢ６７２は、製品の生産計画を記憶している。生産計画は、製品に関する情報、製品を組み立てるパーツ、及びパーツの数量、登録（納品）日時等の生産計画に関する情報である。

なお、本実施形態において記憶部６２及び大容量記憶部６７は一体の記憶装置として構成されていても良い。また、大容量記憶部６７は複数の記憶装置により構成されていても良い。更にまた、大容量記憶部６７は削除サーバ６に接続された外部記憶装置であっても良い。

なお、本実施形態では、削除サーバ６は一台の情報処理装置であるものとして説明するが、複数台により分散して処理させても良く、または仮想マシンにより構成されていても良い。さらにまた、削除サーバ６は工場サーバ５または他のサーバと一体化されていても良い。

図１９は、パーツ管理ＤＢ６７１のレコードレイアウトの一例を示す説明図である。パーツ管理ＤＢ６７１は、管理ＩＤ列、生産計画ＩＤ列、パーツＩＤ列、登録状態列及び登録日時列を含む。管理ＩＤ列は、各管理データを識別するために、一意に特定される管理データのＩＤを記憶している。生産計画ＩＤ列は、生産計画を特定する生産計画ＩＤを記憶している。パーツＩＤ列は、パーツを特定するパーツＩＤを記憶している。登録状態列は、パーツサーバ３でパーツの登録状態を記憶している。登録状態列には、例えば「登録済み」、「未登録」等が記憶されても良い。登録日時列は、パーツサーバ３にパーツを登録した日時情報を記憶している。

図２０は、生産計画ＤＢ６７２のレコードレイアウトの一例を示す説明図である。生産計画ＤＢ６７２は、生産計画ＩＤ列、製品ＩＤ列、パーツ数列、パーツＩＤ列及び登録期限列を含む。生産計画ＩＤ列は、各生産計画を識別するために、一意に特定される生産計画のＩＤを記憶している。製品ＩＤ列は、製品を特定する製品ＩＤを記憶している。パーツ数列は、製品を組み立てるパーツの数量を記憶している。パーツＩＤ列は、パーツを特定するパーツＩＤを記憶している。登録期限列は、パーツサーバ３にパーツを登録する期限情報を記憶している。

削除サーバ６の制御部６１は、登録状態が「未登録」であるパーツＩＤ（複数可）、及び該パーツＩＤに対応する生産計画ＩＤを大容量記憶部６７のパーツ管理ＤＢ６７１から抽出する。制御部６１は、抽出したパーツＩＤ及び生産計画ＩＤに基づき、大容量記憶部６７の生産計画ＤＢ６７２から該パーツＩＤに対応するパーツの登録期限を取得する。

制御部６１は、現在日時を時計部６８により取得し、取得した現在日時とパーツの登録期限とを比較する。制御部６１はパーツの登録期限が過ぎたと判定した場合、パーツＩＤに対応付けて、該パーツを削除するアラートをパーツサーバ３またはＤＢサーバ４に送信（出力）する。アラートは、例えばパーツの登録期限を切れた旨を含むメッセージであっても良い。また、制御部６１は、期限切れのパーツに対してレポートを作成し、作成したレポートを出力しても良い。

さらにまた、制御部６１は、期限切れのパーツＩＤに対応付けて、パーツを削除する指令をパーツサーバ３またはＤＢサーバ４に送信（出力）することができる。パーツサーバ３またはＤＢサーバ４は、削除サーバ６から期限切れのパーツを削除する指令を受信した場合、記憶された該当する登録済みのパーツを削除する。

図２１は、登録済みのパーツを削除する際の処理手順を示すフローチャートである。削除サーバ６の制御部６１は、登録状態が「未登録」であるパーツＩＤ、及び該パーツＩＤに対応する生産計画ＩＤを大容量記憶部６７のパーツ管理ＤＢ６７１から抽出する（ステップＳ６３１）。なお、抽出されたパーツＩＤは、単一のパーツＩＤであっても良く、または複数のパーツＩＤであっても良い。以下では、複数のパーツＩＤの例を説明する。

制御部６１は、抽出したそれぞれのパーツＩＤ及び該パーツＩＤに対応する生産計画ＩＤに基づき、大容量記憶部６７の生産計画ＤＢ６７２からそれぞれのパーツＩＤに対応する登録期限を取得する（ステップＳ６３２）。制御部６１は、現在日時を時計部６８により取得し、取得した現在日時とパーツの登録期限とを比較し、期限切れのパーツＩＤを抽出する（ステップＳ６３３）。

制御部６１は抽出したパーツＩＤに基づいて、期限切れのパーツのレポートを生成する（ステップＳ６３４）。レポートは、例えばパーツＩＤ及びパーツの登録期限等を含む。制御部６１は、通信部６３を介して、生成したレポートと、期限切れのパーツを削除する削除指示とをパーツサーバ３及びＤＢサーバ４に送信する（ステップＳ６３５）。なお、期限切れのパーツを削除する旨を含むアラートが送信されても良い。

パーツサーバ３の制御部３１は、通信部３３を介して、削除サーバ６から送信されたレポート及び削除指示を受信する（ステップＳ３３１）。制御部３１は、受信したレポートからパーツＩＤを読み出し、大容量記憶部３７のパーツ固有情報ＤＢ３７１から該当するパーツを削除する（ステップＳ３３２）。

ＤＢサーバ４の制御部４１は、通信部４３を介して、削除サーバ６から送信されたレポート及び削除指示を受信する（ステップＳ４３１）。制御部４１は、受信したレポートからパーツＩＤを読み出し、大容量記憶部４５のパーツ詳細ＤＢ４５２から該当するパーツを削除する（ステップＳ４３２）。

なお、上述した処理に限るものではない。例えば削除サーバ６は、生成したレポートのみをパーツサーバ３またはＤＢサーバ４に送信しても良い。この場合、パーツサーバ３またはＤＢサーバ４は、削除サーバ６から送信されたレポートを受信して表示する。担当者がレポートの内容を確認した上で、削除対象のパーツに対する削除指示をパーツサーバ３またはＤＢサーバ４に入力しても良い。

本実施形態によると、パーツを登録（認証）する際の障害が発生する場合、該パーツに関連付けられた登録済みのパーツを削除するアラートまたは削除指示を出力するため、工程及び品質改善に役立てることが可能となる。

（実施形態４）
実施形態４は、オブジェクトの認識を向上させる形態に関する。なお、実施形態１〜３と重複する内容については説明を省略する。

パーツ画像内のオブジェクトの認識を向上させるため、仮想カメラレンズ中心線または照明装置を利用することができる。なお、仮想カメラレンズ中心線は後述する。照明装置を利用する場合、オブジェクトを照明する照明がオンされた後に、撮影装置２はパーツ画像を撮影する。画像処理サーバ１の制御部１１は、撮影装置２から撮影されたパーツ画像を取得する。その後に、実施形態１の処理と同様に、制御部１１はパーツ画像内のオブジェクトの認識処理、領域画像の抽出処理、及び領域画像に対応するパーツ固有情報の取得処理等を行う。

照明装置は、対象の照明に用いる照明光を発する光源を備える装置であり、光源からの配光制御、光色調整等の光学的機能を備える。光源装置は、ＬＥＤ（light emitting diode）またはプロジェクタを用いることができる。なお、他の光源装置、例えば無電極光源を用いても良い。なお、本実施形態では、照明装置は、撮影装置２から分離しているが、これに限るものではない。例えば、照明装置が撮影装置２に内蔵された一体型であっても良い。

図２２は、オブジェクトの認識向上に関する説明図である。図２２Ａは、照明なしのパーツ画像を示すイメージ図である。１０ａは、特徴点となるオブジェクトである。１０ｂは、オブジェクトから所定のオフセット位置にて、パーツ画像から所定サイズで抽出された領域画像である。

図２２Ｂは、仮想カメラレンズ中心線を用いて撮影したパーツ画像を示すイメージ図である。１０ｃは、カメラレンズ中心線を想定した仮想カメラレンズ中心線である。仮想カメラレンズの中心線は、カメラレンズの中心を通り、レンズの面に水平な想定の直線である。例えば、プロジェクタの投影により仮想カメラレンズの中心線を設定しても良い。オブジェクト認識がカメラの中心付近（仮想カメラレンズ中心線）でシャッタータイミングである場合、カメラはこの付近で複数枚の撮影を行う。画像処理サーバ１は、ピント状況等の画質状況を判定して物体指紋認証に状態の良い画像を選び、物体指紋登録または認証を行う。

図２２Ｃは、縞模様照明を用いて撮影したパーツ画像を示すイメージ図である。１０ｄは、縞模様照明を用いて照明したパーツ画像の領域画像である。縞模様は、２色以上の異なる色または同色の濃淡を用いて複数の平行もしくは交差する線で構成された文様である。照明装置を用いて、オブジェクトを含むパーツ表面に縞模様を映して撮影することにより、パーツ表面に生じる輝度変化によりオブジェクトを認識しやすくなる。なお、縞模様照明に限らず、例えばカラーＬＥＤ照明（赤、黄、緑または青色等）を用いても良い。

図２２Ｄは、ピンポイント照明を用いて撮影したパーツ画像を示すイメージ図である。１０ｅは、ピンポイント照明を用いて照明したパーツ画像の領域画像である。ピンポイント照明は、１点集中で照らすタイプの照明である。オブジェクトだけをピンポイント照明で照らすことにより、オブジェクトを認識しやすくなる。

なお、上述した処理では各種の照明を用いてオブジェクトを認識する例を説明したが、これに限るものではない。パーツ表面（領域画像）の物体指紋にも同様に適用される。例えば、金属など光沢の強い表面の微細な凹凸を有するパーツ表面に縞模様を映して撮影し、パーツ表面に生じる輝度変化により特徴量を抽出し、抽出した特徴量に基づいてパーツ表面の物体指紋を認識する。

本実施形態によると、仮想カメラレンズ中心線、縞模様またはピンポイント照明を用いてパーツ画像を撮影することが可能となる。

本実施形態によると、仮想カメラレンズ中心線、縞模様またはピンポイント照明を用いて撮影したパーツ画像を利用することにより、該パーツ画像内のオブジェクトを認識しやすくなる。

（実施形態５）
実施形態５は、二つの撮影装置によりパーツ画像を取得する形態に関する。なお、実施形態１〜４と重複する内容については説明を省略する。本実施形態のシステムは、撮影装置２の代わりに、撮影装置２ａ及び撮影装置２ｂを含む。

撮影装置２ａは、パーツ全体を撮影する撮影装置である。例えば撮影対象範囲が車のフロントドアである場合、撮影装置２ａはフロントドアを撮影して画像を生成する。撮影装置２ａには、例えば被写界深度が深い広角レンズが配置されても良い。

撮影装置２ｂは、撮影装置２ａよりも拡大率が高い撮影装置であり、撮影装置２ａが撮影したパーツ画像内の一部分を拡大して撮影する。撮影装置２ｂには、例えば近距離にある被写体を大きく写すための望遠レンズが配置されても良い。撮影装置２ｂは、撮影装置２ａが対象となるパーツ画像を認識した場合にオブジェクトを含むパーツの拡大画像を撮影できる位置に設置されている。

本実施形態の撮影装置２ａまたは撮影装置２ｂは、無線通信部を含む。無線通信部は、通信に関する処理を行うための無線通信モジュールであり、ネットワークＮを介して、画像処理サーバ１等と撮影画像の送受信を行う。なお、撮影装置２ａまたは撮影装置２ｂの代わりに、撮影可能な情報処理端末（例えばスマートフォン、携帯電話、タブレット、パーソナルコンピュータ端末等）であっても良い。

図２３は、二つの撮影装置によりパーツ画像を撮影する説明図である。１１ａは、特徴点となるオブジェクトである。１１ｂは、オブジェクトから所定のオフセット位置にて所定サイズで抽出された領域画像である。画像処理サーバ１の制御部１１は、通信部１３を介して、撮影装置２ａが撮影した搬送中のパーツの第１撮影画像を取得する。

制御部１１は、取得した第１撮影画像の特徴量を抽出し、抽出した特徴量に基づき、第１撮影画像中にパーツ画像が存在するか否かを判定する。例えば、撮影対象範囲がフロントドアである場合、制御部１１は取得した第１撮影画像の特徴量と、予め記憶されたフロントドアの特徴量とを比較して判断しても良い。特徴量の抽出処理に関しては、例えばＡ−ＫＡＺＥ、ＳＩＦＴ等の局所特徴量抽出方法を用いて特徴量を抽出しても良い。なお、パーツ画像の判定処理に関しては、機械学習によって構築したモデルを用いて自動判定しても良い。

制御部１１は、第１撮影画像中にパーツ画像が存在すると判定した場合、撮影装置２ｂが撮影した第２撮影画像（オブジェクトを含むパーツの拡大画像）を通信部１３により取得する。制御部１１は、取得した第２撮影画像をオブジェクト認識モデル１７１に入力し、該第２撮影画像内のオブジェクトを認識した認識結果を出力する。なお、オブジェクトの認識処理は、実施形態１と同様であるため、説明を省略する。

制御部１１は、第１撮影画像中にパーツ画像が存在していないと判定した場合、撮影角度等の調整指示を撮影装置２ａに送信する。撮影装置２ａは、画像処理サーバ１から送信された調整指示に応じて、撮影制御のパラメータを調整する。

図２４は、パーツ画像を取得する際の処理手順を示すフローチャートである。なお、パーツ画像内のパーツは予めパーツサーバ３に登録済みであるものとして説明する。撮影装置２ａは、搬送されているパーツの第１撮影画像を撮影し、撮影した第１撮影画像を画像処理サーバ１に送信する（ステップＳ２４１）。画像処理サーバ１の制御部１１は、通信部１３を介して、撮影装置２ａが撮影した第１撮影画像を取得する（ステップＳ６４１）。制御部１１は、取得した第１撮影画像の特徴量を抽出する（ステップＳ６４２）。制御部１１は、抽出した特徴量に基づき、第１撮影画像中にパーツ画像が存在するか否かを判定する（ステップＳ６４３）。

制御部１１は、第１撮影画像中にパーツ画像が存在すると判定した場合（Ｓ６４３でＹＥＳ）、第２撮影画像の撮影指示を通信部１３により撮影装置２ｂに送信する（ステップＳ６４４）。撮影装置２ｂは、画像処理サーバ１から送信された第２撮影画像の撮影指示に応じて、第２撮影画像を撮影する（ステップＳ２４５）。撮影装置２ｂは、撮影した第２撮影画像を画像処理サーバ１に送信する（ステップＳ２４６）。画像処理サーバ１の制御部１１は、撮影装置２ｂから送信された第２撮影画像を通信部１３により受信する（ステップＳ６４５）。制御部１１は、受信した第２撮影画像をオブジェクト認識モデル１７１に入力し、該第２撮影画像内のオブジェクトを認識した認識結果を出力する（ステップＳ６４６）。

制御部１１は、第１撮影画像中にパーツ画像が存在していないと判定した場合（ステップＳ６４３でＮＯ）、撮影角度等の調整指示を通信部１３により撮影装置２ａに送信するする（ステップＳ６４７）。撮影装置２ａは、画像処理サーバ１から送信された調整指示を受信する（ステップＳ２４２）。撮影装置２ａは、受信した調整指示に応じて、撮影制御のパラメータ（例えば、角度等）を調整する（ステップＳ２４３）。撮影装置２ａは、第１撮影画像を再撮影し（ステップＳ２４４）、ステップＳ２４１に戻る。なお、撮影装置２ａの調整を行わない場合、ステップＳ６４３でＮＯの処理の後に、ステップＳ６４１に戻り、次のパーツが搬送されるまで待機する。

撮影装置２ａはパーツ全体を撮影するため、上述したオブジェクト認識処理のほか、パーツ画像からパーツの傷・汚れ・割れ・しわ・変形等の損傷を検出することができる。画像処理サーバ１は、例えば機械学習により生成された学習済みの損傷認識モデルに、撮影装置２ａが撮影したパーツの第１撮影画像を入力し、パーツの損傷を認識した認識結果を出力しても良い。また、画像処理サーバ１は例えばＡ−ＫＡＺＥ等の局所特徴量抽出方法を用いて、第１撮影画像の特徴量を抽出し、抽出した特徴量に基づいてパーツの損傷を検出しても良い。なお、パーツの損傷を検出する処理に関しては、実施形態７で後述する。

本実施形態によると、二つの撮影装置を備えてパーツを撮影することにより、オブジェクトの認識率を向上させることが可能となる。

（実施形態６）
実施形態６は、パーツ画像内の歪みまたは傾きを検出した場合、歪みまたは傾きに応じてオフセット位置またはパーツ画像を補正する形態に関する。なお、実施形態１〜５と重複する内容については説明を省略する。

撮影されたパーツ画像内の歪みまたは傾きを検出した場合、オフセット位置またはパーツ画像を補正する必要がある。図２５は、オフセット位置の補正を説明する説明図である。図２５Ａは、歪みまたは傾きなしのパーツ画像を説明する説明図である。１２ａは、パーツ画像内のオブジェクトである。１２ｂは、オブジェクトから所定のオフセット位置にて所定サイズで抽出された領域画像である。

図２５Ｂは、左右歪み（変形）が生じたパーツ画像を説明する説明図である。パーツ画像内のオブジェクトの縦幅が基準（正常）縦幅と同等であり、横幅が基準横幅より短くなる左右歪みが生じた例である。この場合、オブジェクトから所定のオフセット位置にて領域画像を抽出した場合、抽出するべき領域画像に対して位置ずれが生じるため、オフセット位置を補正する必要がある。

具体的には、画像処理サーバ１の制御部１１は、変形後の縦横比を算出する。制御部１１は、算出した縦横比と基準縦横比とに基づいて、オフセット位置を補正する。例えば、元のオフセット位置から更に右に２０ピクセルを移動する。また、直接にオフセット位置を補正するほか、パーツ画像全体の補正によりオフセット位置の補正を実現しても良い。具体的には、制御部１１は基準縦横比に基づいて、基準パーツ画像に近付けるように縦横比の補正処理を行い、補正後のパーツ画像から所定のオフセット位置にて領域画像を抽出する。

図２５Ｃは、上下歪みが生じたパーツ画像を説明する説明図である。パーツ画像内のオブジェクトの横幅が基準横幅と同等であり、縦幅が基準縦幅より短くなる上下歪みが生じた例である。オフセット位置の補正処理に関しては、図２５Ｂでの補正処理と同様であるため、説明を省略する。

図２５Ｄは、面積縮小歪みが生じたパーツ画像を説明する説明図である。各領域画像の遠近により該領域画像の面積に相違が生じる。撮影装置２が撮影対象パーツから遠い距離に設置された場合、撮影されたパーツ画像が小さく見える。この場合、パーツ画像に対して面積（大きさ）補正を行うことにより、オフセット位置の補正を実現することができる。具体的には、制御部１１は、基準パーツ画像の面積に基づき、該パーツ画像の領域画像を構成する画素数（ピクセル数）を増やすことにより、該領域画像に対する拡大処理を行う。

図２５Ｅは、面積拡大歪みが生じたパーツ画像を説明する説明図である。撮影装置２が撮影対象パーツから近い距離に設置された場合、撮影されたパーツ画像が大きく見える。この場合、パーツ画像に対して面積補正を行うことにより、オフセット位置の補正を実現することができる。具体的には、制御部１１は、基準パーツ画像の面積に基づき、該パーツ画像の領域画像を構成する画素数を減らすことにより、該領域画像に対する縮小処理を行う。

画像の拡縮処理に関しては、例えば、最近傍補間法(ニアレストネイバー法、nearest neighbor interpolation)を利用しても良い。最近傍補間法は、拡大または縮小後の画素を拡縮率で除算し、その値を四捨五入して得られた座標の画素をそのまま使う線形補間法である。また、画像の拡縮処理の技術であるバイリニア補間法、バイキュービック補間法、及びＬａｎｃｚｏｓ（ランツォシュ）補間法等が利用されても良い。

図２５Ｆは、傾きパーツ画像を説明する説明図である。撮影角度のずれがあった場合、撮影されたパーツ画像に対して傾き補正する必要がある。具体的には、制御部１１は、基準パーツ画像に基づき、傾きパーツ画像の傾き角度を算出する。制御部１１は算出した傾き角度に応じて、回転処理を行い傾きパーツ画像を補正する。

なお、上述した画像処理に関しては、パーツ画像の全体を補正しても良く、またはパーツ画像からオブジェクト及びオフセット位置の領域画像を抽出し、抽出した領域画像を補正しても良い。

図２６は、面積歪みが生じたパーツ画像を補正する際の処理手順を示すフローチャートである。以下では、一例として面積縮小歪みまたは面積拡大歪みが生じた際の例を示す。画像処理サーバ１の制御部１１は、通信部１３を介して、撮影装置２から送信されたパーツ画像を取得する（ステップＳ１５１）。制御部１１は、取得したパーツ画像に対して面積歪みが生じたか否かを判定する（ステップＳ１５２）。制御部１１は、面積歪みが生じていないと判定した場合（ステップＳ１５２でＮＯ）、処理を終了する。制御部１１は、面積歪みが生じたと判定した場合（ステップＳ１５２でＹＥＳ）、面積縮小であるか否かを判定する（ステップＳ１５３）。

制御部１１は、面積縮小であると判定した場合（ステップＳ１５３でＹＥＳ）、基準パーツ画像の面積に基づき、該パーツ画像の領域画像を構成する画素数を増やすことにより、該領域画像に対する拡大処理を行う（ステップＳ１５４）。なお、基準パーツ画像が予め記憶部１２または大容量記憶部１７に記憶されている。制御部１１は、面積縮小でない（面積拡大）と判定した場合（ステップＳ１５３でＮＯ）、基準パーツ画像の面積に基づき、該パーツ画像の領域画像を構成する画素数を減らすことにより、該領域画像に対する縮小処理を行う（ステップＳ１５５）。

本実施形態によると、歪みまたは傾きが生じたパーツ画像に対してオフセット位置の補正処理を行うことにより、精度が高い領域画像を抽出することが可能となる。

（実施形態７）
実施形態７は、パーツ固有情報（物体指紋等）とパーツの損傷に関する情報との両方を出力する形態に関する。なお、実施形態１〜６と重複する内容については説明を省略する。パーツの損傷は、パーツの傷、汚れ、割れ、しわ、変形等を含む。

図２７は、実施形態７の画像処理サーバ１の構成例を示すブロック図である。なお、図２と重複する内容については同一の符号を付して説明を省略する。大容量記憶部１７には、損傷認識モデル１７２が記憶されている。損傷認識モデル１７２は、パーツ画像に基づいてパーツ画像内のパーツの損傷を認識する認識器であり、機械学習により生成された学習済みモデルである。

図２８は、実施形態７のＤＢサーバ４の構成例を示すブロック図である。なお、図５と重複する内容については同一の符号を付して説明を省略する。大容量記憶部４５には、パーツ損傷情報ＤＢ４５３が記憶されている。パーツ損傷情報ＤＢ４５３は、パーツ画像に基づいて検出されたパーツの損傷に関する情報を記憶している。パーツの損傷に関する情報は、損傷の位置及び種類等を含む。

図２９は、パーツ損傷情報ＤＢ４５３のレコードレイアウトの一例を示す説明図である。パーツ損傷情報ＤＢ４５３は、パーツＩＤ列、損傷種類列、位置列及び検出日時列を含む。パーツＩＤ列は、パーツを特定するパーツＩＤを記憶している。損傷種類列は、パーツの損傷の種類を記憶している。位置列は、損傷の位置（例えば、座標等）を記憶している。検出日時列は、パーツの損傷が検出された日時情報を記憶している。

画像処理サーバ１は、撮影装置２にて、撮影した同一のパーツ画像から、パーツ固有情報とパーツの損傷に関する情報との両方を取得して出力することができる。なお、パーツ固有情報の取得処理に関しては、実施形態１でのパーツ固有情報の取得処理と同様であるため、説明を省略する。以下では、パーツの損傷に関する情報の取得処理を詳しく説明する。

画像処理サーバ１の制御部１１は、通信部１３を介して、撮影装置２からパーツ画像を取得する。制御部１１は、取得したパーツ画像を入力した場合に該パーツ画像内のパーツの損傷を認識した認識結果を出力する学習済みの損傷認識モデル１７２に、取得したパーツ画像を入力し、該パーツ画像内の損傷を認識した認識結果を出力する。

損傷認識モデル１７２は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。損傷認識モデル１７２は、パーツ画像を入力とし、該パーツ画像内のパーツの損傷の位置及び種類を含む認識結果を出力とするニューラルネットワークを構築済みの認識器である。

本実施の形態の損傷認識モデル１７２は、一例としてＲＣＮＮを用いて推定を行う。損傷認識モデル１７２は、領域候補抽出部と分類部とを含む。分類部は、ニューラルネットワークを含む。

画像処理サーバ１の制御部１１は、パーツ画像と、該パーツ画像内の損傷の種類（例えば、傷、汚れ、割れ、しわ、変形等）とが対応付けられた教師データの組み合わせを用いて学習を行う。教師データは、パーツ画像に対し、該パーツ画像内の損傷がラベル付けされたデータである。

学習済みの損傷認識モデル１７２に、パーツ画像が入力されると、領域候補抽出部は、パーツ画像から、様々なサイズの領域候補を抽出する。分類部は、抽出された領域候補の特徴量を算出する。分類部は、算出した特徴量に基づいて領域候補に映っている被写体がパーツの損傷であるか否か、及び被写体が損傷である場合の損傷の種類を分類する。損傷認識モデル１７２は、領域候補の抽出と分類とを繰り返す。

損傷認識モデル１７２は、所定の閾値（例えば、８５％）よりも高い確率で損傷が写っていると分類された領域候補について、パーツの損傷が写っている確率、損傷の位置（領域の座標範囲）及び種類を出力する。

なお、上述した処理に限らず、例えばパーツの損傷の種類ごとに学習済みの専用認識モデルを利用しても良い。例えば制御部１１は、パーツ画像と、該パーツ画像内の傷とが対応付けられた教師データの組み合わせを用いて学習を行い、傷認識モデルを構築する。制御部１１は、構築した傷認識モデルを用いて、パーツ画像を入力してパーツ画像内の傷を認識した認識結果を出力する。

なお、ＲＣＮＮの代わりに、ＣＮＮ、Ｆａｓｔ ＲＣＮＮ、Ｆａｓｔｅｒ ＲＣＮＮ、Ｍａｓｋ ＲＣＮＮ、ＳＳＤ、ＹＯＬＯ、ＳＶＭ、ベイジアンネットワーク、または回帰木等の任意の物体検出アルゴリズムを使用しても良い。

なお、パーツの損傷の認識処理は、上述した機械学習により認識処理に限るものではない。例えば、Ａ−ＫＡＺＥ、ＳＩＦＴ等の局所特徴量抽出方法を用いてパーツ画像内の損傷を認識しても良い。

制御部１１は、取得したパーツ固有情報及びパーツの損傷に関する情報に対してパーツＩＤを割り振る。制御部１１は、割り振ったパーツＩＤに対応付けて、パーツ固有情報とパーツの損傷に関する情報（認識結果）とを通信部１３によりＤＢサーバ４に送信する。ＤＢサーバ４の制御部４１は、画像処理サーバ１から送信されたパーツＩＤ、パーツ固有情報及びパーツの損傷に関する情報を通信部４３により受信する。制御部４１は、受信したパーツＩＤ、パーツ固有情報及びパーツの損傷に関する情報を大容量記憶部４５のパーツ詳細ＤＢ４５２及びパーツ損傷情報ＤＢ４５３に記憶する。

具体的には、制御部４１は、パーツＩＤに対応付けて、パーツの損傷種類、位置及び検出日時を一つのレコードとしてパーツ損傷情報ＤＢ４５３に記憶する。なお、パーツ固有情報の記憶処理に関しては、実施形態１でのパーツ固有情報の記憶処理と同様であるため、説明を省略する。

図３０は、パーツ固有情報とパーツの損傷に関する情報との両方を出力する際の処理手順を示すフローチャートである。画像処理サーバ１の制御部１１は、通信部１３を介して、撮影装置２からパーツ画像を取得する（ステップＳ１６１）。制御部１１は、取得したパーツ画像に基づき、パーツ固有情報を取得する（ステップＳ１６２）。制御部１１は、学習済みの損傷認識モデル１７２に、取得したパーツ画像を入力し、該パーツ画像内のパーツの損傷に関する情報（損傷の認識結果）を取得する（ステップＳ１６３）。

制御部１１は、取得したパーツ固有情報及びパーツの損傷に関する情報に対してパーツＩＤを割り振る（ステップＳ１６４）。制御部１１は、割り振ったパーツＩＤに対応付けて、パーツ固有情報及びパーツの損傷に関する情報を通信部１３によりＤＢサーバ４に送信する（ステップＳ１６５）。ＤＢサーバ４の制御部４１は、画像処理サーバ１から送信されたパーツＩＤ、パーツ固有情報及びパーツの損傷に関する情報を通信部４３により受信する（ステップＳ４６１）。制御部４１は、受信したパーツＩＤ、パーツ固有情報及びパーツの損傷に関する情報を大容量記憶部４５のパーツ詳細ＤＢ４５２及びパーツ損傷情報ＤＢ４５３に記憶する（ステップＳ４６２）。

本実施形態によると、パーツ固有情報とパーツの損傷に関する情報との両方を出力することにより、パーツ固有情報（物体指紋等）によるトレーサビリティ機能と外観検査機能とを同時に実現することが可能となる。

（実施形態８）
実施形態８は、保管場所に一定期間以上滞留されている登録済みのパーツを検出する形態に関する。なお、実施形態１〜７と重複する内容については説明を省略する。

図３１は、実施形態８のパーツ固有情報ＤＢ３７１のレコードレイアウトの一例を示す説明図である。パーツ固有情報ＤＢ３７１はパーツサーバ３の大容量記憶部３７に記憶されている。なお、図４と重複する内容については説明を省略する。パーツ固有情報ＤＢ３７１は、保管情報列を含む。保管情報列は、保管場所列、場所詳細列、保管開始日時列及び保管期間列を含む。保管場所列は、パーツが製品に取り付けられるまでの保管場所を記憶している。場所詳細列は、保管場所の緯度、経度または棚番号等の位置情報を記憶している。保管開始日時列は、パーツの保管を開始した日時情報を記憶している。保管期間列は、パーツが製品に取り付けられるまでの保管期間（例えば、半年、１０ヶ月または１年等）を記憶している。

図３２は、実施形態８のパーツ詳細ＤＢ４５２のレコードレイアウトの一例を示す説明図である。パーツ詳細ＤＢ４５２はＤＢサーバ４の大容量記憶部４５に記憶されている。なお、図７と重複する内容については説明を省略する。パーツ詳細ＤＢ４５２は、保管情報列及び取付け情報列を含む。なお、保管情報列に関しては、パーツ固有情報ＤＢ３７１の保管情報列と同様であるため、説明を省略する。取付け情報列は、取付けロボットＩＤ列、取付けメーカ名列、ロケーション番地列及び取付け日時列を含む。取付けロボットＩＤ列、取付けメーカ名列及びロケーション番地列に関しては、図７と同様であるため、説明を省略する。取付け日時列は、パーツを製品に取り付けた日時情報を記憶している。

先ず、パーツの保管情報が予めパーツサーバ３に登録される。保管情報は、パーツが製品に取り付けられるまでの保管場所（例えば、場所名称、経度、緯度または棚情報等）、保管開始日時及び保管期間を含む。具体的には、パーツサーバ３はパーツの保管情報を取得する。例えばパーツサーバ３は、パーツ生産工場の担当者から入力されたパーツの保管情報を入力部３４により受け付けても良い。パーツサーバ３はパーツＩＤに対応付けて、取得したパーツの保管情報に含まれているパーツの保管場所、場所の詳細情報（経度、緯度または棚番号等）、保管開始日時及び保管期間をパーツ固有情報ＤＢ３７１に記憶する。

続いて、パーツの保管情報をパーツＩＤに対応付けてＤＢサーバ４に出力する処理を説明する。画像処理サーバ１は、特徴点となるオブジェクトを含むパーツ画像を撮影装置２から取得する。実施形態１と同様に、画像処理サーバ１は、学習済みのオブジェクト認識モデル１７１を用いて、取得したパーツ画像内のオブジェクトを認識する。画像処理サーバ１は、認識したオブジェクトから所定のオフセット位置にて所定サイズの領域画像を抽出する。画像処理サーバ１は、抽出した領域画像をパーツサーバ３に送信する。

パーツサーバ３は、画像処理サーバ１から送信された領域画像を受信し、受信した領域画像の特徴量を抽出する。パーツサーバ３は、抽出した領域画像の特徴量と、パーツ固有情報ＤＢ３７１に記憶されたパーツ画像の特徴量とを比較する。なお、特徴量の比較処理に関しては、実施形態１と同様であるため、説明を省略する。パーツサーバ３は両者の特徴量が一致すると判定した場合、該当するパーツＩＤ、及び該パーツＩＤに対応するパーツの保管情報をパーツ固有情報ＤＢ３７１から取得する。

パーツサーバ３は、取得したパーツＩＤ及びパーツの保管情報を画像処理サーバ１に送信する。画像処理サーバ１は、パーツサーバ３から送信されたパーツＩＤ及びパーツの保管情報を受信し、受信したパーツＩＤ及びパーツの保管情報をＤＢサーバ４に送信する。ＤＢサーバ４は、画像処理サーバ１から送信されたパーツＩＤ及びパーツの保管情報を受信する。ＤＢサーバ４は、受信したパーツＩＤに対応付けて、パーツの保管場所、場所の詳細情報（経度、緯度または棚番号等）、保管開始日時及び保管期間をパーツ詳細ＤＢ４５２に記憶する。

続いて、保管場所に一定期間以上滞留されている登録済みのパーツを検出する処理を説明する。画像処理サーバ１は、例えばバッチ処理にて所定の期間ごとに、登録済みのパーツが保管場所に一定期間以上滞留されているか否かを判定する。具体的には、画像処理サーバ１は、パーツサーバ３から登録済みのパーツＩＤ、及び該パーツＩＤに対応するパーツの保管情報を取得する。画像処理サーバ１は、取得したパーツの保管情報に含まれている保管開始日時及び保管期間に基づいて、該パーツが一定期間（例えば、半年）以上滞留されているか否かを判定する。画像処理サーバ１は、該パーツが一定期間以上滞留されていると判定した場合、該パーツのパーツＩＤを取得する。

画像処理サーバ１は、取得したパーツＩＤに基づいて、該パーツが製品に取り付けられたか否かを判定する。具体的には、画像処理サーバ１は、パーツＩＤに基づいて該パーツの取付け情報がＤＢサーバ４のパーツ詳細ＤＢ４５２に存在しているか否かを判定する。パーツの取付け情報は、取付けロボットのＩＤ、パーツを製品に取り付けた際に利用した取付けロボットのメーカ名、パーツが取り付けられた住所番地若しくは生産ラインの名称、またはパーツを製品に取り付けた日時を含む。

画像処理サーバ１は、該パーツの取付け情報がパーツ詳細ＤＢ４５２に存在していると判定した場合、該パーツが既に製品に取り付けられたため、滞留パーツではないと判定する。画像処理サーバ１は、該パーツの取付け情報がパーツ詳細ＤＢ４５２に存在していないと判定した場合、該パーツを滞留対象として特定する。

図３３は、パーツの保管情報をパーツＩＤに対応付けて出力する際の処理手順を示すフローチャートである。画像処理サーバ１の制御部１１は、通信部１３を介して、オブジェクトを含むパーツ画像を撮影装置２から取得する（ステップＳ１７１）。制御部１１は、学習済みのオブジェクト認識モデル１７１を用いて、取得したパーツ画像内のオブジェクトを認識し（ステップＳ１７２）する。制御部１１は、認識したオブジェクトから所定のオフセット位置にて所定サイズの領域画像を抽出する（ステップＳ１７３）。制御部１１は、抽出した領域画像を通信部１３によりパーツサーバ３に送信する（ステップＳ１７４）。

パーツサーバ３の制御部３１は、画像処理サーバ１から送信された領域画像を通信部３３により受信し（ステップＳ３７１）、受信した領域画像の特徴量を抽出する（ステップＳ３７２）。制御部３１は、抽出した領域画像の特徴量に基づいて、該当するパーツＩＤ、及び該パーツＩＤに対応するパーツの保管情報をパーツ固有情報ＤＢ３７１から取得する（ステップＳ３７３）。制御部３１は、取得したパーツＩＤ及びパーツの保管情報を通信部３３により画像処理サーバ１に送信する（ステップＳ３７４）。

画像処理サーバ１の制御部１１は、通信部１３を介して、パーツサーバ３から送信されたパーツＩＤ及びパーツの保管情報を受信し（ステップＳ１７５）、受信したパーツＩＤ及びパーツの保管情報をＤＢサーバ４に送信する（ステップＳ１７６）。ＤＢサーバ４の制御部４１は、画像処理サーバ１から送信されたパーツＩＤ及びパーツの保管情報を通信部４３により受信する（ステップＳ４７１）。制御部４１は、受信したパーツＩＤに対応付けて、パーツの保管場所、場所の詳細情報（経度、緯度または棚番号等）、保管開始日時及び保管期間を大容量記憶部４５のパーツ詳細ＤＢ４５２に記憶し（ステップＳ４７２）、処理を終了する。

図３４は、滞留されているパーツを検出する際の処理手順を示すフローチャートである。画像処理サーバ１の制御部１１は、通信部１３を介して、登録済みの複数のパーツＩＤ、及び各パーツＩＤに対応するパーツの保管情報をパーツサーバ３のパーツ固有情報ＤＢ３７１から取得する（ステップＳ１８１）。制御部１１は、取得した複数のパーツＩＤの中から一つのパーツＩＤを取得する（ステップＳ１８２）。制御部１１は、取得した該パーツＩＤに対応するパーツの保管情報に含まれている保管開始日時に基づいて、保管期間（例えば、６ヶ月等）を過ぎたか否かを判定する（ステップＳ１８３）。

制御部１１は、該パーツの保管期間を過ぎていないと判定した場合（ステップＳ１８３でＮＯ）、ステップＳ１８２の処理に戻り、次のパーツＩＤを取得する。制御部１１は、該パーツの保管期間を過ぎたと判定した場合（ステップＳ１８３でＹＥＳ）、該パーツが製品に取り付けられたか否かを判定する（ステップＳ１８４）。具体的には、制御部１１は通信部１３を介して、パーツＩＤをＤＢサーバ４に送信して該パーツの取付け情報が既にパーツ詳細ＤＢ４５２に存在しているか否かを問い合わせる。取付け情報は、取付けロボットのＩＤ、取付けロボットのメーカ名、ロケーション番地または取付け日時等を含む。該パーツの取付け情報がパーツ詳細ＤＢ４５２に存在している場合、制御部１１は、該パーツが既に製品に取り付けられたと判定する。該パーツの取付け情報がパーツ詳細ＤＢ４５２に存在していない場合、制御部１１は、該パーツが製品に取り付けられていないと判定する。

制御部１１は、該パーツが既に製品に取り付けられたと判定した場合（ステップＳ１８４でＹＥＳ）、ステップＳ１８２の処理に戻り、次のパーツＩＤを取得する。制御部１１は、該パーツが製品に取り付けられていないと判定した場合（ステップＳ１８４でＮＯ）、該パーツを滞留対象として特定する（ステップＳ１８５）。制御部１１は、複数のパーツＩＤの中に該パーツＩＤが最後のパーツＩＤであるか否かを判定する（ステップＳ１８６）。

制御部１１は最後のパーツＩＤではないと判定した場合（ステップＳ１８６でＮＯ）、ステップＳ１８２の処理に戻り、次のパーツＩＤを取得する。制御部１１は最後のパーツＩＤであると判定した場合（ステップＳ１８６でＹＥＳ）、滞留対象となるパーツに対してレポートを生成し（ステップＳ１８７）、処理を終了する。レポートは、例えば滞留対象となるパーツＩＤを記述したＰＤＦ（Portable Document Format）ファイルであっても良い。

なお、上述した処理に限るものではない。例えばパーツサーバ３は、所定の期間ごとに、保管場所に一定期間以上滞留されているパーツをパーツ固有情報ＤＢ３７１から抽出して画像処理サーバ１に送信する。画像処理サーバ１は、パーツサーバ３から送信されたパーツが製品に取り付けられていないと判定した場合、該パーツを滞留対象として特定しても良い。

本実施形態によると、パーツが製品に取り付けられるまでの保管場所及び保管期間をパーツＩＤに対応付けてＤＢサーバ４に出力することが可能となる。

本実施形態によると、保管場所に一定期間以上滞留されている登録済みのパーツを検出することにより、パーツの管理を強化することが可能となる。

（実施形態９）
実施形態９は、照合対象となるパーツと登録済みのパーツとを照合することにより、パーツの交換有無またはパーツ状態を判定する形態に関する。なお、実施形態１〜８と重複する内容については説明を省略する。

パーツ状態は、パーツの使用に伴って該パーツを消耗（劣化）した消耗具合を指す。なお、本実施形態では、パーツの消耗具合に応じて三つの消耗レベルに分類される例を説明するが、他の分類法にも同様に適用される。例えば消耗レベル１は、パーツの消耗がない正常状態である。消耗レベル２は、パーツの消耗があまり進行しておらず、該パーツを継続して使用できるレベルである。消耗レベル３は、パーツの消耗が進行しており、メンテナンスまたは交換が推奨されるレベルである。

図３５は、実施形態９の画像処理サーバ１の構成例を示すブロック図である。なお、図２と重複する内容については同一の符号を付して説明を省略する。大容量記憶部１７には、消耗識別モデル１７３が記憶されている。消耗識別モデル１７３は、パーツ画像に基づいてパーツの消耗レベルを識別する識別器であり、機械学習により生成された学習済みモデルである。

図３６は、実施形態９のＤＢサーバ４の構成例を示すブロック図である。なお、図５と重複する内容については同一の符号を付して説明を省略する。大容量記憶部４５には、照合結果ＤＢ４５４が記憶されている。照合結果ＤＢ４５４は、照合対象となるパーツと登録済みのパーツとを照合した照合結果を記憶している。

図３７は、照合結果ＤＢ４５４のレコードレイアウトの一例を示す説明図である。照合結果ＤＢ４５４は、パーツＩＤ列、パーツ画像列、交換有無列、消耗レベル列及び照合日時列を含む。パーツＩＤ列は、パーツを特定するためのパーツＩＤを記憶している。パーツ画像列は、パーツ画像の全体または一部分の領域画像を記憶している。交換有無列は、パーツが交換されたか否かの情報を記憶している。消耗レベル列は、パーツの消耗レベルを記憶している。照合日時列は、照合対象となるパーツと登録済みのパーツとを照合した日時情報を記憶している。

先ず、画像処理サーバ１は、照合対象となるパーツと登録済みのパーツとを照合する。具体的には、画像処理サーバ１は、照合対象となるパーツのパーツ画像を撮影装置２から取得する。実施形態１と同様に、画像処理サーバ１は、学習済みのオブジェクト認識モデル１７１を用いて、取得したパーツ画像内のオブジェクトを認識する。画像処理サーバ１は、認識したオブジェクトから所定のオフセット位置にて所定サイズの領域画像を抽出する。

画像処理サーバ１は、抽出した領域画像を工場サーバ５に送信する。工場サーバ５は、画像処理サーバ１から送信された領域画像を受信する。工場サーバ５は、受信した領域画像と、製品ＤＢ５７１に記憶された領域画像とのマッチング処理を行う。工場サーバ５は、マッチ度を含むマッチング結果を画像処理サーバ１に送信する。画像処理サーバ１は、工場サーバ５から送信されたマッチング結果を受信する。

画像処理サーバ１は、受信したマッチング結果に基づいて、該パーツのパーツ固有情報が製品ＤＢ５７１に存在しているか否かを判定する。例えば画像処理サーバ１は、マッチ度が所定閾値（例えば、９５％）以上である場合、パーツ固有情報が製品ＤＢ５７１に存在していると判定する。画像処理サーバ１は、マッチ度が所定閾値未満である場合、パーツ固有情報が製品ＤＢ５７１に存在していないと判定する。

画像処理サーバ１は、パーツ固有情報が製品ＤＢ５７１に存在していないと判定した場合、該パーツが他社のパーツまたは別の型番のパーツに交換されたと判定する。画像処理サーバ１は、パーツ固有情報が製品ＤＢ５７１に存在していると判定した場合、該パーツに対してパーツの消耗レベルを判定する。具体的には、画像処理サーバ１は、パーツ画像を入力した場合に該パーツ画像に対応する消耗レベルを識別した識別結果を出力する学習済みの消耗識別モデル１７３に、パーツ画像を入力して該パーツ画像に対応する消耗レベルを識別した識別結果を出力する。なお、消耗レベルの識別処理に関しては後述する。

画像処理サーバ１は、照合対象となるパーツと登録済みのパーツとを照合した照合結果をＤＢサーバ４に送信する。照合結果は、照合対象となるパーツのパーツＩＤ、パーツ画像、交換有無情報、パーツの消耗レベルまたは照合日時等を含む。ＤＢサーバ４は、画像処理サーバ１から送信された照合結果を照合結果ＤＢ４５４に記憶する。具体的には、ＤＢサーバ４はパーツＩＤに対応付けて、パーツ画像、交換有無情報、消耗レベル及び照合日時を一つのレコードとして照合結果ＤＢ４５４に記憶する。なお、消耗レベルを判定していない場合、消耗レベル列には空欄または「−」が記憶されても良い。

続いて、消耗識別モデル１７３を用いるパーツの消耗レベルの識別処理を説明する。図３８は、消耗識別モデル１７３を説明する説明図である。消耗識別モデル１７３は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。消耗識別モデル１７３は、パーツ画像の全体または一部分の領域画像を入力とし、該入力画像に対応する消耗レベルを識別した結果を出力とするニューラルネットワークを構築済みの識別器である。

画像処理サーバ１は、消耗識別モデル１７３として、パーツ画像の全体または一部分の領域画像内における消耗箇所の特徴量を学習するディープラーニングを行うことで消耗識別モデル１７３を構築（生成）する。例えば、消耗識別モデル１７３はＣＮＮであり、パーツ画像の入力を受け付ける入力層と、該パーツ画像に対応する消耗レベルを識別した結果を出力する出力層と、バックプロパゲーションにより学習済の中間層とを有する。

入力層は、パーツ画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、パーツ画像の特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成により、パーツ画像の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。その後中間層は、バックプロパゲーションによりパラメータが学習された全結合層により、パーツ画像に対応する消耗レベルを識別（予測）する。識別結果は、複数のニューロンを有する出力層に出力される。

画像処理サーバ１は、パーツ画像と、該パーツ画像に対応する消耗レベルとが対応付けられた訓練データの組み合わせを複数取得する。訓練データは、パーツ画像に対し、該パーツ画像に対応する消耗レベルがラベル付けされたデータである。画像処理サーバ１は、取得した訓練データ用いて学習を行う。

画像処理サーバ１は、訓練データであるパーツ画像を入力層に入力し、中間層での演算処理を経て、出力層から該パーツ画像に対応する消耗レベルを識別した識別結果を取得する。図示のように、出力層から出力される識別結果は消耗レベルを示す連続的な確率値（例えば「０」から「１」までの範囲の値）である。

画像処理サーバ１は、出力層から出力された識別結果を、訓練データにおいてパーツ画像に対しラベル付けされた情報、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）、各ニューロンで用いられる活性化関数の係数等である。パラメータの最適化の方法は特に限定されないが、例えば、画像処理サーバ１は誤差逆伝播法を用いて各種パラメータの最適化を行う。

画像処理サーバ１は、訓練データに含まれる各パーツ画像について上記の処理を行い、消耗識別モデル１７３を生成する。これにより、例えば画像処理サーバ１は当該訓練データを用いて消耗識別モデル１７３の学習を行うことで、パーツ画像に対応する消耗レベルを識別可能なモデルを構築することができる。

画像処理サーバ１はパーツ画像を取得した場合、取得したパーツ画像を消耗識別モデル１７３に入力する。画像処理サーバ１は、消耗識別モデル１７３の中間層にてパーツ画像の特徴量を抽出する演算処理を行う。画像処理サーバ１は、抽出した特徴量を消耗識別モデル１７３の出力層に入力して、パーツ画像に対応する消耗レベルを識別した識別結果を出力として取得する。

図示のように、パーツ画像に対し、「消耗レベル１（消耗なし）」、「消耗レベル２」、「消耗レベル３」それぞれの確率値が、「０．１０」、「０．８４」、「０．０６」である識別結果が出力される。また、所定閾値を利用して識別結果を出力しても良い。例えば画像処理サーバ１は、「消耗レベル２」の確率値（０．８４）が所定閾値（例えば、０．８０）以上であると判定した場合、パーツ画像に対応する消耗レベルが「消耗レベル２」である識別結果を出力する。なお、上述した閾値を利用せず、消耗識別モデル１７３が識別した各消耗レベルの確率値から、最も高い確率値に対応する消耗レベルを識別結果として出力しても良い。

なお、消耗レベルの識別処理は、上述した機械学習により識別処理に限るものではない。例えば、Ａ−ＫＡＺＥ、ＳＩＦＴ、ＳＵＲＦ、ＯＲＢ、ＨＯＧ等の局所特徴量抽出方法を用いて消耗レベルを識別しても良い。

図３９は、パーツを照合する際の処理手順を示すフローチャートである。画像処理サーバ１の制御部１１は、通信部１３を介して、照合対象となるパーツのパーツ画像を撮影装置２から取得する（ステップＳ１９１）。制御部１１は、学習済みのオブジェクト認識モデル１７１を用いて、取得したパーツ画像内のオブジェクトを認識し（ステップＳ１９２）する。制御部１１は、認識したオブジェクトから所定のオフセット位置にて所定サイズの領域画像を抽出する（ステップＳ１９３）。

制御部１１は通信部１３を介して、抽出した領域画像を工場サーバ５に送信する（ステップＳ１９４）。工場サーバ５の制御部５１は、画像処理サーバ１から送信された領域画像を通信部５３により受信する（ステップＳ５９１）。制御部５１は、受信した領域画像と、大容量記憶部５７の製品ＤＢ５７１に記憶された領域画像とのマッチング処理を行う（ステップＳ５９２）。制御部５１は、マッチ度を含むマッチング結果を通信部５３により画像処理サーバ１に送信する（ステップＳ５９３）。

画像処理サーバ１の制御部１１は、工場サーバ５から送信されたマッチング結果を通信部１３により受信する（ステップＳ１９５）。制御部１１は、受信したマッチング結果に基づいて、該パーツのパーツ固有情報が製品ＤＢ５７１に存在しているか否かを判定する（ステップＳ１９６）。例えば制御部１１は、マッチング結果に含まれているマッチ度が所定閾値（例えば、９５％）以上である場合、パーツ固有情報が製品ＤＢ５７１に存在していると判定する。

制御部１１は、パーツ固有情報が製品ＤＢ５７１に存在していないと判定した場合（ステップＳ１９６でＮＯ）、後述するステップＳ１９８の処理に遷移する。制御部１１は、パーツ固有情報が製品ＤＢ５７１に存在していると判定した場合（ステップＳ１９６でＹＥＳ）、学習済みの消耗識別モデル１７３を用いてパーツの消耗レベルを判定する（ステップＳ１９７）。具体的には、制御部１１は、パーツ画像を入力した場合に該パーツ画像に対応する消耗レベルを識別した識別結果を出力する学習済みの消耗識別モデル１７３に、パーツ画像を入力して該パーツ画像に対応する消耗レベルを識別した識別結果を出力する。

制御部１１は、パーツＩＤ、パーツ画像、交換有無情報、消耗レベルまたは照合日時等を含む照合結果を通信部１３によりＤＢサーバ４に送信する（ステップＳ１９８）。ＤＢサーバ４の制御部４１は、画像処理サーバ１から送信された照合結果を通信部４３により受信する（ステップＳ４９１）。制御部４１は、パーツＩＤに対応付けて照合結果を照合結果ＤＢ４５４に記憶し（ステップＳ４９２）、処理を終了する。

本実施形態によると、照合対象となるパーツと登録済みのパーツとを照合することにより、パーツの交換有無またはパーツ状態を判定することが可能となる。

本実施形態によると、パーツ状態を判定することにより、パーツ交換またはメンテナンス時期等の予測データとして活用することが可能となる。

（実施形態１０）
実施形態１０は、複数のオブジェクトが分散して配されているパーツの登録または照合処理を行う形態に関する。なお、実施形態１〜９と重複する内容については説明を省略する。

先ず、複数のオブジェクトが分散して配されているパーツの登録処理を説明する。図４０は、パーツの登録処理を行う際の処理手順を示すフローチャートである。図４０でのパーツには複数のオブジェクトが分散して配されている。

画像処理サーバ１の制御部１１は、通信部１３を介して、複数のオブジェクトのうち少なくとも二つ以上のオブジェクトを含むパーツ画像を撮影装置２から取得する（ステップＳ０１）。制御部１１は、学習済みのオブジェクト認識モデル１７１を用いて、取得したパーツ画像内のそれぞれのオブジェクトを認識する（ステップＳ０２）。なお、オブジェクトの認識処理に関しては、実施形態１と同様であるため、説明を省略する。

制御部１１は、認識したそれぞれのオブジェクトから所定のオフセット位置にて所定サイズの領域画像を抽出する（ステップＳ０３）。制御部１１は通信部１３を介して、抽出した複数の領域画像のいずれかに対応するパーツ固有情報を工場サーバ５の製品ＤＢ５７１から取得する（ステップＳ０４）。制御部１１は、取得したパーツ固有情報に対してパーツＩＤを割り振る（ステップＳ０５）。制御部１１は、割り振ったパーツＩＤ及び複数の領域画像を通信部１３によりパーツサーバ３に送信する（ステップＳ０６）。制御部１１は、割り振ったパーツＩＤ及びパーツ固有情報を通信部１３によりＤＢサーバ４に送信する（ステップＳ０７）。

パーツサーバ３の制御部３１は、画像処理サーバ１から送信されたパーツＩＤ及び複数の領域画像を通信部３３により受信する（ステップＳ０８）。制御部３１は、受信したパーツＩＤに対応付けて複数の領域画像を大容量記憶部３７のパーツ固有情報ＤＢ３７１に記憶し（ステップＳ０９）、処理を終了する。ＤＢサーバ４の制御部４１は、画像処理サーバ１から送信されたパーツＩＤ及びパーツ固有情報を通信部４３により受信する（ステップＳ１０）。制御部４１は、受信したパーツＩＤに対応付けてパーツ固有情報を大容量記憶部４５のパーツ詳細ＤＢ４５２に記憶し（ステップＳ１１）、処理を終了する。

次に、複数のオブジェクトが分散して配されているパーツの照合処理を説明する。図４１は、パーツの照合処理を行う際の処理手順を示すフローチャートである。図４１でのパーツには複数のオブジェクトが分散して配されている。

画像処理サーバ１の制御部１１は、通信部１３を介して、一つまたは複数のオブジェクトを含むパーツ画像を撮影装置２から取得する（ステップＳ１５）。制御部１１は、学習済みのオブジェクト認識モデル１７１を用いて、取得したパーツ画像内のそれぞれのオブジェクトを認識する（ステップＳ１６）。制御部１１は、認識したそれぞれのオブジェクトから所定のオフセット位置にて所定サイズの領域画像を抽出する（ステップＳ１７）。

制御部１１は通信部１３を介して、抽出した複数の領域画像に基づいてパーツ固有情報を工場サーバ５の製品ＤＢ５７１から取得可能であるか否かを判定する（ステップＳ１８）。具体的には、制御部１１は、複数の領域画像のいずれかに対応するパーツ固有情報を取得した場合、パーツ固有情報を取得可能であると判定する。制御部１１は、すべての領域画像に対応するパーツ固有情報を取得できないと判定した場合、パーツ固有情報を取得できないと判定する。

制御部１１は、パーツ固有情報を取得できないと判定した場合（ステップＳ１８でＮＯ）、該パーツの認証に失敗したと判定し（ステップＳ２２）、処理を終了する。制御部１１は、パーツ固有情報を取得可能であると判定した場合（ステップＳ１８でＹＥＳ）、パーツ固有情報の照合処理を行う（ステップＳ１９）。

具体的には、制御部１１は各領域画像において、それぞれの領域画像に対応するパーツ固有情報を比較する。例えば、制御部１１は領域画像Ａ、領域画像Ｂ及び領域画像Ｃをパーツ画像から抽出した場合、取得した領域画像Ａ、領域画像Ｂ及び領域画像Ｃに対応するパーツ固有情報を製品ＤＢ５７１から取得する。制御部１１は、領域画像Ａに対応するパーツ固有情報と、領域画像Ｂに対応するパーツ固有情報とを比較する。制御部１１は、領域画像Ａに対応するパーツ固有情報と、領域画像Ｃに対応するパーツ固有情報とを比較する。制御部１１は、領域画像Ｂに対応するパーツ固有情報と、領域画像Ｃに対応するパーツ固有情報とを比較する。

制御部１１は、一致した数が所定閾値（例えば、２個）以上であるか否かを判定する（ステップＳ２０）。制御部１１は、一致した数が所定閾値以上であると判定した場合（ステップＳ２０でＹＥＳ）、該パーツの認証に成功したと判定し（ステップＳ２１）、処理を終了する。制御部１１は、一致した数が所定閾値未満であると判定した場合（ステップＳ２０でＮＯ）、ステップＳ２２の処理に遷移する。

本実施形態によると、複数のオブジェクトが分散して配されているパーツの登録または照合処理を行うことが可能となる。

本実施形態によると、複数の領域画像を登録することにより、パーツの認証精度を高めることが可能となる。

＜変形例１＞
筒状物であるパーツの登録または照合処理を説明する。図４２は、筒端面に複数のオブジェクトが分散して配されている筒状物の一例を示す説明図である。

図４２Ａは、筒状物の登録に対する筒端面の撮影画像の一例を示す説明図である。図示のように、筒端面には１２０度ごとに１３ａ、１３ｂ及び１３ｃを含む三つのオブジェクトが配されている。画像処理サーバ１は、１３ａ、１３ｂ及び１３ｃオブジェクトを含む筒端面の撮影画像を撮影装置２から取得する。画像処理サーバ１は、取得した筒端面の撮影画像内の１３ａ、１３ｂ及び１３ｃオブジェクトをそれぞれ認識する。

画像処理サーバ１は、上述した処理と同様に、それぞれのオブジェクトから所定のオフセット位置にて所定サイズの領域画像を抽出する。画像処理サーバ１は、抽出した複数の領域画像のいずれかに対応するパーツ固有情報を工場サーバ５の製品ＤＢ５７１から取得する。画像処理サーバ１は、取得したパーツ固有情報に対してパーツＩＤを割り振る。画像処理サーバ１は、割り振ったパーツＩＤに対応付けて該パーツをパーツサーバ３及びＤＢサーバ４に登録する。なお、登録処理に関しては、上述した処理と同様であるため、説明を省略する。

図４２Ｂは、筒状物の照合に対する筒端面の撮影画像の一例を示す説明図である。撮影位置またはパーツの形状により、毎回同じ箇所を撮影することができない場合がある。例えば筒状物である場合、筒状物の回転が入ると、位置の特定ができず毎回同じ箇所を撮影することができない恐れがある。また、筒状物の筒端面が全体撮影されると、有効な縁の部分の面積が小さくなる。更にまた、縁の部分が大きく撮影されると、一部分を隠れているエリアがある。

図示のように、筒端面の縁の部分が大きく撮影された場合、撮影された筒端面の撮影画像には１３ａ及び１３ｂオブジェクトが含まれているが、１３ｃオブジェクトが含まれていない。画像処理サーバ１は、１３ａ及び１３ｂオブジェクトを含む筒端面の撮影画像を撮影装置２から取得する。画像処理サーバ１は、取得した筒端面の撮影画像内の１３ａ及び１３ｂオブジェクトをそれぞれ認識する。画像処理サーバ１は、上述した処理と同様に、認識した１３ａ及び１３ｂオブジェクトに基づいて抽出された領域画像に対応するパーツ固有情報を工場サーバ５の製品ＤＢ５７１から取得可能であるか否かを判定する。

画像処理サーバ１は、１３ａオブジェクトに基づいて抽出された領域画像に対応するパーツ固有情報（第１パーツ固有情報）と、１３ｂオブジェクトに基づいて抽出された領域画像に対応するパーツ固有情報（第２パーツ固有情報）との両方を取得できないと判定した場合、該パーツが製品ＤＢ５７１に存在していないため、該パーツの認証に失敗したと判定する。また、画像処理サーバ１は、第１パーツ固有情報と第２パーツ固有情報とのいずれか一方のみを取得した場合、該パーツの認証に失敗したと判定する。

画像処理サーバ１は、第１パーツ固有情報と第２パーツ固有情報との両方を取得した場合、第１パーツ固有情報と第２パーツ固有情報とを比較する。画像処理サーバ１は、第１パーツ固有情報と第２パーツ固有情報とが一致したと判定した場合、該パーツの認証に成功したと判定する。

本変形例によると、毎回同じ箇所を撮影することが難しい筒状物に対し、複数のオブジェクトに基づいて照合することにより、認証精度を高めることが可能となる。

（実施形態１１）
実施形態１１は、リファレンス画像が撮影された際の撮影条件のパラメータに基づいてパーツを撮影する形態に関する。なお、実施形態１〜１０と重複する内容については説明を省略する。

特徴点となるオブジェクトを含むリファレンス画像は、例えば撮影装置２により撮影される。なお、リファレンス画像を撮影する撮影装置は、撮影装置２に限定せず、例えば外部の撮影装置であっても良い。リファレンス画像が撮影された撮影条件のパラメータに応じて設定された所定許容範囲が、予め画像処理サーバ１の記憶部１２に記憶される。撮影条件のパラメータは、類似度スコア、周波数成分分布スコア、ばらつき具合スコア、輝度スコアまたは色相スコア等を含む。許容範囲は、各パラメータの値を調整可能な範囲である。

類似度スコアは、リファレンス画像と撮影対象画像とがどの程度類似しているかを表す数値である。類似度スコアが高いほど、リファレンス画像と撮影対象画像との間の類似度が高い。周波数成分分布スコアは、画像データを例えば高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）等により変換した周波数成分を表す数値である。周波数成分分布は、低域成分、中域成分及び高域成分の分布（割合）を含む。ばらつき具合スコアは、ばらつきの大きさを示す標準偏差である。周波数成分分布スコア及びばらつき具合スコアを利用することにより、画像のピント具合を確認することができる。輝度スコアは、色成分Ｒ（red）、Ｇ（green）、Ｂ（blue）ごとの明るさを示す数値であり、ＭＡＸ輝度、ＭＩＮ輝度または平均輝度スコアを含む。色相スコアは、色合いを表す数値である。

画像処理サーバ１は、パラメータの所定許容範囲を記憶部１２から取得する。撮影装置２は、登録または照合対象となるパーツを撮影する場合、撮影中のパーツ画像を画像処理サーバ１に送信する。画像処理サーバ１は、撮影装置２から送信されたパーツ画像を受信し、受信したパーツ画像のパラメータが所定許容範囲内であるか否かを判定する。画像処理サーバ１は、該パラメータが所定許容範囲内であると判定した場合、パーツの撮影指示を撮影装置２に送信する。

撮影装置２は、画像処理サーバ１から送信された撮影指示を受信し、受信した撮影指示に従ってパーツを撮影する。撮影装置２は、撮影したパーツ画像を画像処理サーバ１に送信する。その後に、画像処理サーバ１は実施形態１〜１０と同様に、撮影装置２から送信されたパーツ画像を利用してパーツの登録または照合処理を行う。

なお、本実施形態では、パーツ画像のパラメータが所定許容範囲内であるか否かを判定する処理が画像処理サーバ１側で行われた例を説明したが、これに限らず、撮影装置２側で行われても良い。具体的には、撮影装置２は、撮影条件のパラメータに応じて設定された所定許容範囲を記憶部または画像処理サーバ１から取得する。撮影装置２は、撮影中のパーツ画像のパラメータが所定許容範囲内であると判定した場合、該パーツを撮影する。撮影装置２は、撮影したパーツ画像を画像処理サーバ１に送信する。

本実施形態によると、リファレンス画像が撮影された際の撮影条件のパラメータに基づいてパーツを撮影することにより、最適なパーツ画像を取得することが可能となる。

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ 情報処理装置（画像処理サーバ）
１１ 制御部
１２ 記憶部
１３ 通信部
１４ 入力部
１５ 表示部
１６ 読取部
１７ 大容量記憶部
１７１ オブジェクト認識モデル
１７２ 損傷認識モデル
１７３ 消耗識別モデル
７１ａ 領域候補抽出部
７１ｂ 分類部
１ａ 可搬型記憶媒体
１ｂ 半導体メモリ
１Ｐ 制御プログラム
２ 撮影装置
２ａ 撮影装置
２ｂ 撮影装置
３ 情報処理装置（パーツサーバ）
３１ 制御部
３２ 記憶部
３３ 通信部
３４ 入力部
３５ 表示部
３６ 読取部
３７ 大容量記憶部
３７１ パーツ固有情報ＤＢ
３ａ 可搬型記憶媒体
３ｂ 半導体メモリ
３Ｐ 制御プログラム
４ データベース装置（ＤＢサーバ）
４１ 制御部
４２ 記憶部
４３ 通信部
４４ 読取部
４５ 大容量記憶部
４５１ 製品管理ＤＢ
４５２ パーツ詳細ＤＢ
４５３ パーツ損傷情報ＤＢ
４５４ 照合結果ＤＢ
４ａ 可搬型記憶媒体
４ｂ 半導体メモリ
４Ｐ 制御プログラム
５ 情報処理装置（工場サーバ）
５１ 制御部
５２ 記憶部
５３ 通信部
５４ 入力部
５５ 表示部
５６ 読取部
５７ 大容量記憶部
５７１ 製品ＤＢ
５ａ 可搬型記憶媒体
５ｂ 半導体メモリ
５Ｐ 制御プログラム
６ 情報処理装置（削除サーバ）
６１ 制御部
６２ 記憶部
６３ 通信部
６４ 入力部
６５ 表示部
６６ 読取部
６７ 大容量記憶部
６７１ パーツ管理ＤＢ
６７２ 生産計画ＤＢ
６８ 時計部
６ａ 可搬型記憶媒体
６ｂ 半導体メモリ
６Ｐ 制御プログラム

Claims (21)

1. 特徴点となるオブジェクトを含むパーツ画像を取得し、
   取得した前記パーツ画像内のオブジェクトを認識し、
   認識した前記オブジェクトから所定のオフセット位置にて所定サイズの領域画像を抽出し、
   抽出した領域画像に対応するパーツ固有情報を取得し、
   取得した前記パーツ固有情報を出力する
   処理をコンピュータに実行させるプログラム。
2. 前記パーツ画像を入力した場合に前記パーツ画像内のオブジェクトを認識した認識結果を出力する学習済みの画像認識モデルに取得したパーツ画像を入力して、前記パーツ画像内のオブジェクトの認識結果を出力する
   処理を実行させる請求項１に記載のプログラム。
3. パーツ画像を入力した場合に、前記パーツ画像内のオブジェクトの位置及び種類を特定するよう学習済みの画像認識モデルに取得したパーツ画像を入力して、前記パーツ画像内のオブジェクトの位置及び種類を出力し、
   オブジェクトの種類ごとにオフセット位置が記憶された記憶部を参照して、出力された種類に対応するオフセット位置を読み出し、
   出力された前記オブジェクトの位置から読み出した前記オフセット位置に対応する領域画像を抽出する
   処理を実行させる請求項１又は２に記載のプログラム。
4. 前記パーツ固有情報に対応するパーツＩＤを取得し、
   取得した前記パーツＩＤと前記パーツ固有情報とを出力する
   処理を実行させる請求項１から３までのいずれかひとつに記載のプログラム。
5. 前記パーツ固有情報に対してパーツＩＤを割り振り、
   割り振った前記パーツＩＤと前記パーツ固有情報とを出力する
   処理を実行させる請求項１から３までのいずれかひとつに記載のプログラム。
6. 前記領域画像のパーツ固有情報に対応するパーツＩＤを取得し、
   取得した前記パーツＩＤに対応するパーツを使用した製品の製品ＩＤを取得し、
   取得した前記製品ＩＤを前記パーツＩＤに対応付けてデータベース装置に出力する
   処理を実行させる請求項１から５までのいずれかひとつに記載のプログラム。
7. パーツを照明する照明がオンされた後に撮影した前記パーツのパーツ画像を取得する
   処理を実行させる請求項１から６までのいずれかひとつに記載のプログラム。
8. 前記パーツ画像内の歪みまたは傾きを検出した場合に、歪みまたは傾きに応じて前記オフセット位置または前記パーツ画像を補正する
   処理を実行させる請求項１から７までのいずれかひとつに記載のプログラム。
9. 第１撮影装置が撮影した第１撮影画像を取得し、
   取得した前記第１撮影画像中に前記パーツ画像が存在するか否か判定し、
   前記パーツ画像が存在すると判断した場合に、前記第１撮影装置よりも拡大率の高い第２撮影装置により前記パーツ画像の一部分となる第２撮影画像を取得し、
   取得した前記第２撮影画像を前記画像認識モデルに入力する
   処理を実行させる請求項２に記載のプログラム。
10. パーツが製品に取り付けられるまでの保管場所及び保管期間を前記パーツのパーツＩＤに対応付けてデータベース装置に出力する
    処理を実行させる請求項１から９までのいずれかひとつに記載のプログラム。
11. 照合対象となるパーツと登録済みのパーツとを照合することにより、前記照合対象となるパーツの交換有無またはパーツ状態を判定する
    処理を実行させる請求項１から１０までのいずれかひとつに記載のプログラム。
12. パーツには複数のオブジェクトが分散して配されており、
    前記複数のオブジェクトのうち少なくとも二つ以上のオブジェクトを含むパーツ画像を取得し、
    取得した前記パーツ画像内のそれぞれのオブジェクトを認識し、
    認識したそれぞれのオブジェクトから所定のオフセット位置にて所定サイズの領域画像を抽出し、
    抽出した複数の領域画像のいずれかに対応するパーツ固有情報を取得し、
    取得した前記パーツ固有情報に対してパーツＩＤを割り振り、
    割り振った前記パーツＩＤと前記パーツ固有情報とを出力する
    処理を実行させる請求項１から１１までのいずれかひとつに記載のプログラム。
13. パーツは筒状物であり、前記パーツの筒端面に複数のオブジェクトが分散して配されており、
    一つまたは複数のオブジェクトを含む前記筒端面の撮影画像を取得する
    処理を実行させる請求項１から１２までのいずれかひとつに記載のプログラム。
14. 前記筒端面の撮影画像内のオブジェクトから所定のオフセット位置にて所定サイズの領域画像を複数抽出し、
    抽出したそれぞれの領域画像に対応するパーツ固有情報に基づいて、前記パーツを認証する
    処理を実行させる請求項１３に記載のプログラム。
15. 特徴点となるオブジェクトを含むリファレンス画像が撮影された際の撮影条件のパラメータに応じて設定された所定許容範囲を取得し、
    前記オブジェクトを含む撮影対象となるパーツ画像のパラメータが、前記所定許容範囲内であると判定した場合に、パーツの撮影指示を出力する
    処理を実行させる請求項１から１４までのいずれかひとつに記載のプログラム。
16. 情報処理装置と、パーツ登録用情報処理装置と、データベース装置とを備える情報処理システムであって、
    前記情報処理装置は、
    特徴点となるオブジェクトを含むパーツ画像を取得する取得部と、
    前記取得部が取得したパーツ画像内のオブジェクトを認識する認識部と、
    前記認識部が認識したオブジェクトから所定のオフセット位置にて所定サイズの領域画像を抽出する抽出部と、
    前記抽出部が抽出した領域画像に対応するパーツ固有情報を取得する取得部と、
    前記取得部が取得したパーツ固有情報を前記パーツ登録用情報処理装置に出力する第１出力部と、
    前記取得部が取得したパーツ固有情報を前記データベース装置に出力する第２出力部とを備え、
    前記パーツ登録用情報処理装置は、
    前記情報処理装置が出力したパーツ固有情報を受け付ける第１受付部と、
    前記第１受付部が受け付けたパーツ固有情報を登録する登録部とを備え、
    前記データベース装置は、
    前記情報処理装置が出力したパーツ固有情報を受け付ける第２受付部と、
    前記第２受付部が受け付けたパーツ固有情報を記憶する記憶部と
    を備える情報処理システム。
17. パーツ削除管理用情報処理装置を備え、
    パーツ削除管理用情報処理装置は、
    製品の生産計画に基づき、登録済みの第１パーツに関連付けた第２パーツの登録期間が所定期限を過ぎたか否かを判定する判定部と、
    前記判定部が前記第２パーツの登録期間が所定期限を過ぎたと判定した場合に、前記第１パーツを削除するアラートを出力するアラート出力部と
    を備えることを特徴とする請求項１６に記載の情報処理システム。
18. 前記判定部が前記第２パーツの登録期間が所定期限を過ぎたと判定した場合に、前記第１パーツを削除する指令を出力する指令出力部
    を備えることを特徴とする請求項１７に記載の情報処理システム。
19. 特徴点となるオブジェクトを含むパーツ画像を取得し、
    取得した前記パーツ画像内のオブジェクトを認識し、
    認識した前記オブジェクトから所定のオフセット位置にて所定サイズの領域画像を抽出し、
    抽出した領域画像に対応するパーツ固有情報を取得し、
    取得した前記パーツ固有情報を出力する
    処理をコンピュータに実行させる情報処理方法。
20. 特徴点となるオブジェクトを含むパーツ画像を取得する取得部と、
    取得した前記パーツ画像内のオブジェクトを認識する認識部と、
    認識した前記オブジェクトから所定のオフセット位置にて所定サイズの領域画像を抽出する抽出部と、
    抽出した領域画像に対応するパーツ固有情報を取得する取得部と、
    取得した前記パーツ固有情報を出力する出力部と
    を備える情報処理装置。
21. 前記認識部は、前記取得部が取得したパーツ画像内のパーツの損傷を認識し、
    前記出力部は、前記認識部が認識したパーツの損傷に関する情報を出力する
    ことを特徴とする請求項２０に記載の情報処理装置。

Images