JP2019175121A - 貨物ダメージ情報管理システム、及びそれに用いる貨物ダメージ情報管理方法 - Google Patents

Abstract

【課題】ダメージ管理業務の作業コスト低減、判定基準の公平性を目的とする。【解決手段】貨物のダメージ情報の管理を行う貨物ダメージ情報管理システムであって、貨物を撮影するモバイル端末と、モバイル端末からの撮影された撮影画像と貨物を特定するキー情報と共に貨物ダメージ情報として管理する貨物ダメージ情報管理装置を有し、貨物ダメージ情報管理装置は、貨物ダメージ情報としてダメージの部位、種類、レベルを自動的に判定するＡＩ画像分析機能を有するように構成する。【選択図】図３

Description

本発明は、貨物のダメージ情報を管理する技術に関する。

貨物のダメージ情報の管理を行うシステムでは、貨物に対する運送の各シーン、例えば倉庫への搬入時、倉庫内の保管場所変更、相手先への搬出時等、それぞれのタイミングにて貨物ダメージ情報の管理を行う必要がある。

本技術分野に関する従来技術として、特許文献１がある。特許文献１では、車両物流業務に関し、ターミナル内の車両の蔵置の場所の登録及び探索等の作業を効率化できる車両物流管理システムにおいて、管理者が使用するコンピュータと、作業者が携帯するハンドヘルド端末、及びＧＰＳ受信機とを有し、ハンドヘルド端末は、車両の媒体から車両のＩＤを含む第１のデータを読み取る機能と、ＧＰＳ受信機との近距離通信により測位情報を取得する機能とを有する。また、車両に傷などのダメージ箇所がある場合に、その箇所をハンドヘルド端末の撮影機能により撮影し、その撮影データ（ダメージ情報）を取得・保存する。そして、車両ＩＤ及び測位情報と共に、撮影データ（ダメージ情報）を一緒に、センターシステムへ転送して、データベースに関連付けて保存させる点が開示されている。

特開２０１４−４０３１７号公報

貨物のダメージ管理を行う場合、従来は、特許文献１に記載のようにダメージを発見次第、カメラなどを利用しダメージの部位を撮影し、その撮影データをデータベースに保存し、管理していた。このように、従来は、貨物ダメージ情報としては、人の判断によってダメージの有無を確認し写真撮影し、撮影したダメージ画像に対して、ダメージの部位、種類、レベル判定を人の手によって実施していた。

また、ダメージレベルについては人的な判断の部分に影響されやすく、判定する人によって結果が異なることがあり、荷渡人、荷受人の間で合意がとれない場合がある等の問題があった。

本発明は、上記課題に鑑み、ダメージ管理業務の作業コスト低減、判定基準の公平性を目的とする。

本発明は、上記背景技術及び課題に鑑み、その一例を挙げるならば、貨物のダメージ情報の管理を行う貨物ダメージ情報管理システムであって、貨物を撮影するモバイル端末と、モバイル端末からの撮影された撮影画像と貨物を特定するキー情報と共に貨物ダメージ情報として管理する貨物ダメージ情報管理装置を有し、貨物ダメージ情報管理装置は、貨物ダメージ情報としてダメージの部位、種類、レベルを自動的に判定するＡＩ画像分析機能を有するように構成する。

本発明によれば、ダメージ管理業務の作業コスト低減、判定基準の公平性を実現できる。

実施例１における貨物ダメージ情報管理システムの全体構成図である。 実施例１における貨物ダメージ情報管理装置およびＡＩ画像分析機能構築装置の構成図である。 実施例１における貨物ダメージ情報管理装置のＡＩ画像分析を組み込んだ処理フロー図である。 実施例１におけるＡＩ画像分析処理の処理内容を説明する処理フロー図である。 実施例１における貨物ダメージ情報管理装置で用いるデータ構成図である。 実施例１におけるＡＩ画像分析処理によるダメージの部位、種類、レベルの判定フロー図である。 実施例２における同一画像の検出処理フロー図である。 実施例２における同一画像検出処理を組み込んだ貨物ダメージ情報管理装置の処理フロー図である。 図８の補足説明図である。

以下、本発明の実施例につき、図面を用いて説明する。

図１は本実施例における貨物ダメージ情報管理システムの全体構成図である。図１において、貨物ダメージ情報管理システムは、貨物ダメージ情報管理装置１、モバイル端末２、クライアント端末３、顧客システム情報管理装置４がネットワーク５で接続されている。
貨物ダメージ情報管理装置１は、貨物のダメージ情報の管理を行ない、貨物に対する運送の各シーンでのタイミングにて、カメラ機能を有したモバイル端末２で貨物のダメージ画像を撮影し、ダメージ画像と貨物を特定するキー情報と共に貨物ダメージ情報として管理する。貨物ダメージ情報としては、ダメージの部位、種類（破れ、凹み、濡れ等）、レベル（大、中、小等）の属性の紐付、またダメージ部位を表すために手書きによるメモが可能である。クライアント端末３は、貨物ダメージ管理で登録したデータをもとにしたダメージレポートの出力等の制御を行う。顧客システム情報管理装置４は、顧客のシステムのデータベース等を管理し、後述する貨物のダメージに対する分析等を行うための情報を提供する。

本実施例においては、貨物ダメージ情報管理装置１は、詳細は後述するが、ＡＩ（Artificial Intelligence）画像分析を組み込むことで、ダメージの部位、種類、レベルを自動的に判定し、ダメージ管理業務の作業コスト低減、判定基準の公平性を実現する。ＡＩ画像分析の機能については、貨物ダメージ情報管理装置１とは別に、ＡＩ画像分析エンジン構築用のＡＩ画像分析機能構築装置６を利用する。

図２は、本実施例における貨物ダメージ情報管理装置１およびＡＩ画像分析機能構築装置６の構成図である。図２において、貨物ダメージ情報管理装置１は、ＣＰＵ１０とメモリ１１と記憶装置１２を有し、それらがデータバス１３で接続されている。記憶装置１２には、貨物ダメージ情報管理プログラム１２１とＡＩ画像分析プログラム１２２が格納されており、記憶装置１２に格納された貨物ダメージ情報管理プログラム１２１はメモリ１１に展開され、ＣＰＵ１０が展開された貨物ダメージ情報管理プログラムを実行することにより、ソフトウェア処理で貨物ダメージ情報管理を実行する。また、ＡＩ画像分析プログラム１２２を実行することにより、ソフトウェア処理でＡＩ画像分析を実行する。

また、ＡＩ画像分析機能構築装置６は、ＣＰＵ６０とメモリ６１と記憶装置６２を有し、それらがデータバス６３で接続されている。記憶装置６２には、ＡＩ画像分析エンジン６２１とＡＩ画像分析プログラム６２２が格納されており、ＡＩ画像分析エンジン６２１に対し教師データ画像ファイル７の読み込みを行い、学習することでＡＩ画像分析エンジンが画像分析を行い、ＡＩ画像分析プログラム６２２が構築される。構築したＡＩ画像分析プログラム６２２を貨物ダメージ情報管理装置１へ反映することで、貨物ダメージ情報管理装置１でＡＩ画像分析機能を利用可能となる。ＡＩ画像分析機能構築装置６から貨物ダメージ情報管理装置１へのＡＩ画像分析プログラム６２２の反映は、例えば、記憶媒体（ＣＤ等の光ディスクやＵＳＢ等）やネットワーク経由でのインストールとする。なお、ＡＩ画像分析機能は、より多くの教師データを学習する事で、ＡＩ画像分析機能の強化が可能である。強化したＡＩ画像分析機能を、稼働済みの貨物ダメージ情報管理装置１へ再度組み込みを行うことで、ＡＩ画像分析機能の強化が可能となる。

図３は、本実施例における貨物ダメージ情報管理装置のＡＩ画像分析を組み込んだ処理フロー図である。図３において、ステップＳ１０１でデジタルカメラ等にて貨物ダメージの写真を撮影することで、Ｓ１０２で撮影画像が出力される。Ｓ１０２での撮影画像をＳ１０３で画像登録を行う。登録された画像に対しＳ１０４でＡＩ画像分析が実行され、貨物のダメージ情報を検出する。貨物ダメージ情報管理装置では、Ｓ１０５１の登録されたオリジナルのダメージ検出前画像から、Ｓ１０５２でダメージ検出後画像を作成する。また、Ｓ１０５３でダメージ情報が出力される。Ｓ１０６でダメージ検出前画像とダメージ検出後画像のダメージ情報登録を行い、Ｓ１０７でデータベース格納を実施する。

貨物ダメージ情報管理装置では、登録、格納された情報より、Ｓ１０８１でダメージレポート出力が可能である。これによりダメージ管理業務の作業コスト低減を図ることができる。また、Ｓ１０９で顧客システムデータベースと連携することで、Ｓ１０８２において分析を行うことが可能となり、ダメージの発生原因等トレンドが見え、対応策を検討することが可能となる。

図４は図３におけるＡＩ画像分析Ｓ１０４の処理内容を説明する処理フロー図である。図４において、ＡＩ画像分析Ｓ１０４は、撮影画像を元に、Ｓ２０２でダメージ部位判定を行い、Ｓ２０３でダメージ部位情報の出力、Ｓ２０４でダメージ種別判定を行いＳ２０５でダメージ種別情報の出力、またＳ２０６でダメージレベル判定を行いＳ２０７でダメージレベル情報の出力を行う。これらＳ２０３で出力したダメージ部位情報から撮影画像に対しダメージ部位に印を付与したダメージ検出後画像をＳ１０５２で作成し、またＳ２０５で出力したダメージ種別情報とＳ２０７で出力したダメージレベル情報からダメージ情報をＳ１０５３として作成する。また、撮影画像はＳ１０５１でそのままダメージ検出前画像として作成する。

図５は本実施例における貨物ダメージ情報管理装置で用いるデータ構成図である。図５において、（Ａ）は貨物情報テーブルを示し、利用者が貨物を識別する情報として「キー情報１」「キー情報２」「キー情報３」を設けている。貨物ダメージ情報管理装置では、利用者が設定したキー情報に対して、内部で一意に識別する番号を「貨物キー」として付与する。また貨物情報単位に、「ダメージレベル（大、中、小、等）」「ダメージ内容（ツブレ、汚れ、凹み、等）」を保持できる。（Ｂ）は画像情報テーブルを示し、貨物情報毎の撮影画像情報を保持する。貨物情報テーブルのレコード１件に対し、０件以上複数のレコードを保持可能で、貨物情報テーブルに指定された「貨物キー」単位に、撮影画像毎の「画像キー」を付与する。（Ｃ）は画像付加情報テーブルを示し、撮影画像毎のダメージ情報を保持する。画像情報テーブルのレコード１件に対し、０件以上複数のレコードを保持可能で、画像情報テーブルに指定された「貨物キー」「画像キー」単位に、「部位」と「ダメージ種別（レベル）」を保持する。

図６は本実施例におけるＡＩ画像分析処理によるダメージの部位、種類、レベルの判定フロー図である。画像分析処理では、対象とする撮影画像を分析し、Ｓ４０１でダメージ部位判定を行い、Ｓ４０２でダメージの有無を判定する。ダメージが無いと判定された場合は処理終了とし、ダメージが有ると判定された場合は、Ｓ４０３でダメージ種別・レベルの判定を行う。Ｓ４０３のダメージ種別・レベルの判定では、種別を判定後にレベルを判定する処理ではなく、Ｓ４０３１からＳ４０３４に示すように、ダメージ種別（段ボール凹み、パレット凹み等）とレベル（大、中、小）を組合せて判定を行う。それをダメージ種別とレベルの組合せの数ｎだけＳ４０３ｎまで行い判定する。その後、Ｓ４０３のダメージ種別・レベルの判定結果の情報から、Ｓ４０４で画像ごとのダメージレベル、ダメージ内容を管理する画像付加情報テーブルにレコードを作成する。

以上のように、本実施例では、ＡＩ画像分析機能にてダメージの部位、種類、レベルを自動的に判定し、貨物ダメージ情報管理装置に連携する。これによりダメージ管理業務の作業コスト低減が図られ、また、ダメージレベルの判定では、ＡＩ画像分析にて行うことにより、人的な見解ではなく一定の判定基準での結果となり公平な判定が可能となる。

本実施例は、ＡＩ処理を使用した同一画像の検出処理を貨物ダメージ情報管理装置に用いることで、ダメージ管理業務のさらなる作業コスト低減を実現する例について説明する。

図７は本実施例における同一画像の検出処理フロー図である。図７において、Ｓ１０２における撮影画像を元に、Ｓ５０２でＡＩ画像数値化を行なう。ＡＩ画像数値化については、各画素毎の輝度値や色情報をもとに所定領域の積算値や平均値等を用いて数値化を行う。この処理は既知の処理なので詳細な説明は省略する。そして、Ｓ５０３で撮像画像を示す数値を取得する。その後、Ｓ５０４とＳ５０９の間で、比較対象の複数画像分の処理を繰り返す。例えば、比較対象の画像が貨物の搬出時の撮影画像であれば、搬入時の登録画像から、今撮影した撮影画像と同一の貨物を検索するために、搬入時の登録画像分を繰り返す。繰り返す処理としては、Ｓ５０５で比較対象画像を取得し、Ｓ５０６でＳ５０２と同様に処理で画像数値化を行う。そして、Ｓ５０７で比較対象画像を示す数値を取得する。Ｓ５０８で撮影画像と比較対象画像の数値を比較し、閾値を越えたら同一ではないと判断し次の比較対象画像の処理を行う。閾値以内の場合は同一画像と判断し、Ｓ５０１で同一画像時の処理として、例えば、フラグ立てを行う等の処理を行い、次の比較対象画像の処理に移る。

図８は、本実施例における同一画像検出処理を組み込んだ貨物ダメージ情報管理装置の処理フロー図である。図８においては、基本的には図３の処理と同じであるが、そこに同一画像検出処理を追加した処理となっている。図８において、図３と同じ処理については同じ符号を付し、その説明は省略する。図８において、Ｓ１０２での撮影画像から、Ｓ６０３で現工程の同一画像検出処理を行う。この処理は、図７の処理である。そして、Ｓ６０４で同一画像検出の有り無しを判断し、有りの場合はＳ６０５で重複登録エラー処理を行なう。これは、重複画像がある旨のメッセージを表示するなどして、Ｓ１０３での重複画像登録を行なわない。また、Ｓ６０４で同一画像検出無しの場合は、Ｓ１０３で撮影画像の画像登録を行なう。これにより、撮影画像の重複登録を実現できる。

また、Ｓ１０３での撮影画像の登録画像から、Ｓ６１０で前工程の同一画像検出処理を行う。この処理は、図７の処理である。そして、Ｓ６１１で前工程の同一画像検出の有り無しを判断し、有りの場合はＳ６１２で登録されている前工程の同一画像のダメージ情報を取得する。一方、Ｓ６１１で前工程の同一画像検出無しの場合は処理を終了する。

Ｓ６１３では、Ｓ１０５３での撮影画像のダメージ情報と、Ｓ６１２での前工程の同一画像のダメージ情報とを比較し、ダメージの種類、レベルを確認することでダメージに変化がある場合、Ｓ６１４でダメージ情報更新通知処理を行い、例えば、汚れがひどくなっている等の通知を行う。ダメージ変化なしの場合は、処理を終了する。このように、Ｓ６１０からＳ６１４の処理は、例えば、同じ貨物の搬入時と搬出時でダメージ変化があるかは判定できる。

図９は、図８の補足説明図である。図９において、貨物の搬入時に画像撮影をして貨物ＢとＤにダメージがある場合、搬出時の撮影画像として、ダメージがある貨物ＢとＤを登録しようとした場合、Ｓ６０５の処理により、貨物Ｂは重複登録エラーとして処理される。また、貨物Ｄは、Ｓ６１４の処理により、前工程である搬入時と比較しダメージが変化しているため、ダメージ情報更新通知処理される。

このように、本実施例によれば、同一画像の検出処理を貨物ダメージ情報管理装置に用いることで、同一画像の無駄な作業コストの発生を抑止でき、ダメージ管理業務のさらなる作業コスト低減を実現することができる。

以上実施例について説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

１：貨物ダメージ情報管理装置、２：モバイル端末、３：クライアント端末、４：顧客システム情報管理装置、５：ネットワーク、６：ＡＩ画像分析機能構築装置、１０，６０：ＣＰＵ、１１，６１：メモリ、１２，６２：記憶装置、１３，６３：データ１２１：貨物ダメージ情報管理プログラム、１２２，６２２：ＡＩ画像分析プログラム、６２１：ＡＩ画像分析エンジン

Claims (14)

1. 貨物のダメージ情報の管理を行う貨物ダメージ情報管理システムであって、
   前記貨物を撮影するモバイル端末と、
   該モバイル端末からの撮影された撮影画像と前記貨物を特定するキー情報と共に貨物ダメージ情報として管理する貨物ダメージ情報管理装置を有し、
   前記貨物ダメージ情報管理装置は、前記貨物ダメージ情報としてダメージの部位、種類、レベルを自動的に判定するＡＩ画像分析機能を有することを特徴とする貨物ダメージ情報管理システム。
2. 請求項１に記載の貨物ダメージ情報管理システムであって、
   前記ＡＩ画像分析機能はＡＩ画像分析プログラムを実行することで機能し、
   前記貨物ダメージ情報管理装置は、ＡＩ画像分析機能構築装置で構築されたＡＩ画像分析プログラムをインストールすることで前記ＡＩ画像分析機能を実行することを特徴とする貨物ダメージ情報管理システム。
3. 請求項１に記載の貨物ダメージ情報管理システムであって、
   前記ＡＩ画像分析機能は、ダメージの種類とレベルの組合せで判定を行うことを特徴とする貨物ダメージ情報管理システム。
4. 請求項１に記載の貨物ダメージ情報管理システムであって、
   前記貨物ダメージ情報管理装置は、
   貨物情報テーブルとして、前記貨物を特定するキー情報である貨物キーと、利用者が貨物を識別するキー情報と、ダメージレベルとダメージ内容を有し、
   画像情報テーブルとして、前記貨物情報テーブルのレコード１件に対し、０件以上複数の撮影画像情報を保持可能で、前記貨物キー単位に撮影画像毎の画像キーを有し、
   画像付加情報テーブルとして、前記画像情報テーブルのレコード１件に対し、０件以上複数の撮影画像毎のダメージ情報を保持可能で、前記画像情報テーブルに指定された前記貨物キー、前記画像キー単位に、部位とダメージ種別とレベルを保持することを特徴とする貨物ダメージ情報管理システム。
5. 請求項１に記載の貨物ダメージ情報管理システムであって、
   前記貨物ダメージ情報管理装置は、前記貨物ダメージ情報をもとにしたダメージレポートの出力を行うことを特徴とする貨物ダメージ情報管理システム。
6. 請求項１に記載の貨物ダメージ情報管理システムであって、
   顧客システムデータベースを管理する顧客システム情報管理装置を有し、
   前記貨物ダメージ情報管理装置は、前記貨物ダメージ情報と顧客システムデータベースと連携することで前記貨物のダメージに対する分析を行うことを特徴とする貨物ダメージ情報管理システム。
7. 請求項１に記載の貨物ダメージ情報管理システムであって、
   前記貨物ダメージ情報管理装置は同一画像検出機能を有し、
   該同一画像検出機能により前記撮影画像と現工程での同一画像検出を行い、同一画像がある場合は、前記貨物ダメージ情報の登録は行なわず、
   また、前記同一画像検出機能により前記撮影画像と前工程での同一画像検出を行い、同一画像がある場合は、前記貨物ダメージ情報と前工程での同一画像の貨物ダメージ情報と比較しダメージが変化している場合はダメージ情報更新通知処理を行うことを特徴とする貨物ダメージ情報管理システム。
8. 貨物のダメージ情報の管理を行う貨物ダメージ情報管理方法であって、
   前記貨物の撮影画像を取得し、
   該撮影画像と前記貨物を特定するキー情報と共に貨物ダメージ情報として管理し、
   ＡＩ画像分析機能により、前記貨物ダメージ情報として、ダメージの部位、種類、レベルを自動的に判定することを特徴とする貨物ダメージ情報管理方法。
9. 請求項８に記載の貨物ダメージ情報管理方法であって、
   前記ＡＩ画像分析機能はＡＩ画像分析プログラムを実行することで機能し、
   ＡＩ画像分析機能構築装置で構築されたＡＩ画像分析プログラムをインストールすることで前記ＡＩ画像分析機能を実行することを特徴とする貨物ダメージ情報管理方法。
10. 請求項８に記載の貨物ダメージ情報管理方法であって、
    前記ＡＩ画像分析機能は、ダメージの種類とレベルの組合せで判定を行うことを特徴とする貨物ダメージ情報管理方法。
11. 請求項８に記載の貨物ダメージ情報管理方法であって、
    前記貨物ダメージ情報は、
    貨物情報テーブルとして、前記貨物を特定するキー情報である貨物キーと、利用者が貨物を識別するキー情報と、ダメージレベルとダメージ内容を有し、
    画像情報テーブルとして、前記貨物情報テーブルのレコード１件に対し、０件以上複数の撮影画像情報を保持可能で、前記貨物キー単位に撮影画像毎の画像キーを有し、
    画像付加情報テーブルとして、前記画像情報テーブルのレコード１件に対し、０件以上複数の撮影画像毎のダメージ情報を保持可能で、前記画像情報テーブルに指定された前記貨物キー、前記画像キー単位に、部位とダメージ種別とレベルを保持することを特徴とする貨物ダメージ情報管理方法。
12. 請求項８に記載の貨物ダメージ情報管理方法であって、
    前記貨物ダメージ情報をもとにしたダメージレポートの出力を行うことを特徴とする貨物ダメージ情報管理方法。
13. 請求項８に記載の貨物ダメージ情報管理方法であって、
    前記貨物ダメージ情報と顧客システムデータベースと連携することで前記貨物のダメージに対する分析を行うことを特徴とする貨物ダメージ情報管理方法。
14. 請求項８に記載の貨物ダメージ情報管理方法であって、
    同一画像検出機能を有し、
    該同一画像検出機能により前記撮影画像と現工程での同一画像検出を行い、同一画像がある場合は、前記貨物ダメージ情報の登録は行なわず、
    また、前記同一画像検出機能により前記撮影画像と前工程での同一画像検出を行い、同一画像がある場合は、前記貨物ダメージ情報と前工程での同一画像の貨物ダメージ情報と比較しダメージが変化している場合はダメージ情報更新通知処理を行うことを特徴とする貨物ダメージ情報管理方法。

Images