JP2017097853A - 貨物の検査方法及びそのシステム - Google Patents

Abstract

【課題】保安検査のスマート化を図る。【解決手段】貨物の検査方法及びそのシステムを開示している。当該方法は、被検査貨物の透過画像およびＨＳＣＯＤＥを取得するステップと、前記透過画像を処理して注目領域を取得するステップと、前記被検査貨物のＨＳＣＯＤＥを用いて、ＨＳＣＯＤＥに基づいて構築されたモデルをモデルベースから検索するステップと、前記モデルに基づいて前記注目領域に通関申告書に付記されていない貨物があるか否かを判定するステップと、を含む。本発明の構成によれば、コンテナ内の貨物を有効に検査し、通関申告書に付記されていない貨物があるか否かを発見することができる。【選択図】図２

Description

本開示は、放射線イメージングの保安検査分野に関し、特に、コンテナを自動的に検査して虚報／真実を隠した報告があるか否かを特定することに係る。

スマート検査は、保安検査分野でのホットな領域である。インターネット技術が普及され、クラウドコンピューティング（Cloud Computing）も各分野に及ぼしている現在、スマート保安検査は、各国の税関の焦点の問題になっている。保安検査をスマート化すると、クライアントに快速で便利なサービスを提供可能し、保安検査の効率を向上し、捜査の成功率を向上すると共に、税関の調査官に価値あり情報を提供することができる。これは、本分野のメーカーが製品の価値を向上するための重要な目的の一つである。通関申告書／船積書類のデータ(以下、単に通関申告書という)を用いて、画像処理、自然言語処理の方法で画像の単独対照を実現することで、虚報や真実を隠した報告に対する検査を図ることは、スマード化手段の一手法である。

しかしながら、上記した技術は、発展し始め、その手段がまだ不十分で、アルゴリズムやソフトウェアのシステムがクライアントの必要を満たすことができない。例えば、通関申告書の情報に応じて、画像マッチングの手法によって通関申告書を対照する。しかしながら、この技術は理想しすぎ、実際は、効果が低くて、透過画像における厳しい非剛性変形や透過重畳などの状況に適用しにくく、大規模の類別のリアルタイム処理にも適用しにくい。また、ビッグデータの推定において、画像分類アルゴリズムによると、通関申告書の解析および対照を実現することができるが、大規模の分類に対する効果が限定されている。

したがって、現在の通関申告書対照のアルゴリズムは、その効果が、例えば大規模のカテゴリーや、カテゴリー分野の差異性、新なカテゴリーの自己学習、カテゴリー内部の差異、デバイス間の性能の差異、一つのコンテナに複種の貨物がある場合と透過重畳場合の画像領域の区画などの複数要素によって制限されている。従来技術の方法は、これらを解析しないため、実際、ユーザの必要を満たすことが難しい。

本開示は、従来技術における１つ又は複数の課題に鑑みて、貨物の検査方法及びそのシステムを提供する。

本開示の一面は、貨物の検査方法であって、被検査貨物の透過画像およびＨＳＣＯＤＥを取得するステップと、前記透過画像を処理して注目領域を取得するステップと、前記被検査貨物のＨＳＣＯＤＥを用いて、ＨＳＣＯＤＥに基づいて構築されたモデルをモデルベースから検索するステップと、前記モデルに基づいて、前記注目領域に通関申告書に付記されていない貨物があるか否かを判定するステップと、を含む。

好ましくは、前記透過画像を処理して注目領域を取得するステップは、前記被検査貨物のＨＳＣＯＤＥが意味する貨物の種類を示教値として、前記透過画像に対して画像の教師あり分割を行うことで、注目領域として、少なくとも１つの分割領域を取得するステップを含む。

好ましくは、前記モデルに基づいて、前記注目領域に前記通関申告書に付記されていない貨物があるか否かを判定するステップは、各分割領域から特徴を抽出して、各分割領域のテクスチャ描写を取得することで、特徴ベクトルを形成するステップと、前記モデルに含まれる各テンプレートと各分割領域の特徴ベクトルとの類似度が閾値より大きいか否かを判定するステップと、少なくとも１つの分割領域の特徴ベクトルと前記モデルの各テンプレートとの類似度が閾値以下である場合、前記被検査貨物に通関申告書に付記されていない貨物があると特定するステップと、を含む。

好ましくは、前記被検査貨物のＨＳＣＯＤＥを用いて、ＨＳＣＯＤＥに基づいて構築されたモデルをモデルベースから検索するステップは、ローカルモデルベース及び／又はクラウド側モデルベースから、前記ＨＳＣＯＤＥの先端の予定桁に対応する全てのモデルを検索するステップを含む。

好ましくは、検索されたモデルに順序付け、その順序によって前記注目領域に通関申告書に付記されていない貨物があるか否かを判定し、少なくとも１つの分割領域の特徴ベクトルと少なくとも１つのモデルのテンプレートとの類似度が、前記閾値以下であると、前記被検査貨物に通関申告書に付記されていない貨物があると特定する。

好ましくは、ローカルモデルベース及び／又はクラウド側モデルベースのうち、前記ＨＳＣＯＤＥの先端の予定桁に対応する全てのモデルを更新するステップを、さらに含む。

好ましくは、画像のエッジにおいて局所領域のサンプリングを行うことで、サンプリングポイントの多重スケールの周波数領域特徴を抽出し、前記多重スケールの周波数領域特徴に基づいて特徴ベクトルを取得する。

好ましくは、前記通関申告書にＨＳＣＯＤＥが含まれていない場合、前記通関申告書に付記されている貨物の名称に基づいて、前記貨物のＨＳＣＯＤＥを特定する。

好ましくは、各モデルにおけるテンプレートそれぞれは、特徴ベクトルを含み、テンプレートの数量をテンプレート量とし、モデルのテンプレートが当該量に達していない場合、新たなサンプルの特徴ベクトルが直接にテンプレートとして記録され、モデルのテンプレートが当該量に達した場合、モデルにマッチングするサンプルの特徴ベクトルをテンプレートとせず、それとの類似度が最も高いテンプレートの重みのみを増加し、新たなサンプルの特徴ベクトルがモデルのテンプレートにマッチングしないときに、重みが最小であるテンプレートが、新たなサンプルの特徴ベクトルに置き換えられる。

好ましくは、前記モデルは、少なくとも、デバイスのラベル、ＨＳＣＯＤＥのラベル、テンプレートの最大量、各テンプレート、各テンプレートの重み、履歴イメージ・ライブラリにおける各テンプレートの唯一のラベル、類似度閾値の情報を含む。

本開示の他面は、貨物の検査システムであって、被検査貨物の透過画像およびＨＳＣＯＤＥを取得する捜査装置と、前記透過画像を処理して注目領域を取得し、前記被検査貨物のＨＳＣＯＤＥを用いて、ＨＳＣＯＤＥに基づいて構築されたモデルをモデルベースから検索して、前記モデルに基づいて、前記注目領域に通関申告書に付記されていない貨物があるか否かを判定するデータ処理装置と、を備える。

本発明の構成によると、コンテナ内の貨物の画像のうち、通関申告書のデータでの申告と一致しない領域があることを検出することで、その領域が虚報又は真実を隠した報告であると認定することができる。

本開示をより良好に理解するように、以下の図面に基づいて本開示の実施例を説明する。

図１Ａは、本開示の実施例による貨物検査システムの構成模式図を示す。 図１Ｂは、本開示の実施例による貨物検査システムの構成模式図を示す。 図２は、本開示の実施例による貨物の検査方法の模式的フローチャートである。 図３は、本開示の実施例においてＨＳＣＯＤＥモデルを構築且つ訓練する方法の模式的フローチャートである。 図４は、本開示の実施例において構築されたモデルによって検査を行う方法の模式的フローチャートである。 図５は、本開示の実施例において構築されたモデルをオンラインで更新する模式的フローチャートである。

図面には、実施例における全ての回路又は構成が示されていない。図面で、同じ符号は、同じ又は類似する部品又は特徴を示す。

以下、本発明の具体的な実施例について詳細に説明する。なお、ここで説明する実施例は、例示的なもので、本発明を限定するものではないことに注意すべきである。以下の説明において、本発明を詳細に理解させるために、特定の細部がたくさん描かれている。しかし、当業者は、これらの特定の細部を採用しなくても本発明を実現可能であることを理解できるだろう。他の実施例においては、本発明との混同を避けるために、周知の回路、材料または方法に対する具体的な説明を省略している。

本明細書において、「一の実施例」、「実施例」、「一の例示」または「例示」は、該実施例または例示を組み合わせて描いた特定の特徴、構造または特性が、本発明の少なくとも一の実施例に含まれることを意味する。したがって、本明細書の各箇所に現れている「一の実施例において」、「実施例において」、「一の例示」または「例示」は、必ず同一の実施例または例示を指すものではない。また、いずれの適宜の組み合わせ及び／又はサブ組み合わせによって、特定の特徴、構造または特性を一つ又は複数の実施例または例示に組み合わせることができる。また、当業者は、ここで提供される図面は説明のためであり、比例的に描いているものではないことを理解できるだろう。ここで、「及び／又は」という用語は、一つ又は複数の関連するアイテムの任意の組み合わせ及び全ての組み合わせを含む。

図１Ａ及び図１Ｂは、本開示の一実施形態による検査システムの構成模式図である。図１Ａは、検査システムの上面模式図を示し、図１Ｂは、検査システムの正面模式図を示す。図１Ａ及び図１Ｂに示すように、Ｘ線源１１０から発生されたＸ線は、コリメータ１２０によって視準された後、移動するコンテナ付きトラック１４０に対して保安検査を行う。そして、トラックを透過した放射線は、検出器１５０によって受信され、コンピュータ等のデータ処理装置１６０によって透過画像が取得される。

本発明の実施例によれば、走査によってコンテナ付きトラック１４０の透過画像を取得した後に、データ処理装置１６０によって透過画像を処理し、注目領域を取得する。そして、被検査貨物のＨＳＣＯＤＥを用いて、ＨＳＣＯＤＥに基づいて構築されたモデルをモデルベースから検索し、且つ、前記モデルに基づいて前記注目領域に通関申告書に付記されていない貨物があるか否かを判定する。このように、コンテナの貨物に虚報／真実を隠した報告があるか否かを自動的に検査することができる。

本開示で、世界税関機関で規定されたＨＳＣＯＤＥ(The Harmonization SystemにおけるCode)を貨物の唯一のラベルとして、対照を行う。即ち、ＨＳＣＯＤＥごとに、該当ＨＳＣＯＤＥに対応する貨物の画像特徴を描写可能な特徴空間を含むモデルを構築する。ある実施例において、カテゴリーが複数階層の構造である課題に対して、それぞれモデル化して、対照する際に各層ごとにマッチングする手法を採用する。例えば、世界で汎用されるＨＳＣＯＤＥは、６桁のコードであり、その後の桁は各国家が自分で定義している。２０１３年の中国税関の輸出入貨物でよく用いられるＨＳＣＯＤＥにおいて、二級(８桁)コードが６３４１種あり、三級(１０桁)コードが６７３５種あって、合計１３０７６のコードであった。汎用性のために、モデルは、３層の６桁、８桁、１０桁に振り分けて構築される。物体が１０桁のコード 「０１２３４５６７８９」である場合、マッチングする時、６桁のモデルは「０１２３４５」と、８桁のモデルは「０１２３４５６７８」と、１０桁のモデル「０１２３４５６７８９」とマッチングし、カテゴリーが大規模で、カテゴリー分野の差異性およびカテゴリー内の差異が大きい課題を解決する。

図２は、本開示の実施例による貨物の検査方法を示す模式的フローチャートである。図２に示すように、ステップＳ２１において、被検査貨物の透過画像およびＨＳＣＯＤＥを取得する。例えば、図１Ａ及び図１Ｂに示す走査機器によって被検査コンテナの透過画像を取得し、通関申告書からＨＳＣＯＤＥを取得する。通関申告書にＨＳＣＯＤＥがない場合、貨物の名称に応じて対応するＨＳＣＯＤＥを特定する。

ステップＳ２２において、前記透過画像を処理して、注目領域を取得する。例えば、機器特性の不一致による影響をできるだけ低減するように、貨物の領域を抽出する。まず、背景及び空気による減衰を除去し、行／列のスジを除去するなどの画像処理操作によって、正規化する。次に、二値化やエッジの抽出、コンテナのエッジ検出などの操作によって、貨物の領域を取得する。

ステップＳ２３において、前記被検査貨物のＨＳＣＯＤＥを用いて、モデルベースからＨＳＣＯＤＥに基づいて構築されたモデルを検索する。ステップＳ２４において、前記モデルに基づいて、前記注目領域に通関申告書に付記されていない貨物があるか否かを判定する。

本開示は、デバイス間の差異を覆うために、デバイス側モデル（ローカルモデル）とクラウド側モデルを構築する。算出センターからのクラウド側モデルは、オンラインで更新され、最も完璧なＨＳＣＯＤＥのカテゴリーを保持しているが、デバイス間の差異を正規化したため、正確性がローカルモデルより低い。ローカルモデルは、デバイス側で十分な履歴画像を蓄積した上で構築されたため、当該デバイスとより合うが、ＨＳＣＯＤＥのカテゴリーがクラウド側より少ない。新たなデバイスについて、それ自身がローカルモデルを具備しないため、クラウド側モデルを使用するしかない。十分な画像を蓄積して訓練することによってデバイス側モデルを構築した後、対照するとき、クラウド側モデルでなくローカル側モデルを自動的に選択する。クラウド側モデルは、オンラインで使用することに限定されない。つまり、クラウド側モデルは、オフラインで使用されてもよく、タイミング同期によって使用されてもよいモデルである。

なお、解析待ち画像に対して、ユーザから指示を受けると、その特徴をローカルモデル及びクラウド側モデルに更新して、自己学習を図る。この更新は、対応するＨＳＣＯＤＥモデルの新たな生成、又は、現在のモデルに対する補正である。

一つのコンテナに複数の貨物がある状況は、従来の技術で解決しにくい課題であった。それは、ある程度の結果しか得られなかった。実は、デバイスの不一致性の影響を受けて、通関申告書データの示教下での多義性による複雑な分割の問題である。例えば、デバイスが異なると、通関申告書のデータは、複数の示教値 (例えば、貨物の種類、各種類の詳細、単位重量など)を提供し、画像の各画素が複数の貨物に属する可能性がある。そして、上記した要素の表す形態が一致せず、且つ正確でないため、複雑になる。これらの問題は、テクスチャ画像の教師あり領域分割アルゴリズムによって解決することができる。

従来技術の課題に対して、本開示は、ＨＳＣＯＤＥに基づいて通関申告書の対照を実現する手段を提出する。ＨＳＣＯＤＥモデルは、複数階層の構造を有し、ローカル／クラウドのダブルモデルを利用する。また、テクスチャ画像の教師あり分割および領域テクスチャ描写によって、特徴を抽出し、特徴間の距離を類似度の指標とする。最大差別化の原理によってＨＳＣＯＤＥモデルを更新し、システムの自己学習を実現することができる。

ＨＳＣＯＤＥに基づいて通関申告書の対照を実現する。ＨＳＣＯＤＥごとにモデルを構築し、モデルは、ＨＳＣＯＤＥ側から見ると、６桁／８桁／１０桁の階層構造であり、デバイス側から見ると、ローカルモデル側のモデルとクラウド側のモデルに振り分けられる。通関申告書の対照に対して、ＨＳＣＯＤＥは必要不可欠なものではない。例えば、通関申告書に、貨物の名称のみがあって、コードがない場合もある。一般的な方法として、名称の解析やテキストの検索によって対応する履歴画像を取得し、履歴画像に応じて対照を行う。好ましくは、コードがない通関申告書に対して、貨物の名称とＨＳＣＯＤＥとのマッピングによってＨＳＣＯＤＥを取得することで、対応するモデルを検索する。デバイスの不一致による影響を低減するために、デバイスに関連するローカルモデルを訓練させる。ローカルモデルを具備しない場合、デバイスと無関係のクラウド側モデルを用いる。クラウド側モデルは、継続に更新されるため、最も多いモデルを保持している。ローカルモデルは、クラウド側モデルに関係なく、完全に同じものであってもよいし、異なるアルゴリズムを採用してもよい。

ＨＳＣＯＤＥによる貨物の種類を示教値とし、画像の教師あり分割を行い、分割領域ごとに領域テクスチャ描写である特徴ベクトルを取得する。ＨＳＣＯＤＥのモデルには、複数の履歴画像の特徴ベクトルが格納されている。特徴ベクトル間の距離は、類似度である。好ましくは、未知のサンプル特徴とモデルのうち複数のベクトル（即ち、テンプレート）との最大類似度が、サンプルと当該ＨＳＣＯＤＥとの類似度である。ここで、貨物画像の領域区画や特徴の抽出を実現するには、複数の方法があるが、例えば、画像列のクラスタリング方法によって領域を分割し、画像特徴ｐａｔｃｈ及びその統計量によって特徴を形成してもよい。

上記モデルは、自己学習の機能を有してもよいが、オンラインでの構築及び更新を含む。本開示は、最大差別化原理によってＨＳＣＯＤＥモデルを更新する。モデルを制御可能にし、サンプルの不一致による影響を低減するために、各モデルの特徴を「テンプレート」と称し、テンプレートの数量を「テンプレート量」と称する。モデルにおけるテンプレートが当該量を満たさない場合、新たなサンプルの特徴を直接にテンプレートとして記録する。そして、モデルにおけるテンプレートが当該量に達する場合、モデルにマッチングするサンプルはテンプレートにならず、それとの類似度が最も高いテンプレートの重みを増加し、新たなサンプルがモデルにマッチングしないときに、重みが最も小さいテンプレートが新たなサンプルの特徴に置き換えられる。これにより、ＨＳＣＯＤＥのテンプレートは、差異の最も大きいテンプレートになり、該当モデルの特徴空間を支持する。最大差別化原理は、色々なオンライン学習方法によって実現されることに留意すべきである。

本発明を具体的に実現するとき、訓練と、使用と、オンライン更新という３つの要素に基づく。訓練は、画像を正規化し且つ貨物の有効領域を取得するステップと、有効領域の特徴を抽出するステップと、 ＨＳＣＯＤＥモデルを構築するステップと、を含む。使用は、画像を正規化し且つ貨物の有効領域を取得するステップと、画像に対して教師あり分割を行うステップと、モデルをローディングするステップと、領域の特徴を抽出するステップと、特徴をモデルにマッチングさせるステップと、を含む。オンライン更新では、サンプルが通関申告書に合わせることを確認した場合、新たなモデルを構築、又は、既存のモデルを更新する。

図３は、本開示の実施例においてＨＳＣＯＤＥモデルを構築して訓練させる方法の模式的フローチャートである。図３に示すように、ステップＳ３１で、サンプルの画像を取得し、ステップＳ３２で、画像を正規化して貨物の有効領域を取得する。貨物の領域を抽出すると共にデバイスの物理特性の不一致による影響を低減するために、まず、背景及び空気による減衰を除去し、行／列のスジを除去するなどの画像処理操作によって、正規化を実現する。そして、二値化、エッジ抽出、コンテナのエッジ検出などの操作によって、貨物の領域を取得する。

ステップＳ３３で、有効領域の特徴を抽出する。好ましくは、統計的テクスチャの特徴、特にエッジサンプリングによる統計的テクスチャの特徴を選択して、領域を描写することができる。例えば、ｉ）エッジ情報を強調し、画像のエッジ部分で局所領域のサンプリングを行う。ｉｉ）テクスチャの特性を強調するために、本開示は、ｔｅｘｔｏｎによってサンプリングポイントの多重スケールの周波数領域特徴を抽出する。ｉｉｉ）これらのテクスチャ特徴の統計的特性を有効に描写するために、ｆｉｓｈｅｒ ｖｅｃｔｏｒによって、最終の特徴ベクトルを取得する。当業者は、当該アルゴリズムの他の形態を容易に想到し得るだろう。例えば、エッジサンプリングの代わりに、ＨＡＲＲＩＳ等のコーナー検出方法を使用してもよく、ｔｅｘｔｏｎの代わりに、ＳＩＦＴやＨＯＧ等の描写を使用し、例えばＳＣＳＰＭ(Ｓｐａｒｓｅ Ｃｏｄｉｎｇ Ｓｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｍａｔｃｈｉｎｇ)のようなｂａｇ ｏｆ ｗｏｒｄｓの他の形態、Ｒ―ＣＮＮ(Ｒｅｇｉｏｎｓ ｗｉｔｈ ＣＮＮ ｆｅａｔｕｒｅｓ)のようなＤｅｅｐ Ｌｅａｒｎｉｎｇ形態によって特徴ベクトルを取得してもよい。

訓練における特徴の抽出は、他の要素と異なることに留意すべきである。イメージ・ライブラリにおける画像のｔｅｘｔｏｎ特徴全体を抽出した後、全てのｔｅｘｔｏｎに基づいて Ｆｉｓｈｅｒ Ｖｅｃｔｏｒに必要な確率辞書モデルを訓練させる。確率辞書モデルを取得した後に、各画像のｔｅｘｔｏｎをＦｉｓｈｅｒ Ｖｅｃｔｏｒに変更する。使用及び更新において、確率辞書モデルは既知のものであり、画像又は領域を入力するとＦｉｓｈｅｒ Ｖｅｃｔｏｒ特徴を取得することができる。Ｆｉｓｈｅｒ Ｖｅｃｔｏｒが公知のアルゴリズムであるため、ここではその説明を省略する。

なお、一般的に、訓練は、データの一括処理である。モデルの正確性を保証するために、これらのデータは、「疑いがない」と認められ、且つ一種の貨物のみを含むことになる。つまり、ＨＳＣＯＤＥの１つのみの貨物の画像が訓練に移行する。そうでなければ、各ＨＳＣＯＤＥに属する領域の位置を人工的にラベル化してこそ訓練サンプルの正確性を保証することができる。

ステップＳ３４で、入力された画像に対応する通関申告書を取得する。ステップＳ３５で、ＨＳＣＯＤＥモデルを構築する。ＨＳＣＯＤＥモデルは、ローカルモデルと、クラウド側モデルに振り分けられる。クラウド側モデルは、多くの履歴画像に応じて訓練を行って、ユーザに提供されるが、ローカルファイルとして、履歴画像を含まない新しい製品に内蔵される。ローカルモデルは、ユーザが多くの画像(例えば、２万以上)を蓄積した後オフラインで訓練を行う。クラウド側モデルは、リアルタイム及びオフラインの２つの更新形態によって、最大のモデル集合を保持する。ローカルモデルを更新すると共に、クラウド側モデルも更新する。ローカルモデルとクラウド側モデルが同時に存在する時、優先的にローカルモデルにマッチングする。ローカルモデルが存在し且つテンプレートが十分である場合、ローカルモデルのみを用いるように配置してもよい。

ＨＳＣＯＤＥモデルは、６桁／８桁／１０桁の階層的な構造である。桁が多いモデルに優先的にマッチングする。即ち、優先度は、１０桁＞８桁＞６桁である。上記した「優先的にマッチングする」ことは、ある領域が、１０桁のモデルＡ及び８桁のモデルＢにマッチングした場合、この領域がモデルＡに属すると考える意味である。

ＨＳＣＯＤＥモデルは、特徴抽出のアルゴリズムに関連する。本開示の実施例において、ＨＳＣＯＤＥモデルは、「デバイス番号、ＨＳＣＯＤＥラベル、テンプレートの最大量、各テンプレート、各テンプレートの重み、履歴イメージ・ライブラリでの各テンプレートの唯一のラベル、類似度の閾値」の７つの要素からなる。各要素の意味は、以下の通りである。

デバイス番号：このモデルがどのデバイスに属するかを意味する。クラウド側モデルであると、ラベルは、「ＣＬＯＵＤ」である。

ＨＳＣＯＤＥラベル：ＨＳＣＯＤＥコードであり、６／８／１０桁である。
テンプレートの最大量：全てのモデルで一致しているが、異なるデバイスに対して、ローカルモデルのテンプレートの最大量を配置してもよい。この量が大きいほど、貨物の不一致に対する描写は良好になるが、正確率の低下を伴う。実際の適用において、１０〜２０の量は、比較的に良好な効果を得ることができる。

各テンプレート：ＨＳＣＯＤＥに対応する貨物の領域の統計的テクスチャの特徴であり、本実施例ではＦｉｓｈｅｒ Ｖｅｃｔｏｒである。最大量は、「テンプレートの最大量」に等しく、その次元は、Ｆｉｓｈｅｒ Ｖｅｃｔｏｒの確率辞書モデルによって特定される。

各テンプレートの重み：各テンプレートは、それぞれ重みを有し、それらの合計は「１」である。重みが大きいほど、該当テンプレートはＨＳＣＯＤＥを代表することができる。重みが小さいほど、新たなサンプルの特徴に置き換えられる可能性が高くなる。

履歴イメージ・ライブラリにおける各テンプレートの唯一のラベル：オリジナル画像から取得された各テンプレートは、その特徴をモデルに記録すると共に、シーケンス番号、船積書類番号などの唯一のラベルも記録する。アプリケーションは、このようなラベルによって対応する履歴画像を検査すすることができる。

類似度の閾値：特徴とテンプレートとの距離がこの閾値以上であると、マッチングすることを意味し、そうでなければ、マッチングしないことを意味する。この閾値は、デフォルト値であってもよいし、ユーザの設定値であってもよいし、自己適応の閾値であってもよい。自己適応の閾値は、初期化された後、モデルの更新に従って調整される。その実施例は、後述する。

ステップＳ３３で、既知のＨＳＣＯＤＥのＦｉｓｈｅｒ Ｖｅｃｔｏｒ特徴をそれぞれ取得する。特徴の数量が、設定されたテンプレートの最大量より小さい場合、特徴に同じ重みを付け、他の必要する情報と共にＨＳＣＯＤＥモデルに記録する。特徴の数量が、設定されたテンプレートの最大量より大きい場合、色々な形態によってサンプルの空間を形成することができる。

図４は、本開示の実施例で構築されたモデルを用いて検査を行う方法の模式的フローチャートである。

図４に示すように、ステップＳ４１で、被検査貨物の画像を入力する。例えば、デバイスに対する走査によって、被検査貨物の透過画像を取得する。そして、ステップＳ４２で、画像を正規化し、貨物の有効領域を抽出する。例えば、貨物の領域を抽出すると共にデバイスの物理特性の不一致による影響を低減するために、背景及び空気による減衰を除去し、行／列のスジを除去するなどの画像処理操作によって、正規化を実現する。そして、二値化やエッジ抽出、コンテナのエッジ検出などの操作によって、貨物の領域を取得する。

ステップＳ４３で、画像に対応する通関申告書を取得する。そして、ステップＳ４４で、画像の教師あり分割を行う。一般的な画像分割との区別は、通関申告書に応じて貨物の種類が規定されていることである。即ち、理想的な画像のうちカテゴリーの番号が貨物の種類を超えてはいけない。これによれば、画像の教師あり分割アルゴリズムによって異なる貨物の領域を取得することができる。ある実施例において、テクスチャ分割によって、貨物画像の分割を実行する。

ステップＳ４５で、有効領域の特徴の抽出を行う。このステップは、図３のステップＳ３３に類似するため、ここでは詳細な説明を省略する。ステップＳ４６で、モデルをローディングする。例えば、ＨＳＣＯＤＥを用いて、対応するモデルをローディングする。ＨＳＣＯＤＥには異なるデバイスの階層構造があるため、色々な手段によって、ローディングされるモデルを選択することができる。例えば、ローカルモデル、クラウド側モデルにおける該当番号の先端の６、８、１０桁にマッチングするモデルをローディングする「最大ローディングモード」を使用してもよい。または、ローカルモデルのＨＳＣＯＤＥに完璧にマッチングするモデルのみをローディングする「最小ローディングモード」を使用してもよい。ある実施例において、同一ＨＳＣＯＤＥでローディングされるモデルを優先度の順に配列する。

ステップＳ４７で、特徴とモデルとのマッチングを行う。例えば、未知領域のＦｉｓｈｅｒ Ｖｅｃｔｏｒ特徴を求めると、余弦距離によって特徴とテンプレート間の距離を計測するが、余弦距離が大きいほど類似度が大きくなる。本実施例では、テンプレートとモデルとの類似度として、モデルの各テンプレートとマッチング待ち特徴との最大類似度を採用する。

ステップＳ４６でモデルが優先度に従って配列されたため、このステップでは、モデルへのマッチングおよび算出の停止の問題に直面することになる。このステップで、未知領域の数量を行とし、ＨＳＣＯＤＥの数量を列とした行列式である「類似度のマトリックス」を取得することができる。一方、一の領域が複数のＨＳＣＯＤＥにマッチング可能であり、一のＨＳＣＯＤＥが複数の領域にマッチング可能であることに留意すべきである。これは、透過画像自身の多義性によって決められ、分割、類似度計測などのアルゴリズムの性能にも関連するからである。

ある領域を、既にローディングされたモデルのどちらにもマッチングさせない場合、それは虚報又は真実を隠した報告になる。

なお、本実施例において、ＨＳＣＯＤＥのモデルに「履歴イメージ・ライブラリにおけるテンプレートの唯一のラベル」が記録されており、マッチングの結果として、アプリケーションに伝送される。このラベルに応じて、画像領域の履歴画像での最も近接する画像を検出することができる。

図５は、本開示の実施例においてオンライン更新によって構築されるモデルの模式的フローチャートである。実際、更新は、モデルのオンライン学習の過程であり、色々なオンラインクラスタリングのアルゴリズムによって完成されることができる。例えば、オンラインでのＫ平均法などを使用可能である。

図５に示すように、ステップＳ５０１で、領域のＨＳＣＯＤＥを取得する。例えば、オンライン更新の入力は、ＨＳＣＯＤＥ及び画像領域である。ステップＳ５０２で、モデルをローディングする。更新にも、色々な方法があるが、例えば、ローカルモデル、クラウド側モデルにおける該当番号の先端の６、８、１０桁にマッチングするモデルをローディングする「最大更新モード」を使用してもよい。または、ローカルモデルのＨＳＣＯＤＥに完璧にマッチングするモデルのみをローディングする「最小更新モード」を使用してもよい。

ステップＳ５０１、Ｓ５０２で、画像領域のＨＳＣＯＤＥを取得し、モデルをローディングする。ステップＳ５０５、Ｓ５０６で、貨物の有効領域を取得し、当該領域から特徴を抽出する。ステップＳ５０３で、モデルのテンプレート量が所定値より小さい場合、ステップＳ５０４で、特徴をそのままテンプレートとして追加する。テンプレート量が最大値に達した場合、ステップＳ５０７で、マッチングさせる。マッチングすると、ステップＳ５０８で、マッチングされるテンプレートの重みを増加する。そして、マッチングしないと、ステップＳ５０９で、当該特徴に応じて、重みが最小であるテンプレートを置き換える。そして、ステップＳ５１０で、重みを正規化し、ステップＳ５１１で、各モデルを格納する。

モデルが存在しない状況は、更新の特例であり、この場合は、重みが１である特徴を１つのみ含む新たなモデルを作成する。

また、更新は、閾値の自己適応調整に関する。更新する時、マッチングのステップを経由する場合、全てのマッチング値はヒストグラムの形態で記録される。このヒストグラムの内容は、全ての正確にマッチングされた点数の分布である。仮に、デフォルトのリスクコントロールが、５％の貨物を人工的に検査する必要があると規定している場合、閾値が、点数分布の蓄積量が５％に達する位置に自己適応され、リスクコントロールでの閾値の自己適応調整を図ることができる。

以上に示す詳細の記載は、模式図、フローチャット及び／又は例示によって、検査方法およびシステムに係る複数の実施例を説明した。このような模式図、フローチャット及び／又は例示が、一つ又は複数の機能及び／又は操作を含む場合に、当業者は、このような模式図、フローチャット又は例示における各機能及び／又は操作が、色々なハードウェア、ソフトウェア、ファームウェア又は実質上のこれらの任意の組み合わせによって、個別及び／又は共同で実現可能であることを理解できるだろう。一つの実施例において、本発明の実施例の前記主題のいくつかの部品は、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、またはその他の集積フォーマットで実現できる。当業者は、ここで開示された実施例の一方が、全体または部分的に集積回路で等価的に実現されてもよいことを理解できるだろう。例えば、一つ又は複数のコンピュータで実行される一つ又は複数のコンピュータプログラム（例えば、一つ又は複数のコンピュータシステムによって実行される一つ又は複数のプログラム）によって実現されてもよく、一つ又は複数のプロセッサで実行される一つ又は複数のプログラム（例えば、一つ又は複数のマイクロプロセッサで実行される一つ又は複数のプログラム）によって実現されてもよく、ファームウェア又は実質上に上記形態のいずれの組み合わせによって実現されてもよい。また、当業者は、本開示を元に、回路の設計及び／又はソフトウェアの書き込み及び／又はファームウェアのコーディングの能力を備えることになろう。また、当業者は、本開示のメカニズムは、複数の形態のプログラム製品として発行されてもよく、発行を支持する信号担体媒体の具体的な類型が何になっても、本開示の例示的な実施例は依然として適用可能であることを理解できるだろう。信号担体媒体の例示として、例えば、ソフトディスク、ハートディスクドライバ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、コンピュータメモリ等の記録可能な記録媒体や、デジタル及び／又はアナログ通信媒体（例えば、光ファイバ、導波管、有線通信リング、無線通信リング等）の搬送媒体を含むが、これらに限定されない。

以上、本発明の典型的な実施例に基づいて本発明を説明したが、当業者は、使用された用語が、説明および例示のためであり、本発明を限定するものではないことを理解すべきである。また、本発明は、精神及び主旨を逸脱しない限り、色々な形態で具体的に実施できるため、上記した実施例は、前述の詳細に限らず、特許請求の範囲内で広く解釈すべきである。特許請求の範囲または等価範囲内での全ての変更や改良は、特許請求の範囲に含まれる。

Claims (11)

1. 被検査貨物の透過画像およびＨＳＣＯＤＥを取得するステップと、
   前記透過画像を処理して注目領域を取得するステップと、
   前記被検査貨物のＨＳＣＯＤＥを用いて、ＨＳＣＯＤＥに基づいて構築されたモデルをモデルベースから検索するステップと、
   前記モデルに基づいて、前記注目領域に通関申告書に付記されていない貨物があるか否かを判定するステップと、を含む貨物の検査方法。
2. 前記透過画像を処理して注目領域を取得するステップは、
   前記被検査貨物のＨＳＣＯＤＥが意味する貨物の種類を示教値として、前記透過画像に対して画像の教師あり分割を行うことで、注目領域として、少なくとも１つの分割領域を取得するステップを含む請求項１に記載の貨物の検査方法。
3. 前記モデルに基づいて、前記注目領域に前記通関申告書に付記されていない貨物があるか否かを判定するステップは、
   各分割領域から特徴を抽出して、各分割領域のテクスチャ描写を取得することで、特徴ベクトルを形成するステップと、
   前記モデルに含まれる各テンプレートと各分割領域の特徴ベクトルとの類似度が閾値より大きいか否かを判定するステップと、
   少なくとも１つの分割領域の特徴ベクトルと前記モデルの各テンプレートとの類似度が閾値以下である場合、前記被検査貨物に通関申告書に付記されていない貨物があると特定するステップと、を含む請求項２に記載の貨物の検査方法。
4. 前記被検査貨物のＨＳＣＯＤＥを用いて、ＨＳＣＯＤＥに基づいて構築されたモデルをモデルベースから検索するステップは、
   ローカルモデルベース及び／又はクラウド側モデルベースから、前記ＨＳＣＯＤＥの先端の予定桁に対応する全てのモデルを検索するステップを含む請求項３に記載の貨物の検査方法。
5. 検索されたモデルに順序付け、その順序によって前記注目領域に通関申告書に付記されていない貨物があるか否かを判定し、
   少なくとも１つの分割領域の特徴ベクトルと少なくとも１つのモデルのテンプレートとの類似度が、前記閾値以下であると、前記被検査貨物に通関申告書に付記されていない貨物があると特定する請求項４に記載の貨物の検査方法。
6. ローカルモデルベース及び／又はクラウド側モデルベースのうち、前記ＨＳＣＯＤＥの先端の予定桁に対応する全てのモデルを更新するステップを、さらに含む請求項３に記載の貨物の検査方法。
7. 画像のエッジにおいて局所領域のサンプリングを行うことで、サンプリングポイントの多重スケールの周波数領域特徴を抽出し、前記多重スケールの周波数領域特徴に基づいて特徴ベクトルを取得する請求項３に記載の貨物の検査方法。
8. 前記通関申告書にＨＳＣＯＤＥが含まれていない場合、前記通関申告書に付記されている貨物の名称に基づいて、前記貨物のＨＳＣＯＤＥを特定する請求項１に記載の貨物の検査方法。
9. 各モデルにおけるテンプレートそれぞれは、特徴ベクトルを含み、
   テンプレートの数量をテンプレート量とし、
   モデルのテンプレートが当該量に達していない場合、新たなサンプルの特徴ベクトルが直接にテンプレートとして記録され、
   モデルのテンプレートが当該量に達した場合、モデルにマッチングするサンプルの特徴ベクトルをテンプレートとせず、それとの類似度が最も高いテンプレートの重みのみを増加し、新たなサンプルの特徴ベクトルがモデルのテンプレートにマッチングしないときに、重みが最小であるテンプレートが、新たなサンプルの特徴ベクトルに置き換えられる請求項１に記載の貨物の検査方法。
10. 前記モデルは、少なくとも、デバイスのラベル、ＨＳＣＯＤＥのラベル、テンプレートの最大量、各テンプレート、各テンプレートの重み、履歴イメージ・ライブラリにおける各テンプレートの唯一のラベル、類似度閾値の情報を含む請求項１に記載の貨物の検査方法。
11. 被検査貨物の透過画像およびＨＳＣＯＤＥを取得する捜査装置と、
    前記透過画像を処理して注目領域を取得し、前記被検査貨物のＨＳＣＯＤＥを用いて、ＨＳＣＯＤＥに基づいて構築されたモデルをモデルベースから検索して、前記モデルに基づいて、前記注目領域に通関申告書に付記されていない貨物があるか否かを判定するデータ処理装置と、を備える貨物の検査システム。

Images