BR102016022619A2

BR102016022619A2 - métodos e sistemas para inspecionar mercadorias

Info

Publication number: BR102016022619A2
Application number: BR102016022619A
Authority: BR
Inventors: Cheng Cun; Fu Gang; Zhang Jian; Gu Jianping; Zhang Li; Li Qiang; Liu Yaohong; Chen Zhiqiang; Zhao Ziran
Original assignee: Nuctech Co Ltd
Priority date: 2015-11-18
Filing date: 2016-09-29
Publication date: 2017-05-23
Also published as: KR101917000B1; US10262410B2; WO2017084408A1; JP6632953B2; EP3171332A1; CN106706677B; KR20170058263A; US20170140526A1; SG10201607955PA; PL3171332T3; CN106706677A; JP2017097853A; EP3171332B1

Abstract

métodos e sistemas para inspecionar mercadorias, que inclui as etapas de: obter uma imagem de transmissão e um código hs de mercadorias inspecionadas; processar a imagem de transmissão para obter uma região de interesse; recuperar, a partir de uma biblioteca de modelos, um modelo criado com base no código hs, de acordo com o código hs das mercadorias inspecionadas; e determinar se há quaisquer mercadorias não registradas em uma declaração de alfândega que estejam contidas na região de interesse com base no modelo, sedno que com esta solução, é possível inspecionar mercadorias em um container de maneira eficiente, de modo a descobrir se são mercadorias não indicadas na declaração de alfândega que estão ocultas no container.

Description

MÉTODOS E SISTEMAS PARA INSPECIONAR MERCADORIAS

[001] CAMPO DA TÉCNICA

[002] A presente revelação refere-se a inspeção de segurança através de imageamento por radiação e, mais particularmente, a inspeção automática de containers para determinar onde há uma declaração falsa ou escondida.

[003] ANTECEDENTES

[004] Inspeção inteligente tornou-se um ponto crítico no desenvolvimento de inspeção de segurança. Atualmente, à medida que a tecnologia da Internet se tornou amplamente popular e a computação em nuvem tem sido aplicada a várias indústrias, a inspeção de segurança inteligente tem atraído mais e mais atenção de alfândegas globalmente. A inspeção de segurança inteligente pode não apenas fornecer serviços mais rápidos e mais convenientes e uma eficiência de inspeção de segurança aperfeiçoada a clientes, mas também oferecer informações mais valiosas a inspetores de alfândega enquanto uma taxa de apreensão melhorada é alcançada e é atualmente, desse modo, uma das abordagens principais para vendedores aumentarem valores de seus produtos. Um dos esquemas inteligentes é usar os dados de declaração de alfândega / manifesto (denominada declaração de alfândega doravante no presente documento) e realizar uma comparação entre imagem e declaração por meio de processamento de imagens e interpretação de semântica, de modo a encontrar declarações falsas ou ocultas.

[005] Entretanto, uma vez que o desenvolvimento dessa técnica ainda está em sua fase inicial, os esquemas não são maduros e os algoritmos ou sistemas de software não podem satisfazer completamente as exigências de usuários. Por exemplo, foi proposto o uso de informações de declaração de alfândega e a realização de comparação com a declaração de alfândega por meio de correlação de imagem. Entretanto, essa técnica é muito idealista e tem efeitos práticos ruins. É difícil de ser aplicada a situações em que há deformações não rígidas severas ou sobreposições de perspectiva em imagens de perspectiva. Também é difícil de ser aplicada em processamento em tempo real de um número grande de categorias. Adicionalmente, com a dedução de um grande volume de dados, algoritmos de classificação de imagem podem ser usados para analisar e comparar declarações de alfândega. Entretanto, essa solução tem um efeito limitado quando há um grande número de categorias.

[006] Portanto, os efeitos das soluções convencionais para algoritmos de comparação de declaração de alfândega podem depender de vários fatores, tais como um grande número de categorias, diferenças regionais entre categorias, autoaprendizado para novas categorias, uma grande diferença dentro de uma categoria, uma diferença entre desempenhos de diferentes dispositivos e uma discriminação entre regiões de imagem quando múltiplas mercadorias estão contidas em um container e quando há uma sobreposição de perspectiva. As soluções convencionais não consideram esses fatores e, desse modo, não podem satisfazer as exigências de usuário na prática.

[007] SUMÁRIO

[008] Em vista dos problemas do estado da técnica, a presente invenção fornece um método e um sistema para inspecionar mercadorias.

[009] De acordo com um aspecto da presente invenção, é fornecido um método para inspecionar mercadorias. O método compreende as etapas de: obter uma imagem de transmissão e um código do código da nomenclatura do Sistema Harmonizado - Código HS de mercadorias inspecionadas; processar a imagem de transmissão para obter uma região de interesse; recuperar, a partir de uma biblioteca de modelos, um modelo criado com base no Código HS, de acordo com o Código HS da nomenclatura do Sistema Harmonizado das mercadorias inspecionadas; e determinar se há quaisquer mercadorias não registradas em uma declaração de alfândega que estejam contidas na região de interesse com base no modelo.

[010] Preferencialmente, a etapa de processamento da imagem de transmissão para obter a região de interesse compreende: aplicar uma segmentação de imagem supervisionada à imagem de transmissão, com uma categoria de mercadorias representada pela nomenclatura do Sistema Harmonizado - Código HS das mercadorias inspecionadas como um valor de supervisão, para obter pelo menos uma região segmentada como a região de interesse.

[011] Preferencialmente, a etapa de determinação se há quaisquer mercadorias não registradas na declaração de alfândega que estejam contidas na região de interesse com base no modelo compreende: obter uma descrição de textura de cada região segmentada aplicando-se uma extração de recursos à região segmentada, de modo a formar um vetor de recursos; determinar se uma similaridade entre o vetor de recursos de cada região segmentada e respectivos gabaritos incluídos no modelo é maior do que um limite; e determinar se existem mercadorias não registradas na declaração de alfândega que estejam contidas nas mercadorias inspecionadas quando a similaridade entre o vetor de recursos de pelo menos uma região segmentada e os respectivos gabaritos incluídos no modelo não é maior do que o limite.

[012] Preferencialmente, a etapa de recuperação, a partir da biblioteca de modelos, do modelo criado com base no Código HS de acordo com o Código HS das mercadorias inspecionadas compreende: recuperar, a partir de uma biblioteca de modelos local e/ou uma biblioteca de modelos em nuvem, todos os modelos que correspondem a bits predeterminados frontais do Código HS.

[013] Preferencialmente, o método compreende adicionalmente: organizar os modelos recuperados em uma ordem; determinar se há quaisquer mercadorias não registradas na declaração de alfândega que estejam contidas na região de interesse na ordem; e determinar se há mercadorias não registradas na declaração de alfândega que estejam contidas nas mercadorias inspecionadas quando a similaridade entre o vetor de recursos de pelo menos uma região segmentada e os gabaritos de pelo menos um dos modelos não é maior do que o limite.

[014] Preferencialmente, o método compreende adicionalmente: atualizar todos os modelos que correspondem a bits predeterminados frontais do código da nomenclatura do Sistema Harmonizado - Código HS em uma biblioteca de modelos local e/ou uma biblioteca de modelos em nuvem.

[015] Preferencialmente, o método compreende adicionalmente: realizar uma amostragem de região local em uma borda da imagem; e extrair um recurso no domínio da frequência de múltiplas escalas de pontos de amostragem. O vetor de recursos é obtido a partir do recurso no domínio da frequência de múltiplas escalas.

[016] Preferencialmente, quando a declaração de alfândega não inclui o código da nomenclatura do Sistema Harmonizado - Código HS, este Código HS é determinado com base em um nome de mercadorias indicado na declaração de alfândega.

[017] Preferencialmente, cada gabarito em cada modelo compreende um vetor de recursos. Quando o número de gabaritos no modelo é menor do que um número predeterminado, um vetor de recursos de uma amostra nova é registrado diretamente como um gabarito. Quando o número de gabaritos no modelo alcança o número predeterminado, um vetor de recursos de uma nova amostra que se correlaciona com o modelo não é usado como um gabarito e um peso do gabarito que tem a similaridade mais alta com a amostra é aumentado. Quando um vetor de recursos de uma nova amostra não se correlaciona com qualquer gabarito no modelo, o gabarito que tem o peso mais baixo é substituído pelo vetor de recursos da nova amostra.

[018] Preferencialmente, o modelo compreende pelo menos as seguintes informações: um identificador de dispositivo, um identificador do código da nomenclatura do Sistema Harmonizado -Código HS, um número máximo de gabaritos, respectivos gabaritos, pesos dos respectivos gabaritos, identificadores singulares dos respectivos gabaritos em uma biblioteca de imagens históricas e um limite de similaridade.

[019] De acordo com outro aspecto da presente invenção, é fornecido um sistema para inspecionar mercadorias. O sistema compreende: um dispositivo de varredura configurado para obter uma imagem de transmissão e um código da nomenclatura do Sistema Harmonizado - Código HS de mercadorias inspecionadas; e um dispositivo de processamento de dados configurado para: processar a imagem de transmissão para obter uma região de interesse; recuperar, a partir de uma biblioteca de modelos, um modelo criado com base no Código HS, de acordo com o Código HS das mercadorias inspecionadas; e determinar se há quaisquer mercadorias não registradas em uma declaração de alfândega que estejam contidas na região de interesse com base no modelo.

[020] Com as soluções acima, é possível identificar uma região em uma imagem de mercadorias em um container que é inconsistente com dados de declaração de alfândega das mercadorias, de tal modo que possa ser considerado que essa região envolve uma declaração falsa ou oculta.

[021] BREVE DESCRIÇÃO DOS DESENHOS

[022] Para uma melhor compreensão da presente invenção, uma descrição detalhada será dada com referência aos seguintes desenhos, nos quais: [023] A Figura 1A e a Figura 1B são diagramas esquemáticos, sendo que cada um mostra um sistema para inspecionar mercadorias de acordo com uma modalidade da presente revelação;

[024] A Figura 2 é um fluxograma que ilustra um método para inspecionar mercadorias de acordo com uma modalidade da presente invenção;

[025] A Figura 3 é um fluxograma que ilustra um processo para criar e treinar um modelo de nomenclatura do Sistema Harmonizado - Código HS em uma solução, de acordo com uma modalidade da presente revelação;

[026] A Figura 4 é um fluxograma que ilustra um processo para inspeção que usa o modelo criado em uma solução, de acordo com uma modalidade da presente revelação; e [027] A Figura 5 é um fluxograma que ilustra um processo para atualizar o modelo criado online em uma solução, de acordo com uma modalidade da presente revelação.

[028] Nem todos os circuitos ou estruturas nas modalidades são mostrados nas figuras. Ao longo de todas as figuras, as mesmas referências numéricas são usadas para representar componentes ou recursos iguais ou similares.

[029] DESCRIÇÃO DETALHADA

[030] Modalidades específicas da presente invenção serão descritas em detalhes abaixo. Deve ser observado que as modalidades no presente documento são usadas para ilustração apenas, sem limitar o escopo da presente invenção. Doravante no presente documento, para fornecer uma compreensão completa da presente invenção, diversos detalhes específicos são definidos. Entretanto, é óbvio para alguém de habilidade comum na técnica que a presente invenção pode ser praticada sem esses detalhes específicos. Em outros exemplos, estruturas, materiais ou métodos conhecidos não são descritos em detalhes para evitar qualquer possível ofuscação da presente invenção.

[031] Ao longo de todo o relatório descritivo, a referência a "uma (1) modalidade", "uma modalidade", "um (1) exemplo" ou "um exemplo" significa que os recursos, as estruturas ou as propriedades específicas descritas em combinação com a modalidade ou o exemplo são incluídos em pelo menos uma modalidade da presente invenção. Portanto, as frases "em uma (1) modalidade”, "em uma modalidade”, "em um (1) exemplo" ou "em um exemplo" apresentadas em várias posições ao longo de todo o relatório descritivo podem não se referir, necessariamente, à mesma modalidade ou exemplo. Adicionalmente, recursos, estruturas ou propriedades específicas podem ser combinadas em uma ou mais modalidades ou exemplos em qualquer combinação e/ou subcombinação apropriada. Ademais, deve ser compreendido por aqueles versados na técnica que o termo "e/ou" usado no presente documento significa qualquer uma e todas as combinações de um ou mais itens listados.

[032] A Figura 1A e a Figura 1B são diagramas esquemáticos, sendo que cada um mostra um sistema de inspeção, de acordo com uma modalidade da presente invenção. A Figura 1A mostra uma vista superior do sistema de inspeção e a Figura 1B mostra uma vista frontal do sistema de inspeção. Conforme mostrado na Figura 1A e na Figura 1B, uma fonte de radiação (110) gera raios X que são submetidos a calibração por um calibrador (120) e então usados para inspeção de segurança de um caminhão de container em movimento (140). Os raios penetram o caminhão e são recebidos por um detector (150). A imagem de transmissão resultante é processada por um aparelho de processamento de dados (160), tal como um computador.

[033] De acordo com uma modalidade da presente invenção, uma vez que a imagem de transmissão do caminhão de container (140) foi obtida por meio de varredura, a mesma é processada pelo aparelho de processamento de dados (160) para obter uma região de interesse. De acordo o código da nomenclatura do Sistema Harmonizado - Código HS das mercadorias inspecionadas, um modelo criado com base no Código HS é recuperado de uma biblioteca de modelos. Então, é determinado se há quaisquer mercadorias não registradas em uma declaração de alfândega que estejam contidas na região de interesse com base no modelo. Dessa forma, é possível inspecionar automaticamente se há uma declaração falsa / oculta para as mercadorias no container.

[034] Na presente invenção, é proposto o uso do código no Sistema de Harmonização - Código HS, isto é, o Código HS, especificado pelo Conselho de Cooperação Aduaneira como um identificador singular de mercadorias para comparação. Isto é, um modelo é criado para cada código da nomenclatura do Sistema Harmonizado - Código HS e contém um espaço de recurso para descrever recursos da imagem das mercadorias que correspondem ao Código HS. Em algumas modalidades, em vista da estrutura hierárquica de múltiplos níveis de categorias, aqueles níveis são modelados individualmente e uma política de correlação por nível é adotada para comparação. Por exemplo, um código da nomenclatura do Sistema Harmonizado global é um código de 6 dígitos, com os dígitos subsequentes a serem definidos por cada país. Em um código da nomenclatura do Sistema Harmonizado - Código HS que é usado comumente para mercadorias importadas/exportadas pela Alfândega da China em 2013, há 6.341 códigos de nível 2 (8 dígitos) e 6.735 códigos de nível 3 (10 dígitos), isto é, 13.076 códigos no total. Para a uniformização, três camadas de modelos, isto é, de 6 dígitos, de 8 dígitos e de 10 dígitos, são criados. Como um exemplo, para um código de 10 dígitos "0123456789" de mercadorias, uma política de correlação pode correlacionar um modelo de 6 dígitos "0123456", um modelo de 8 dígitos "012345678" e um modelo 10 dígitos "01213456789", respectivamente, para solucionar os problemas associados a um número grande de categorias, diferenças regionais entre categorias e uma diferença grande dentro de uma categoria.

[035] A Figura 2 é um fluxograma que ilustra um método para inspecionar mercadorias de acordo com uma modalidade da presente invenção. Conforme mostrado na Figura 2, na etapa S21, uma imagem de transmissão e um código da nomenclatura do Sistema Harmonizado - Código HS são obtidos. Por exemplo, uma imagem de transmissão de um container inspecionado pode ser obtida com o uso de um dispositivo de varredura conforme mostrado na Figura 1A e na Figura 1B. O Código HS pode ser obtido a partir de uma declaração de alfândega. Quando a declaração de alfândega não inclui o Código HS, este é determinado com base em um nome das mercadorias.

[036] Na etapa S22, a imagem de transmissão é processada para obter uma região de interesse. Por exemplo, a fim de extrair uma região das mercadorias e reduzir a influência de características físicas inconsistentes do dispositivo na imagem o máximo possível, primeiro, uma normalização é alcançada aplicando-se operações de processamento de imagem, tais como a remoção de atenuações causadas por plano de fundo e ar e a remoção de tiras de linha / coluna. Então, a região das mercadorias pode ser obtida realizando-se operações tais como binarização, extração de bordas e detecção de borda do container.

[037] Na etapa S23, de acordo com o código da nomenclatura do Sistema Harmonizado - Código HS das mercadorias inspecionadas, um modelo criado com base no Código HS é recuperado de uma biblioteca de modelos. Na etapa S24, é determinado se há quaisquer mercadorias não registradas em uma declaração de alfândega que estejam contidas na região de interesse com base no modelo.

[038] Na presente invenção, é proposto solucionar o problema associado à diferença entre dispositivos criando-se modelos no lado do aparelho (modelos locais) e modelos em nuvem. Os modelos em nuvem se originam de um centro de computação e são atualizados online para manter as categorias mais completas dos códigos da nomenclatura do Sistema Harmonizado - Código HS. Entretanto, os mesmos normalizam a diferença entre os dispositivos e, desse modo, têm uma precisão menor do que os modelos locais. Os modelos locais são gerados no lado do dispositivo após a coleta de um número suficiente de imagens históricas e se conformam às situações do dispositivo, porém, têm um número menor de categorias do Código HS do que os modelos em nuvem. Para um novo dispositivo, não há qualquer modelo local e o mesmo pode usar apenas modelos em nuvem. Após a coleta de imagens suficientes e a geração e o treinamento dos modelos no lado do dispositivo, os modelos locais, em vez dos modelos em nuvem, são selecionados automaticamente para comparação. Deve ser observado que os modelos em nuvem não precisam ser usados online. Em vez disso, os mesmos podem estar offline e podem ser sincronizados regularmente.

[039] Adicionalmente, mediante o recebimento de uma instrução de usuário, um recurso de uma imagem a ser analisada pode ser atualizado para os modelos locais e os modelos em nuvem, de modo a alcançar uma função de autoaprendizado. Tal atualização pode envolver um modelo do código da nomenclatura do Sistema Harmonizado - Código HS recém-gerado ou uma modificação para um modelo atual.

[040] O problema associado a múltiplas mercadorias que estão contidas em um container é um problema difícil de ser solucionado nas condições técnicas atuais. Apenas um resultado relativamente aceitável pode ser obtido até certo ponto. Para ser preciso, o mesmo é influenciado por inconsistência entre dispositivos e é um problema de segmentação complexo e ambíguo submetido a supervisão dos dados declaração de alfândega. Por exemplo, para dispositivos diferentes, as formas dos dados de declaração de alfândega fornecem diversos valores de supervisão (por exemplo, o número de tipos de mercadorias, cada tipo e peso de unidade, etc.) e cada pixel na imagem pode pertencer a mais de uma mercadoria. A complexidade também reside no fato de que as formas em que os fatores acima estão presentes podem ser diferentes e não precisas. O problema acima pode ser solucionado aplicando-se um algoritmo de segmentação de imagem de textura supervisionada.

[041] A fim de solucionar os problemas nas soluções convencionais, a presente invenção propôs uma solução em que a comparação com uma declaração de alfândega é alcançada com base no código da nomenclatura do Sistema Harmonizado - Código HS. O modelo do Código HS tem uma estrutura hierárquica e pode ser usada com uma política de modelo dupla (local e em nuvem). Adicionalmente, recursos podem ser extraídos por meio de segmentação de imagem de textura supervisionada e descrição de textura regional. Uma distância entre recursos pode ser usada como uma métrica de similaridade. Também, o modelo do Código HS pode ser atualizado de acordo com um princípio de maximização de diferença, de modo a alcançar uma função de autoaprendizado do sistema.

[042] A comparação com a declaração de alfândega é realizada com base em um código da nomenclatura do Sistema Harmonizado - Código HS. Um modelo individual é criado para cada Código HS. A partir da perspectiva do Código HS, os modelos podem ser divididos em uma estrutura hierárquica de 6 dígitos, 8 dígitos e 10 dígitos. A partir da perspectiva do dispositivo, os modelos podem ser divididos em modelos locais e modelos em nuvem. Deve ser observado que o Código HS não é mandatório para uma declaração de alfândega. Por exemplo, uma declaração de alfândega pode conter apenas nomes de mercadorias, sem qualquer código. Neste caso, uma abordagem típica é analisar sintaticamente os nomes e recuperar textos para obter imagens históricas correspondentes para comparação. Preferencialmente, para uma declaração de alfândega sem um código, um Código HS pode ser obtido com base no mapeamento entre nomes de mercadorias e o Código HS, de modo a encontrar um modelo correspondente. A fim de reduzir a influência da inconsistência entre dispositivos, os modelos locais dependentes de dispositivos podem ser treinados. Na ausência de modelos locais, os modelos em nuvem independentes de dispositivos podem ser usados. Os modelos em nuvem são atualizados continuamente e mantêm o maior número de modelos. Os modelos locais são independentes dos modelos em nuvem. Os mesmos podem ser iguais ou podem adotar algoritmos diferentes.

[043] Uma categoria de mercadorias do código da nomenclatura do Sistema Harmonizado - Código HS pode ser usada como um valor de supervisão para segmentação de imagem supervisionada. Uma descrição de textura regional, isto é, um vetor de recursos, pode ser obtido em cada região segmentada. Os vetores de recursos de diversas imagens históricas são armazenados no modelo do Código HS. Uma distância entre os vetores de recursos é uma similaridade. Preferencialmente, a similaridade mais alta entre um recurso de uma amostra desconhecida e os respectivos vetores (isto é, gabaritos) no modelo é a similaridade entre a amostra e o Código HS. Deve ser observado que há diversos métodos para segmentar regiões na imagem de mercadorias e extrair recursos. Por exemplo, as regiões podem ser segmentadas por agrupamento de coluna de imagem e os recursos podem ser formados por correções de recurso de imagem e suas estatísticas.

[044] Os modelos acima podem ter uma função de autoaprendizado, incluindo criação e atualização online. Na presente invenção, os modelos do código da nomenclatura do Sistema Harmonizado - Código HS são atualizados de acordo com um princípio de maximização de diferença. A fim de controlar os modelos e reduzir a influência de quantidades inconsistentes de amostras, os recursos em cada modelo são denominados "gabaritos". O número de gabaritos é estabelecido como uma "quantidade de placas" uniforme. Quando o número de gabaritos no modelo é menor do que aquele número, um recurso de uma amostra nova é registrado diretamente como um gabarito. Quando o número de gabaritos no modelo alcança aquele número, uma amostra que se correlaciona com o modelo não é usada como um gabarito e um peso do gabarito que tem a similaridade mais alta com a amostra é aumentado. Quando uma nova amostra não se correlaciona com o modelo, o gabarito que tem o peso mais baixo é substituído pelo vetor de recursos da nova amostra. Dessa forma, os gabaritos no Código HS se tornam um conjunto de gabaritos que tem a diferença máxima, de modo a suportar o espaço de recurso do modelo. Deve ser observado que o princípio de maximização de diferença pode ser alcançado por vários esquemas de aprendizado online.

[045] Na prática, essa solução envolve três fases: treinamento, uso e atualização online. A fase de treinamento inclui três etapas: normalização de imagem e aquisição de região de mercadorias válida; extração de recursos de região válida; e criação de modelo do código da nomenclatura do Sistema Harmonizado - Código HS. A fase de uso inclui cinco etapas: normalização de imagem e aquisição de região de mercadorias válida; segmentação de imagem supervisionada; carregamento de modelo; extração de recursos de região; e correlação entre recurso e modelo. A atualização online deve criar um novo modelo ou atualizar um modelo existente quando é confirmado que a amostra se conforma à declaração de alfândega.

[046] A Figura 3 é um fluxograma que ilustra um processo para criar e treinar um modelo do código da nomenclatura do Sistema Harmonizado - Código HS em uma solução, de acordo com uma modalidade da presente invenção. Conforme mostrado na Figura 3, na etapa S31, uma imagem de amostra é obtida. Então, na etapa 32, a imagem é normalizada e uma região de mercadorias válida é adquirida. A fim de extrair uma região das mercadorias e reduzir a influência de características físicas inconsistentes do dispositivo na imagem, primeiro, uma normalização é alcançada aplicando-se operações de processamento de imagem tais como a remoção de atenuações causadas por plano de fundo e ar e a remoção de tiras de linha / coluna. Então, a região das mercadorias pode ser obtida realizando-se operações tais como binarização, extração de bordas e detecção de borda de recipiente.

[047] Na etapa S33, um recurso de região válida é extraído. Preferencialmente, as estatísticas de textura, particularmente recursos estatísticos de textura com base em amostragem de borda, podem ser selecionados para descrever uma região. Por exemplo, i) para enfatizar informações de borda, amostragem de região local é realizada na borda da imagem; ii) para enfatizar recursos de textura, a presente invenção adota texton para extrair um recurso no domínio da frequência de múltiplas escalas de pontos de amostragem; e iii) para descrever as características estatísticas desses recursos de textura, um Vetor de Fisher é usado para obter o vetor de recursos final. Várias alternativas a esse algoritmo podem ser contempladas por aqueles versados na técnica, por exemplo, a substituição da amostragem de borda por vários esquemas de detecção de canto tal como HARRIS, a substituição de texton pelas descrições tais como SIFT e HOG, o uso de outras formas de sacos-de-palavras, tal como Correlação tipo Pirâmide Espacial de Codificação Dispersa (SCSPM), ou a obtenção do vetor de recursos por meio de Aprendizagem Profunda, por exemplo, Regiões com recursos de CNN (R-CNN).

[048] Deve ser observado que a extração de recursos na fase de preparo é diferente daquela em outras fases. Primeiro, todos os recursos de texton são extraídos da imagem em uma biblioteca de imagens. Então, um modelo de dicionário probabilístico necessário para um Vetor de Fisher é preparado com base em todos os recursos de texton. Após o modelo de dicionário probabilístico ter sido obtido, os recursos de texton das respectivas imagens são convertidos em Vetores de Fisher. Nas fases de uso e de atualização, o modelo de dicionário probabilístico é conhecido e os recursos de Vetor de Fisher podem ser obtidos diretamente para uma imagem ou região introduzida. O Vetor de Fisher é um algoritmo bem conhecido e a descrição do mesmo será, desse modo, omitida aqui.

[049] Adicionalmente, um modo de preparo geral envolve um processamento em lotes de uma quantidade grande de dados. A fim de garantir a precisão do modelo, dentre esses dados, apenas a imagem de mercadorias que é considerada "clara" e que contém apenas uma categoria de mercadorias, isto é, que tem apenas um código da nomenclatura do Sistema Harmonizado - Código HS, entra na fase de preparo. De outra forma, identificações manuais de posições de regiões que pertencem aos respectivos Códigos HS são necessários para garantir a precisão das amostras de preparo.

[050] Na etapa S34, uma declaração de alfândega associada à imagem introduzida é obtida. Na etapa S35, os modelos do código da nomenclatura do Sistema Harmonizado - Código HS são criados. Os modelos do Código HS são divididos em modelos locais e modelos em nuvem. Os modelos em nuvem são preparados com base em uma quantidade grande de imagens históricas e fornecidos para uso por um usuário em uma forma de arquivos locais fornecidos dentro de um novo produto que não tem imagens históricas. Os modelos locais são preparados offline após o usuário ter acumulado um grande número (por exemplo, maior do que 20.000) de imagens. Os modelos em nuvem podem ser atualizados tanto em tempo real quanto offline, de modo a manter um conjunto do maior número de modelos. Enquanto os modelos locais são atualizados, os modelos em nuvem são atualizados simultaneamente. Quando os modelos locais e os modelos em nuvem estão ambos disponíveis, os modelos locais são correlacionados primeiro. Pode também ser configurado de tal modo que, quando há modelos locais (o suficiente), apenas os modelos locais serão usados.

[051] Cada modelo do código da nomenclatura do Sistema Harmonizado - Código HS tem uma estrutura hierárquica de 6 dígitos, de 8 dígitos e de 10 dígitos. O modelo que tem o maior número de dígitos será correlacionado com uma prioridade mais alta, isto é, o nível de prioridade 10 dígitos>8 dígitos>6 dígitos. Aqui, a "prioridade" significa que, se uma região se correlaciona tanto com o modelo A de 10 dígitos quanto com o modelo B de 8 dígitos, então, é considerado que a região pertence ao modelo A.

[052] As formas do código da nomenclatura do Sistema Harmonizado - Código HS, dependem do algoritmo de extração de recursos. Em uma modalidade da presente invenção, o modelo do Código HS consiste em sete elementos, isto é, {número de dispositivo, identificador do Código HS, número máximo de gabaritos, respectivos modelos, pesos dos respectivos gabaritos, identificadores singulares dos respectivos gabaritos em uma biblioteca de imagens históricas, limite de similaridade}. Os significados dos respectivos elementos são dados abaixo.

[053] Número de dispositivo: indica a qual dispositivo o modelo pertence. É definido como "NUVEM" se o modelo é um modelo em nuvem.

[054] Identificador do código da nomenclatura do Sistema Harmonizado - Código HS: é um Código HS, que pode ter 6, 8 ou 10 dígitos.

[055] Número máximo de gabaritos: é um valor comum a todos os modelos, porém, dispositivos diferentes podem ter seus próprios números máximos de gabaritos para modelos locais. Quanto maior o valor, melhor será a descrição de inconsistência entre mercadorias, porém, com uma taxa reduzida de inspeção precisa. Na prática, um efeito satisfatório pode ser alcançado quando o valor está na faixa de 10 a 20.

[056] Respectivos gabaritos: são recursos estatísticos de textura regional das mercadorias que correspondem ao código da nomenclatura do Sistema Harmonizado - Código HS. Nessa modalidade, os mesmos podem ser Vetores de Fisher. Seu número máximo é o "número máximo de gabaritos" e sua dimensão pode ser determinada pelo modelo de dicionário probabilístico dos Vetores de Fisher.

[057] Pesos dos respectivos gabaritos: cada gabarito tem um peso e a soma dos pesos dos respectivos gabaritos é 1. Quanto maior o peso de um gabarito, melhor o gabarito pode representar o código da nomenclatura do Sistema Harmonizado - Código HS. Quanto menor o peso de um gabarito, mais alta a probabilidade de que o gabarito será substituído por uma nova amostra.

[058] Identificadores singulares dos respectivos gabaritos em uma biblioteca de imagens históricas: cada gabarito se origina de uma imagem real. Enquanto seu recurso é registrado no modelo, seu identificador singular, por exemplo, um índice ou um manifesto, também é registrado. Uma aplicação pode encontrar imagens históricas que correspondem ao identificador.

[059] Limite de similaridade: se uma distância entre um recurso e um gabarito for maior do que ou igual a esse limite, os mesmos se correlacionam; ou, de outra forma, não se correlacionam. Esse valor pode se originar de um valor padrão, um valor definido por usuário, ou um limite adaptável que é ajustado, após a inicialização, à medida que o modelo é atualizado. Seu exemplo será descrito posteriormente.

[060] Após a obtenção dos Vetores de Fisher para as respectivas nomenclaturas do Sistema Harmonizado - Código HS conhecidas na etapa S33, se o número de recursos for menor do que o número máximo predeterminado de gabaritos, os recursos são atribuídos com o mesmo peso e são registrados no modelo do Código HS junto com outras informações necessárias. Se o número de recursos for maior do que o número máximo predeterminado de gabaritos, um espaço de amostra pode ser formado com o uso de vários esquemas.

[061] A Figura 4 é um fluxograma que ilustra um processo para inspeção que usa o modelo criado em uma solução, de acordo com uma modalidade da presente invenção.

[062] Conforme mostrado na Figura 4, na etapa S41, uma imagem de mercadorias inspecionadas é introduzida. Por exemplo, uma imagem de transmissão das mercadorias inspecionadas pode ser obtida com o uso de um dispositivo de varredura. Então, na etapa S42, a imagem é normalizada e uma região de mercadorias válida é extraída. Por exemplo, a fim de extrair uma região das mercadorias e reduzir a influência de características físicas inconsistentes do dispositivo na imagem, primeiro, uma normalização é alcançada aplicando-se operações de processamento de imagem tais como a remoção de atenuações causadas por plano de fundo e ar e a remoção de tiras de linha / coluna. Então, a região das mercadorias pode ser obtida realizando-se operações tais como binarização, extração de bordas e detecção de borda de recipiente.

[063] Na etapa S43, uma declaração de alfândega que corresponde à imagem é obtida. Então, na etapa S44, uma segmentação de imagem supervisionada é realizada. A mesma difere de uma segmentação de imagem geral em que o número de categorias de mercadorias é dado na declaração de alfândega. Isto é, os números de categoria em uma imagem ideal não devem exceder o número de categorias de mercadorias. Consequentemente, as regiões de diferentes mercadorias podem ser obtidas aplicando-se o algoritmo de segmentação de imagem supervisionada. Em algumas modalidades, a segmentação da imagem de mercadorias pode ser alcançada por meio de segmentação de textura.

[064] Na etapa S45, um recurso de região válida é extraído. Essa é similar à etapa S33, conforme descrito acima em combinação com a Figura 3, e a descrição da mesma será omitida aqui. Na etapa S46, um modelo é carregado. Por exemplo, o modelo pode ser carregado com base no código da nomenclatura do Sistema Harmonizado - Código HS. Uma vez que o Código HS tem uma estrutura hierárquica para diferentes dispositivos, pode haver vários esquemas para selecionar os modelos a serem carregados. Por exemplo, em um "modo de carregamento máximo", todos os modelos que se correlacionam com os primeiros 6, 8 e 10 dígitos do número nos modelos locais e nos modelos em nuvem podem ser carregados. Alternativamente, em um "modo de carregamento mínimo", apenas o modelo que se correlaciona exatamente com o número do Código HS nos modelos locais será carregado. Em algumas modalidades, os modelos carregados para o mesmo Código HS podem ser organizados de acordo com suas prioridades.

[065] Na etapa S47, o recurso e o modelo são correlacionados. Por exemplo, após a obtenção do recurso de Vetor de Fisher de uma região desconhecida, uma distância de cosseno é usada para medir a distância entre o recurso e os gabaritos. Um valor de distância de cosseno maior indica uma similaridade mais alta. Nessa modalidade, a similaridade mais alta entre os respectivos gabaritos no modelo e o recurso a ser correlacionado é usado como a similaridade entre os gabaritos e o modelo.

[066] Uma vez que na etapa S46 os modelos podem ter sido organizados de acordo com suas prioridades, nesta etapa, o cálculo pode ser interrompido uma vez que um modelo correlacionado é encontrado. Deve ser observado que, nesta etapa, uma "matriz de similaridade" pode ser obtida, que é uma matriz de valor numérico que tem um número de regiões desconhecidas como suas linhas e um número do código da nomenclatura do Sistema Harmonizado - Código HS como suas colunas. Por um lado, uma região pode se correlacionar com mais de um Código HS. Por outro lado, um Código HS pode se correlacionar com mais de uma região. Isso é dependente da ambiguidade da própria imagem de transmissão, assim como o desempenho do algoritmo, tal como métrica de segmentação e similaridade.

[067] Se uma região não se correlacionar com qualquer modelo carregado, a mesma envolve uma declaração falsa ou oculta.

[068] Adicionalmente, nessa modalidade, o "identificador singular do gabarito em uma biblioteca de imagens históricas" é registrado no modelo do código da nomenclatura do Sistema Harmonizado - Código HS e transferido para uma aplicação como um resultado de correlação. Com esse identificador, uma imagem que tem uma região de imagem que é mais similar às imagens históricas pode ser encontrada.

[069] A Figura 5 é um fluxograma que ilustra um processo para atualizar o modelo criado online em uma solução, de acordo com uma modalidade da presente revelação. A fase de atualização é efetivamente um processo de aprendizado online de modelos e pode ser alcançada com o uso de vários algoritmos de agrupamento online, por exemplo, um algoritmo K-means online.

[070] Conforme mostrado na Figura 5, na etapa S501, um código da nomenclatura do Sistema Harmonizado - Código HS de região é obtida. Por exemplo, a entrada para a atualização online inclui um Código HS e uma região de imagem. Na etapa S502, um modelo é carregado. Pode haver várias políticas para atualização. Por exemplo, em um "modo de atualização máxima", todos os modelos que se correlacionam com os primeiros 6, 8 e 10 dígitos do número nos modelos locais e nos modelos em nuvem podem ser atualizados. Alternativamente, em um "modo de atualização mínima", apenas o modelo que se correlaciona exatamente com o número do Código HS nos modelos locais será atualizado.

[071] Nas etapas S501 e S502, o código da nomenclatura do Sistema Harmonizado - Código HS da região de imagem é obtida e o modelo é carregado. Nas etapas S505 e S506, uma região de mercadorias válida é adquirida e um recurso é extraído da região. Na etapa S503, se o número de gabaritos no modelo for menor do que um valor predeterminado, na etapa S504, o recurso é adicionado diretamente como um gabarito. Se o número de gabaritos alcançou um valor máximo na etapa S507, uma etapa de correlação é realizada. No caso de uma correlação, o peso do gabarito correlacionado é aumentado na etapa S508; ou, de outra forma, o gabarito que tem o peso mais baixo será substituído pelo recurso.

Então, na etapa S510, o peso é normalizado e os respectivos modelos são salvos na etapa S511.

[072] Deve ser observado que há um caso especial em tal atualização em que nenhum modelo existe. Nesse caso, um novo modelo é gerado, que inclui apenas um recurso que tem um peso de 1.

[073] Ademais, a fase de atualização envolve adicionalmente um ajuste adaptativo do limite. Se a etapa de correlação foi realizada durante a atualização, todos os valores correlacionados serão registrados na forma de um histograma. Esse histograma indica uma distribuição de pontuações para todas as correlações corretas. Presumindo-se que quaisquer mercadorias que têm um índice de controle de risco de 5% por padrão necessitam de uma inspeção manual, então, o limite pode ser ajustado adaptativamente a uma posição em que a distribuição de pontuação acumulativa alcança 5%, alcançando, assim, um ajuste adaptativo do limite submetido a controle de risco.

[074] A descrição detalhada acima já estabeleceu diversas modalidades do método e dos sistemas para inspecionar mercadorias com referência aos diagramas, fluxogramas e/ou exemplos. No caso em que os diagramas, fluxogramas e/ou exemplos compreendem uma ou mais funções e/ou operações, alguém versado na técnica deve verificar que cada função e/ou operação nos diagramas, fluxogramas ou exemplos pode ser implantada por várias estruturas, hardware, software, firmware ou qualquer combinação dos mesmos, tanto sozinhas quanto em qualquer combinação. Em uma modalidade, diversas partes da matéria descrita nas modalidades da presente invenção podem ser implantadas por Circuito Integrado para Aplicação Específica (ASIC), Matriz de Portas Programável em Campo (FPGA), Processador de Sinal Digital (PSD) ou qualquer outra forma integrada. Entretanto, alguém versado na técnica deve verificar que alguns aspectos da modalidade revelados no presente documento podem ser parcial ou totalmente implantados em um circuito integrado efetivamente, implantados como um ou mais programas de computador executados em um ou mais computadores (por exemplo, um ou mais programas executados em um ou mais sistemas de computador), implantados como um ou mais programas executados em um ou mais processadores (por exemplo, um ou mais programas executados em um ou mais microprocessadores), implantados como firmware, ou substancialmente qualquer combinação dos mesmos, e alguém versado na técnica tem a capacidade de projetar o circuito e/ou escrever código de software e/ou de firmware. Adicionalmente, alguém versado na técnica irá verificar que o mecanismo da matéria da presente invenção pode ser distribuído em várias formas de produtos de programa e as modalidades exemplificativas da matéria da presente invenção podem ser aplicáveis independentemente dos tipos específicos de meios portadores de sinal para distribuição. Exemplos dos meios portadores de sinal compreendem, mas não são limitados a: um meio registrável tal como um disquete, um disco rígido, um disco compacto (CD), um disco versátil digital (DVD), uma fita digital, uma memória de computador, etc.; e um meio de transmissão, tal como meio de comunicação digital e/ou analógico (por exemplo, uma fibra óptica, um guia de onda, um enlace de comunicação com fio, um enlace de comunicação sem fio, etc.) [075] Embora a presente invenção já seja descrita com referência a diversas modalidades típicas, deve ser verificado que os termos usados no presente documento são ilustrativos e exemplificativos, em vez de limitadores. Uma vez que a presente invenção pode praticar, em múltiplas formas, sem se afastar do espírito ou da essência, deve ser observado que as modalidades acima não são limitadas a quaisquer detalhes descritos anteriormente e devem ser interpretadas amplamente dentro do espírito e do escopo definidos pelas reivindicações. Portanto, todas as mudanças e variações caem dentro do escopo das reivindicações ou suas efetividades devem ser adotadas pelas reivindicações.

REIVINDICAÇÕES

Claims

1. MÉTODO PARA INSPECIONAR MERCADORIAS, caracterizado pelo fato de que contém as etapas de: obter uma imagem de transmissão e de um Código HS das mercadorias inspecionadas; processar a imagem de transmissão para obter uma região de interesse; recuperar, a partir de uma biblioteca de modelos, um modelo criado com base no Código HS, de acordo com o Código HS das mercadorias inspecionadas; e determinar se há quaisquer mercadorias não registradas em uma declaração de alfândega que estejam contidas na região de interesse com base no modelo.

2. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que a etapa de processar a imagem de transmissão para obter a região de interesse compreende: aplicar uma segmentação de imagem supervisionada à imagem de transmissão, com uma categoria de mercadorias representadas pelo Código HS das mercadorias inspecionadas como um valor de supervisão, para obter pelo menos uma região segmentada como a região de interesse.

3. MÉTODO, de acordo com a reivindicação 2, caracterizado pelo fato de que a etapa de determinar se há quaisquer mercadorias não registradas na declaração de alfândega que estejam contidas na região de interesse com base no modelo compreende: obter uma descrição de textura de cada região segmentada aplicando-se um uma extração de recursos à região segmentada, de modo a formar um vetor de recursos; determinar se uma similaridade entre o vetor de recursos de cada região segmentada e respectivos gabaritos incluídos no modelo é maior do que um limite; e determinar que há mercadorias não registradas na declaração de alfândega que estejam contidas nas mercadorias inspecionadas quando a similaridade entre o vetor de recursos e pelo menos uma região segmentada e os respectivos gabaritos incluídos no modelo não é maior do que o limite.

4. MÉTODO, de acordo com a reivindicação 3, caracterizado pelo fato de que a etapa de recuperar, a partir da biblioteca de modelos, o modelo criado com base no Código HS, de acordo com o Código HS das mercadorias inspecionadas compreende: recuperar, a partir de uma biblioteca de modelos local e/ou uma biblioteca de modelos em nuvem, sendo que todos os modelos correspondem a bits predeterminados frontais do Código HS.

5. MÉTODO, de acordo com a reivindicação 4, caracterizado pelo fato de que compreende adicionalmente as etapas de: organizar os modelos recuperados em uma ordem; determinar se há quaisquer mercadorias não registradas na declaração de alfândega que estejam contidas na região de interesse na ordem; e determinar que há mercadorias não registradas na declaração de alfândega que estejam contidas nas mercadorias inspecionadas quando a similaridade entre o vetor de recursos de pelo menos uma região segmentada e os gabaritos de pelo menos um dos modelos não é maior do que o limite.

6. MÉTODO, de acordo com a reivindicação 3, caracterizado pelo fato de que compreende adicionalmente as etapas de: atualizar todos os modelos que correspondem a bits predeterminados frontais do Código HS em uma biblioteca de modelos local e/ou uma biblioteca de modelos em nuvem.

7. MÉTODO, de acordo com a reivindicação 3, caracterizado pelo fato de que compreende adicionalmente as etapas de: realizar amostragem de região local em uma borda da imagem; e extrair um recurso no domínio da frequência de múltiplas escalas de pontos de amostragem, em que o vetor de recursos é obtido a partir do recurso no domínio da frequência de múltiplas escalas.

8. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que, quando a declaração de alfândega não inclui o Código HS, o Código HS das mercadorias é determinado com base em um nome de mercadorias indicado na declaração de alfândega.

9. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que cada gabarito em cada modelo compreende um vetor de recursos, e quando o número de gabaritos no modelo é menor do que um número predeterminado, um vetor de recursos de uma amostra nova é registrado diretamente como um gabarito, ou quando o número de gabaritos no modelo alcança o número predeterminado, um vetor de recursos de uma amostra nova que se correlaciona com o modelo não é usado como um gabarito e um peso do gabarito que tem a similaridade mais alta com a amostra é aumentado, ou quando um vetor de recursos de uma nova amostra não se correlaciona com qualquer gabarito no modelo, o gabarito que tem o peso mais baixo é substituído pelo vetor de recursos da nova amostra.

10. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo fato de que o modelo compreende pelo menos as seguintes informações: um identificador de dispositivo, um identificador do Código HS, um número máximo de gabaritos, respectivos gabaritos, pesos dos respectivos gabaritos, identificadores singulares dos respectivos gabaritos em uma biblioteca de imagens históricas e um limite de similaridade.

11. SISTEMA PARA INSPECIONAR MERCADORIAS caracterizado pelo fato de que compreende: um dispositivo de varredura configurado para obter uma imagem de transmissão e um Código HS das mercadorias inspecionadas; e um dispositivo de processamento de dados configurado para: processar a imagem de transmissão para obter uma região de interesse; recuperar, a partir de uma biblioteca de modelos, um modelo criado com base no Código HS, de acordo com o Código HS das mercadorias inspecionadas; e determinar se há quaisquer mercadorias não registradas em uma declaração de alfândega que estejam contidas na região de interesse com base no modelo.

12. MEIO LEGÍVEL POR COMPUTADOR não transitório caracterizado pelo fato de que compreende instruções executáveis por computador para fazer com que um ou mais processadores e/ou memórias realizem um método que compreende as etapas de: obter uma imagem de transmissão e um Código HS das mercadorias inspecionadas; processar a imagem de transmissão para obter uma região de interesse; recuperar, a partir de uma biblioteca de modelos, um modelo criado com base no Código HS, de acordo com o Código HS das mercadorias inspecionadas; e determinar se há quaisquer mercadorias não registradas em uma declaração de alfândega que estejam contidas na região de interesse com base no modelo.