JP2021521558A - コーディングパターン処理方法及び装置、電子装置、並びにコンピュータプログラム - Google Patents

Abstract

コーディングパターン処理方法、装置、記憶媒体及び電子装置が提供される。前記方法は、コーディング情報をエンコードしたパターンである第１のコーディングパターンを取得するステップ（Ｓ２０２）と、第３のコーディングパターン及び所定の第４のコーディングパターンを利用してトレーニングしたターゲットモデルによって、第１のコーディングパターンの解像度を上げ、第２のコーディングパターンを取得するステップ（Ｓ２０４）と、端末のコーディング認識モジュールに第２のコーディングパターンを提供するステップ（Ｓ２０６）と、を含む。前記方法は、コーディングパターンを正確に認識できないという技術的な問題を解決できる。

Description

本出願は、２０１８年１１月１４日に中国特許庁に提出された、出願番号が２０１８１１３６３０５６.８であって、出願の名称が「コーディングパターン処理方法及び装置、記憶媒体、電子装置」である中国特許出願の優先権を主張するものであり、その全内容を本出願に参照により援用する。

本出願は、イメージ処理の分野に関し、具体的にコーディングパターン処理に関する。

現在、２次元コードは、大量の情報保存、高い機密性、低コストなどの特点を持つため、商工業、交通輸送、金融、医療などの分野で適用され普及されている。近年、モバイル通信の分野で急成長しているモバイル端末の２次元コードサービスにより、モバイル端末のユーザーは情報が容易に入手できるようになっている。

２次元コードとは、一次元コードに対するもので、ある特定の幾何学図形に応じて、データシンボル情報を一定の規則に従って平面に分布する白黒の図形に記録する。実際に適用する場合、例えば、２次元コードでインターネットにアクセスする場合、まず、モバイル端末に付属するカメラを利用して２次元コードの写真を撮影し、次に、２次元コードの写真に含まれているネットワークアドレス情報を認識し、当該ネットワークアドレスに対応するウェブサイトにアクセスできるようにする。

本出願の実施例は、関連技術におけるコーディングパターンを正確に認識することができないという技術的な問題を少なくとも解决できるコーディングパターン処理方法及び装置、記憶媒体、電子装置を提供する。

本出願の実施例の一態様によれば、コーディングパターン処理方法を提供し、端末認識対象の、コーディング情報をエンコードしたパターンである第１のコーディングパターンを取得するステップと、ターゲットモデルによって第１のコーディングパターンの解像度を上げて、第２のコーディングパターンを取得し、ターゲットモデルは第３のコーディングパターンと所定の第４のコーディングパターンを利用してトレーニングして得られたものであり、第３のコーディングパターンは第４のコーディングパターンの解像度を下げることで得られたものであり、第３のコーディングパターンは第１のコーディングパターンと同じコーディング方式を利用するものであるステップと、端末のコーディング認識モジュールに第２のコーディングパターンを提供するステップと、を含む。

本出願の実施例による他の態様は、さらに、コーディングパターン処理装置を提供し、端末認識対象の、コーディング情報をエンコードしたパターンである第１のコーディングパターンを取得するための第１の取得ユニットと、ターゲットモデルによって第１のコーディングパターンの解像度を上げて、第２のコーディングパターンを取得し、ターゲットモデルは第３のコーディングパターンと所定の第４のコーディングパターンを利用してトレーニングした得られたものであり、第３のコーディングパターンが第４のコーディングパターンの解像度を下げることで得られたものであり、第３のコーディングパターンは第１のコーディングパターンと同じコーディング方式を利用するものである処理ユニットと、端末のコーディング認識モジュールに第２のコーディングパターンを提供するためのインタラクションユニットと、を含む。

本出願の実施例による他の態様は、さらに、記憶媒体を提供し、当該記憶媒体はプログラムを記憶しており、プログラムが実行される場合上記の方法を実行する。

本出願の実施例による他の態様は、さらに、電子装置を提供し、メモリと、プロセッサーと、メモリに記憶されてプロセッサーで実行されるコンピュータプログラムとを含み、プロセッサーはコンピュータプログラムによって上記の方法を実行する。

本出願の実施例による他の態様は、さらに、指令を含むコンピュータプログラムを提供し、それがコンピュータで実行される場合、前記コンピュータに上記の方法を実行させる。

本出願の実施例では、認識対象の第１のコーディングパターンを取得した場合に、ターゲットモデルによって、第１のコーディングパターンの解像度を上げて、第２のコーディングパターンを取得し、端末のコーディング認識モジュールに解像度のより高い第２のコーディングパターンを提供することで、関連技術におけるコーディングパターンを正確に認識できないという技術的な問題を解決し、コーディングパターンへの認識精度を向上させる技術的効果を達成できる。

ここで説明する図面は、本出願のさらなる理解を提供し、本出願の一部を構成し、本出願の例示的な実施例およびその説明は、本出願を解釈するためのもので、本出願に対する不適切な制限を構成するものではない。
本出願の実施例によるコーディングパターン処理方法のハードウェア環境の概略図である。 本出願の実施例による選択可能なコーディングパターン処理方法のフローチャートである。 本出願の実施例による選択可能なコーディングパターンを備えるポスターの概略図である。 本出願の実施例による選択可能なコーディングパターン処理モデルの概略図である。 本出願の実施例による選択可能なコーディングパターンの概略図である。 本出願の実施例による選択可能なコーディングパターンの概略図である。 本出願の実施例による選択可能なコーディングパターン処理モデルの概略図である。 本出願の実施例による選択可能なコーディングパターン処理モデルの概略図である。 本出願の実施例による選択可能なコーディングパターン処理装置の概略図である。 本出願の実施例による端末の構成ブロック図である。

当業者に本出願の解決策をよりよく理解させるために、以下、本出願の実施例における図面に基づいて、本出願の実施例における技術案を明らかに完全に説明する。勿論、説明の実施例は、全ての実施例ではなく、本出願の一部の実施例に過ぎない。本出願の実施例に基づいて、当業者により創造的な作業なしに得られる他のすべての実施例は、本出願の保護範囲に属するべきである。

なお、本出願の明細書及び特許請求の範囲ならびに上記の図面における「第１の」、「第２の」などの用語は、類似するオブジェクトを区別するために使用され、必ずしも特定の順序又はシーケンスを記述するために使用されない。このように使用されるデータは、適切な状況で交換でき、ここで説明される本出願の実施例は、ここで図示又は説明される順序以外の順序で実施できる。また、「含む」と「有する」という用語及びそれらのバリエーションは、非排他的な包含をカバーすることを目的とする。例えば、一連のステップ又はユニットを含む手順、方法、システム、製品又はデバイスは、明確にリストされたステップ又はユニットに必ずしも限定されるわけではなく、明確にリストされていないか又はこれらのプロセス、方法、製品、またはデバイスに固有のその他のステップまたはユニットを含むことができる。

まず、本出願の実施例を説明する過程で現れる一部の用語又は専門用語は、以下のように解釈できる。

２次元コード：２次元コードは２次元バーコードとも呼ばれて、一般的な２次元コードはＱＲ Ｃｏｄｅであり、ＱＲの完全な英語名はＱｕｉｃｋ Ｒｅｓｐｏｎｓｅであり、ある特定の幾何学図形を使用して、一定の規則に従って平面（２次元方向）に分布する白黒の図形で、データシンボル情報を記録するコーディング方式である。従来のバーコード(Ｂａｒ Ｃｏｄｅ)に比べて、多くの情報を記憶でき、より多くのデータタイプを表すこともできる。

一次元バーコード(一次元コード又はバーコードとも呼ばれる)：バーコードバーとスペースの配置規則を指し、一般的な一次元コードのコード体系には、ＥＡＮコード、３９コード、クロス２５コード、ＵＰＣコード、１２８コード、９３コード、ＩＳＢＮコード、およびＣｏｄａｂａｒコード(Ｃｏｄａｂａｒ)等が含まれる。

ミニプログラム(Ｍｉｎｉ Ｐｒｏｇｒａｍ)：ダウンロードしてインストールしなくても使用できるアプリケーションであり、ミニプログラムは親プログラムに依存して実行され、当該親プログラムには、インスタントメッセージングアプリケーション、ソーシャルアプリケーション、支払いアプリケーションが含まれるが、これらに限定されない。ユーザーは、親プログラムにおいてスキャン又は検索などの動作で、ミニプログラムを起動することができる。

本出願の実施例による一態様によれば、コーディングパターン処理方法の方法実施例を提供する。

任意選択で、本実施例では、上記のコーディングパターン処理方法は、図１に示すような、サーバー１０１と端末１０３で構成されるハードウェア環境に適用することができる。図１に示すように、サーバー１０１はネットワークを介して端末１０３に接続され、端末又は端末にインストールされたクライアントにサービス(例えば、ゲームサービス、アプリケーションサービス、インスタントメッセージングサービスなど)を提供できる。データベース１０５は、サーバー上に設置されるか、又はサーバーとは独立して設置され、サーバー１０１にデータ記憶サービスを提供できる。上記のネットワークには、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、又はローカルネットワークが含まれるが、これらに限定されず、端末１０３は、ＰＣ、携帯電話、タブレットコンピューターなどに限定されない。

本出願の方法は、ソーシャルインタラクション、インスタントメッセージング、支払いなどの、デジタルコーディング情報を伝送する必要があるシナリオに適用できる。当該シナリオのハードウェア環境については、図１を参照して、コーディングパターンはサーバーから端末へ提供したり、１つの端末から他の端末へ提供したりすることができる。本出願のコーディングパターンを最適化する方法は、端末によって実行されてもよい。即ち、本出願の実施例のコーディングパターン処理方法は、端末１０３によって実行されてもよい。図２は本出願の実施例による選択可能なコーディングパターン処理方法のフローチャートである。図２に示すように、当該方法は、次のステップを含んでもよい。

Ｓ２０２、端末は、認識対象(即ち、コーディング情報認識対象)の第１のコーディングパターンを取得し、第１のコーディングパターンはコーディング情報を符号化したパターンである。

上記のコーディングパターンとは、パターンコーディング技術を利用して、コーディング情報を符号化することを指し、第１のコーディングパターンにおける異なるパターンは異なるコーディング情報を表すことができ、一般的なコーディングパターンには、２次元コード、一次元コード、ミニプログラムコード等が含まれる。

上記のコーディング情報は端末へ伝播するためのデジタル情報であり、例えば、ネットワークアドレス、支払い情報、プロモーション情報、インスタントメッセージングアカウント、ソーシャルグループなどのである。

Ｓ２０４、端末は、ターゲットモデルによって、第１のコーディングパターンの解像度を向上し、第２のコーディングパターンを取得し、ターゲットモデルは第３のコーディングパターンを入力とし所定の第４のコーディングパターンを出力としトレーニングしたものであり、第３のコーディングパターンは第４のコーディングパターンの解像度を下げることで得られたものであり、第３のコーディングパターンは第１のコーディングパターンと同じコーディング方式を利用するものである。

上記のターゲットモデルは、ニューラルネットワークモデルであってもよい。モデルは低解像度の第３のコーディングパターンを入力とし、高解像度の第４のコーディングパターンを予定出力としトレーニングしたものであるため、モデルに低解像度のコーディングパターンを高解像度のコーディングパターンに復元する機能を学習させることに相当する。Ｓ２０４は、トレーニング済みモデルを利用して超解像度復元を実行する。ここでの超解像度とは、イメージ超解像度の略称であり、即ち、低解像度イメージから高解像度イメージを復元するものである。

Ｓ２０６、端末は、コーディング認識モジュールに第２のコーディングパターンを提供する。

上記のコーディング認識モジュールは、２次元コード認識エンジン、ミニプログラムコード認識エンジンなどの、端末におけるコーディング認識エンジンであり得る。

上記の実施例では、本出願のコーディングパターン処理方法がサーバー１０１によって実行される例を説明したが、本出願のコーディングパターンを最適化する解決策も、端末で実行されてもよい。即ち、本出願のコーディングパターン処理方法は、端末１０３で実行されてもよく、サーバー１０１と端末１０３で共同実行されてもよい。さらに、端末１０３が本出願の実施例のコーディングパターン処理方法を実行する場合、端末１０３に搭載されたクライアントで実行されてもよい。

上記のＳ２０２からＳ２０６を経て、認識対象第１のコーディングパターンを取得した場合に、ターゲットモデルによって、第１のコーディングパターンの解像度を上げて、第２のコーディングパターンを取得し、端末のコーディング認識モジュールに解像度のより高い第２のコーディングパターンを提供することで、関連技術におけるコーディングパターンを正確に認識できないという技術的な問題を解決し、コーディングパターンへの認識精度を向上させる技術的効果を達成できる。

現在の２次元コード認識技術では、入力のイメージの品質に対する要求が比較的に高く、ぼやけた、解像度が小さすぎる画像の場合、認識率は理想的ではない。インスタントメッセージング、ソーシャルなどのシナリオでは、図３に示すように、多くのポスター写真は写真の下部に小さな２次元コード(第１のコーディングパターンに相当)を付けて、２次元コードの解像度が低すぎるため、この２次元コードの認識に影響を与える。チャットするとき、同一の２次元コードの写真は通常、何度も転送されるため圧縮され、何度も圧縮されるため、小さい解像度とぼやけが同時に発生してしまう。このようなシナリオでは、２次元コードの認識がより困難になる。

上記の問題に直面した場合、本出願の技術案を利用できる。Ｓ２０２によって提供される技術案では、ポスター写真の下部の２次元コード、複数回圧縮後の２次元コードなどを第１のコーディングパターンとして端末に提供してもよい。この時、端末は、コーディング情報認識対象の第１のコーディングパターンを取得して、第１のコーディングパターンはコーディング情報を符号化したパターンである。

任意選択で、端末認識対象の第１のコーディングパターンを取得することは、端末認識対象の２次元コードコーディングパターンを取得することと、端末認識対象のミニプログラムコーディングパターンを取得することと、端末認識対象の一次元コードコーディングパターンを取得することとの一つを含む。

任意選択で、コーディングパターンの中央領域にあるＬＯＧＯ(ＬＯＧＯの中国語はロゴ又は商標であり、ＬＯＧＯｔｙｐｅの略称であり、ロゴを所有する会社の認識及び宣伝に役割を果たす)は不規則である場合が多いため、トレーニングに干渉しやすく、コーディングパターンの特徴の抽出をトレーニングすることに何の利点もなく、トレーニングする前にコーディングパターンの中央領域にあるＬＯＧＯを削除して、トレーニングへのＬＯＧＯの干渉を回避することができる。

Ｓ２０４によって提供される技術案では、端末は、ターゲットモデルによって第１のコーディングパターンの解像度を上げて、第２のコーディングパターンを得る。

上記のターゲットモデルは、コーディングパターンのイメージ超解像度処理を行うことと、明瞭度を向上させることとを学習したモデルである。Ｓ２０４では、予めトレーニングしたターゲットモデルを使用してもよく、使用中にトレーニングしてもよい。モデルをトレーニングする一般的な考え方は、低解像度の第３のコーディングパターンを入力とし高解像度の第４のコーディングパターンを予定出力とし、トレーニングプロセスで、モデルはパラメータの値を調整することで、実際に出力されるコーディングパターンと第４のコーディングパターンとを同じにするか、基本的に同じにし、モデルのトレーニングが完了する。一つの選択可能なトレーニング方式は、次のようになる。

Ｓ１１、ターゲットモデルによって第１のコーディングパターンの解像度を上げる前に、複数組のトレーニングイメージ（トレーニング画像とも言う）を取得し、各組のトレーニングイメージは一枚の第３のコーディングパターンと一枚の第４のコーディングパターンを含み、第４のコーディングパターンは事前に準備されたトレーニングデータであり、例えば、コーディングパターン生成ソフトウェアによって自動的に生成され、インターネットから収集され、同じ組のトレーニングイメージにおける２つのコーディングパターンが所持するコーディング情報は、同じであるか、基本的に同じである。

Ｓ１２、複数組のトレーニングイメージにおけるトレーニングイメージを使用して、オリジナルモデルをトレーニングし、オリジナルモデルにおけるパラメータを初期化する。

任意選択で、図４に示すように、複数組のトレーニングイメージにおけるトレーニングイメージを使用して、オリジナルモデルをトレーニングし、オリジナルモデルにおけるパラメータを初期化することは、第３のコーディングパターンにおけるピクセルのグレースケール値をオリジナルモデルの入力とし(例えば、３*３の全接続層（全結合層とも言う）)、第４のコーディングパターンをオリジナルモデルの予定出力とし、アクティベーション関数ＬＲｅＬＵ(完全名：ＬｅａｋｙＲｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ)を介してオリジナルモデルにおけるパラメータを初期化し、オリジナルモデルは複数の畳み込み層を含み、複数の畳み込み層のうち１番目の畳み込み層(例えば、畳み込み層１)の入力は第３のコーディングパターンにおけるピクセルのグレースケール値であり、複数の畳み込み層のうちｉ番目の畳み込み層の出力はｉ-１番目の畳み込み層の出力とｉ番目の畳み込み層によってｉ-１番目の畳み込み層の出力に対して畳み込み操作を実行した結果との和であり、例えば、畳み込み層２の入力は畳み込み層１の出力及び入力を含み、整数ｉは２からＮまでの値をとり、Ｎは複数の畳み込み層の層数であり、オリジナルモデルにおけるパラメータは複数の畳み込み層の畳み込み操作で使用されるパラメータを含み、複数の畳み込み層のいずれかによって出力される１つのタイプ（クラス（class）とも言う）の特徴は当該畳み込み層における１つの畳み込みカーネルで畳み込み操作を行うことによって得られる。

上記の特徴とは、モデルにより認識された特徴を指し、例えば、２次元コードにおける左下の四角の場合、転送のプロセスで、境界が徐々にぼやけになり、イメージをより鮮明になるように、最近隣内挿法を利用して境界を復元してもよい。ひし形、三角形などの形状特徴の場合、境界をより鮮明になるように、最適方式を利用してもよい。

畳み込み層では、入力の情報はピクセルのグレースケール値で構成される行列又は他の畳み込み層から出力された特徴値行列であり、出力は特徴値行列であり、モデルにおけるパラメータは入力を出力にマッピングする関数におけるパラメータである。

Ｓ１３、数回のトレーニングの後、テストに使用された第５のコーディングパターンをトレーニングされたオリジナルモデルの入力とし、オリジナルモデルから出力されたコーディングイメージ（コーディング画像とも言う）が検証用の第６のコーディングパターンとマッチングするかどうか、つまり、両者のイメージ類似度が指定された閾値(例えば、９９％)に到達するかどうかを判断する。

Ｓ１４、第５のコーディングパターンをトレーニングされたオリジナルモデルの入力とし、オリジナルモデルから出力したコーディングイメージと第６のコーディングパターンがマッチングする場合に、トレーニングされたオリジナルモデルをターゲットモデルとし、第５のコーディングパターンは第６のコーディングパターンの解像度を下げたものであり、第５のコーディングパターンは第３のコーディングパターンと同じコーディング方式を利用するものである。

Ｓ１５、第５のコーディングパターンをトレーニングされたオリジナルモデルの入力とし、オリジナルモデルから出力したコーディングイメージと第６のコーディングパターンがマッチングしない場合に、Ｓ１２に戻って、第５のコーディングパターンをトレーニングされたオリジナルモデルの入力とする場合、オリジナルモデルから出力されたコーディングイメージが第６のコーディングパターンとマッチングするまで、複数組のトレーニングイメージにおけるトレーニングイメージを使用してオリジナルモデルをトレーニングし続けて、オリジナルモデルにおけるパラメータを調整する。

なお、コーディングフォーマット又はコーディング方式が異なるイメージは特徴が異なるため、異なるコーディングフォーマットのコーディングパターンに適応するために、必要に応じて対応するコーディングフォーマットのトレーニングイメージを利用してトレーニングしてもよい。例えば、２次元コードパターンを認識しようとする場合、対応して２次元コードパターンを利用してトレーニングすればよい。

任意選択で、コーディングパターンについて、ぼやけるシナリオは多様である。出願人は、ほとんどのモデルがいくつかの固定のシナリオ(ターゲットシナリオと表記し、１つのシナリオは一種のイメージ劣化タイプと見なすことができる)に集中することを発見した。トレーニングの効率及びイメージ超解像度処理の正確率を向上させるために、複数の組のトレーニングイメージに主にこれらのターゲットシナリオにおいてぼやけが生じた第３のコーディングパターンとオリジナル第４のコーディングパターンが含まれるように、モデルをトレーニングして、これらのシナリオでぼやけたパターンに対して正確なイメージ超解像度処理を実行する機能を備える。

通常、低解像度イメージと比較して、高解像度イメージはより豊かな細部を提供し、優れた視覚効果を現し、２次元コード認識のような、イメージを入力とする後続の流れでは、システムの全体的な表現の向上にも役立つ。しかしながら、撮像デバイス、ストレージスペース及びネットワークリソース、使用シナリオなどの制限により、多くの場合、低解像度のコーディングイメージしか取得できない。従って、本出願の技術案を使用して超解像度動作を実行できる。任意の方式では、上記のトレーニングされたモデルによって実現する。

モデルをトレーニングした後、上記のモデルを使用してイメージ超解像度処理を実行することができる。ターゲットモデルによって第１のコーディングパターンの解像度を向上させて、イメージ超解像度処理後の第２のコーディングパターンを得る。イメージ超解像度処理は、具体的に次の２つのステップを含む。
ステップ２１、ターゲットモデルによって、第１のコーディングパターンの解像度をターゲット解像度に上げて、ターゲットコーディングパターンを得る。
ステップ２２、ターゲットモデルによって、ターゲットコーディングパターンにおけるサブパターンのエッジを修正し、第２のコーディングパターンを得る。

任意選択で、ターゲットモデルによって、ターゲットコーディングパターンにおけるサブパターンのエッジを修正し、第２のコーディングパターンを得ることは、ターゲットコーディングパターンにおける各サブパターンに対して、次のような処理を実行することを含む。即ち、ターゲットモデルによってサブパターンの特徴情報(ｆｅａｔｕｒｅ)を認識し、例えば、当該サブパターンの形状を認識し、ターゲットモデルによってサブパターンの特徴情報とマッチングする修正情報を取得し、当該修正情報は、より明確にするために、どのような修正方式を利用してエッジを修正するかことを示し、ターゲットモデルによって、サブパターンの特徴情報とマッチングする修正情報に応じて、サブパターンのエッジを修正し、例えば、四角の場合、最近隣内挿法を利用して境界を復元し、イメージをより鮮明にする。

任意選択で、ターゲットモデルによってサブパターンの特徴情報を認識することは、ターゲットモデルの複数の畳み込み層によって、サブパターンの特徴情報を認識することと、複数の畳み込み層を直列に接続し(即ち、これらの複数の畳み込み層は一列又は一行に配置し、前の畳み込み層の出力を次の畳み込み層の入力とする)、複数の畳み込み層のうちいずれかの畳み込み層の出力が当該畳み込み層の後に直列に接続された少なくとも１つの畳み込み層の入力、例えば後の各畳み込み層の入力とされることと、を含む。換言すれば、本出願では、ネットワークで密集接続を利用する方式を利用している。このような方式は、損失を削減し、ネットワーク浅層特徴を深層特徴に接続することで、層間の情報伝送を最大化し、同時にトレーニング時間を短縮し、勾配の消失(ｖａｎｉｓｈｉｎｇ-ｇｒａｄｉｅｎｔ)による問題を減らすことができる。

上記のステップにより、勾配の消失による問題が軽減され、特徴情報の伝送が強化され、特徴情報をより効果的に使用でき、パラメータの数も減らすことができる。

上記のイメージ超解像度処理は、低解像度イメージ(例えば、第１のコーディングパターン)を入力とし、高解像度イメージ(例えば、第２のコーディングパターン)の出力に再構成する。バイリニア(ｂｉｌｉｎｅａｒ)補間及びバイキュービック(Ｂｉｃｕｂｉｃ)補間は様々なイメージコンテンツに適応できなく、認識能力が低く、イメージの高周波情報を再構築することが困難であり、出力画像がぼやけすぎて、圧縮イメージに適用される場合人工効果の干渉を増幅することを考えると、本出願では、画素補間に基づくイメージ超解像度アルゴリズムを利用し、当該アルゴリズムは、簡単な計算と高速の利点があるので、良い適用シナリオがあり、例えば、最近傍(ｎｅａｒｅｓｔ)補間を利用する。

Ｓ２０６によって提供される技術案では、端末はコーディング認識モジュールに第２のコーディングパターンを提供するので、端末はイメージ超解像度処理後の第２のコーディングパターンを使用して運ばれるコーディング情報を正確に認識することができる。

本出願は、コードスキャンイメージの特点に応じて、モバイル端末に適したイメージ超解像度処理ネットワークを設計し、高速で効率的なコードイメージの再構成を実現し、画質を向上させ、コードスキャンアルゴリズムの認識成功率を大幅に向上させる。図５は、本出願のイメージ復元の再構成効果を示し、その中で、５０１は圧縮対象イメージで、５０３は関連技術における復元解決策(例えば、Ｂｉｃｕｂｉｃ)によって得られたもので、５０５は本出願の技術案を利用して得られたものである。

以下、任意の実施例として、具体的な実施方式に基づいて本出願の技術案を詳細に説明する。

本出願は、圧縮写真における２次元コードを高度に復元することにより、２次元コード認識性能を向上させる方法を提供する。当該方法は主に、写真が圧縮された後に、２次元コードがぼやけ過ぎて認識しにくいという問題を解決するために提案された。図６に示すように、インスタントメッセージングで２次元コードを長押しして認識するシナリオでは、多くのコードイメージがスクリーンショット、モーメンツ及びチャットを通じて何度も圧縮され転送されるため、品質が著しく損なわれ、解像度が低下し、エッジがぼやけて、認識が非常に困難になる。具体的には、これは主に次の２つの側面に反映される。

一つ目は、イメージの解像度が小さいことである。例えば、図３に示すように、ポスターに埋め込まれるか、又は遠くから撮影された２次元コードは、解像度が通常の状況でのコードイメージよりもはるかに小さい。２つ目は、画質が低い。図６に示すように、長押しで認識されたコードイメージの多くは、何度も圧縮及び転送されており、深刻な人工効果（例えば、リンギング効果など）の干渉がある。以上は関連技術における２次元コード認識アルゴリズムに深刻な影響を及ぼす。これらの低品質のコードイメージに出会うと、多くの場合、従来のアルゴリズムでは満足の結果を得ることが困難である。

これらの問題に対して、本出願は、認識流れに超解像度戦略を導入し、スキャンコードイメージの解像度を向上させながら、画質を向上させて、認識率を高める。本出願の技術案は、２次元コード認識エンジンの一部として使用できる。当該アルゴリズムは、簡潔で効率的で、２次元コード、ミニプログラムコード、一次元コード、ＰＤＦ４１７などの複数の主流のコードフォーマットをサポートする。実際のシナリオのテストにより、この戦略により、コードスキャンエンジンの低品質イメージへのロバスト性及び認識成功率を大幅に向上し、より広範囲で複雑なシナリオに適用できることを表明した。

本出願の深層学習に基づいて設計されたイメージ超解像度処理アルゴリズムは、特徴マップを完全に再利用し、計算量を削減しながら、良好な再構成効果を維持する。同時に、２次元コードイメージの特点に応じて、特定の損失関数を利用して、後続の認識の成功率を向上させた。

ネットワーク構造設計では、モデル体積を簡素化し、計算速度を上げるために、ニューラルネットワークの深さ及び幅を圧縮してもよい。このようにすれば、精度が多少失われるが、本出願はネットワークで密集接続を使用する方式を利用しているため、この方式は損失を削減し、ネットワーク浅層特徴を深層特徴に接続して、層間の情報伝送を最大限に確保することができる。

本出願は、より簡素化したボトルネック構造を利用しているため、３*３の畳み込みカーネルを成長率よりも低い特徴次元で実行させて、モデルの体積及び計算量をさらに削減した。図７は、両者の違いを示している(簡潔にするために、アクティベーション関数とバッチ正規化(Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ、ＢＮ)を無視して、バッチ正規化はトレーニング最適化方法であり、Ｎｏｒｍａｌｉｚａｔｉｏｎはデータ正規化であり、Ｂａｔｃｈはバッチとして理解でき、それらを組み合わせてバッチ正規化になる。モデルでは、Ｂａｔｃｈはトレーニングネットワークによって設定された写真数(ｂａｔｃｈ_ｓｉｚｅ)であり、ＢＮ層を削除した。また、パラメータ及び計算量がともに大きい左側の３*３畳み込みカーネルに対して、レイヤーごとの(ｄｅｐｔｈｗｉｓｅ)畳み込みに変更し、即ち、ネットワークのアップサンプリングと再構成のモジュールであり、本出願は類似するｄｅｐｔｈｗｉｓｅに基づくボトルネック構造を利用してアップサンプリングと再構成を実現し、最後に出力の前に１つの１*１畳み込みカーネルを追加し、特徴チャネルの組み合わせと次元のアップグレードに使用し、モジュールでは畳み込み層の後ろにＬＲｅＬＵをアクティベーション関数として使用する。

モデルトレーニング階段では、本出願は残差学習を利用する。図８に示すように、オリジナルの低解像度２次元コードイメージを入力とし、基本的なネットワークは畳み込み層で構成されるネットワークであり、ネットワークの最終的な再構成層にデコンボリューションでターゲット解像度にアップサンプリングする。このように、計算プロセス全体が低解像度の空間で実行されるため、計算量が削減される。

モデルトレーニングのプロセスでは、２次元コードイメージ及び認識流れの特点に応じて、本出願は境界損失とバイナリモード制限損失という損失関数を試した。具体的に、境界損失では、モデルが明確なエッジをできるだけ正確に再構築できるようにするために、本出願はｓｏｂｅｌオペレーターを使用してイメージのエッジ情報を抽出し、損失関数の重みとし、これらの位置予測偏差のコストを増加させる。バイナリモード制限損失では、本出願はバイナリモード制限損失関数を利用して、誤って計算されたグレーピクセルのペナルティを増やし、Ｌ２Ｌｏｓｓに基づき、シグモイド（Ｓｉｇｍｏｉｄ）関数の１次導関数を重みとする。しかしながら、これらの損失関数が本出願の技術案に適用された場合、効果はあまりよくない。

超解像度プロセスで、主なタスクは、イメージの高周波情報を推定することであり、収束を高速化するために、本出願は計算量が小さい最近隣内挿法を使用して、入力イメージをターゲットサイズに直接拡大し、ネットワーク出力に加算して、最終的な出力を得る。このような方式によって、ネットワークは残差を学習するだけでよい。実践が証明するように、残差学習は収束を加速するだけでなく、再構成の正確度も向上させる。

任意選択で、本出願は、トレーニングデータに対して処理を追加してもよい。例えば、２次元コードの中央領域にあるＬＯＧＯ情報は認識には役立たず、直接に消去できる。イメージ超解像度拡大とともに画質を向上させるために、本出願はモデルのロバスト性と一般化能力を強化するように、トレーニングデータに複数のイメージ劣化タイプを集中に導入してもよい。

表１に示すように、大きなモデルは認識率が高いが多くのリソースを消費し、小さなモデルは反対である。小さなモデルの効果をさらに向上させるために、本出願は圧縮なしの大きなモデルを使用して小さなモデルのトレーニングをガイドし、小さなモデルを大きなモデルの予測結果に直接に適合させる。モデルの蒸留は、テストプロセスに追加のオーバーヘッドをもたらすことはなく、速度とモデル体積に影響を与えることはないが、モデルの正確度を効果的に向上させることができる。

本出願は、シンプルで効率的なネットワーク構造を提供し、超解像アルゴリズムをモバイルデバイスで迅速に実行でき、一つのフレームにかかる時間は１０ｍｓ未満である。図４は、当該アルゴリズムの完全なネットワーク構造を示している。

本出願の技術案によれば、スキャンコードイメージのイメージ超解像度の復元を実現でき、解像度が小さいコードイメージに対してイメージ超解像度の復元を実行し、高解像度の出力を取得し、コーディング領域のエッジが鋭利で、明瞭であることを保証し、画質が強化されることで、何度も圧縮され転送されたコードに対しても画質を強化し、人工効果による後続の認識流れへの干渉を低減し、モデル体積が小さく、計算が高速であるため、定量化圧縮されたネットワークモデルはわずか１３Ｋであり、現在学術界で一般的に使用されている主流のイメージ超解像度モデル(例えば、マルチスケールの超解像アーキテクチャＭＤＳＲ、加速されたディープＣＮＮ超解像ネットワークＦＳＲＣＮＮなど) よりもはるかに小さい。本出願は、圧縮写真における２次元コードを高度に復元することにより、２次元コードの認識性能を向上させる方法を提供する。

なお、前述の各方法の実施例では、説明を簡略化するために、それをすべて一連のアクション組み合わせとして表したが、本出願は説明されたアクション順序によって制限されない。本出願では、一部のステップは他の順序で又は同時に実行できる。また、明細書に記載された実施例はいずれも好ましい実施例に属し、言及されたアクションとモジュールは本出願に必ずしも必要ではない。

以上の実施形態の説明により、当業者は、上記の実施例による方法が、ソフトウェアに加えて必要な一般的なハードウェアプラットフォームによって実現され得て、もちろん、ハードウェアによって実現され得ることが理解できる。多くの場合、前者はより最適化された実施方式である。このような理解に基づいて、本出願の技術案の本質的に又は先行技術に寄与する部分は、ソフトウェア製品の形で表現できる。当該コンピュータソフトウェア製品は、１つの記憶媒体(例えば、ＲＯＭ/ＲＡＭ、磁気ディスク、光ディスク)に記憶され、端末デバイス(携帯電話、コンピュータ、サーバー、又はネットワークデバイスなど)に本出願の各実施例に記載の方法を実行させるためのいくつかの指示が含まれている。

本出願の実施例による他の態様は、上記のコーディングパターン処理方法を実施するためのコーディングパターン処理装置を提供する。図９は、本出願の実施例による選択可能なコーディングパターン処理装置の概略図である。図９に示すように、当該装置は、第１の取得ユニット９０１と、処理ユニット９０３と、インタラクションユニット９０５とを含んでよい。

第１の取得ユニット９０１は、認識対象の第１のコーディングパターンを取得し、第１のコーディングパターンはコーディング情報を符号化したパターンである。
処理ユニット９０３は、ターゲットモデルによって、第１のコーディングパターンの解像度を向上し、第２のコーディングパターンを取得し、ターゲットモデルは第３のコーディングパターンと所定の第４のコーディングパターンを利用してトレーニングしたものであり、第３のコーディングパターンが第４のコーディングパターンの解像度を下げることで得られたものであり、第３のコーディングパターンは第１のコーディングパターンと同じコーディング方式を利用するものである。
インタラクションユニット９０５は、端末のコーディング認識モジュールに第２のコーディングパターンを提供する。

なお、当該実施例における第１の取得ユニット９０１は本出願の実施例におけるＳ２０２を実行でき、当該実施例における処理ユニット９０３は本出願の実施例におけるＳ２０４を実行でき、当該実施例におけるインタラクションユニット９０５は本出願の実施例におけるＳ２０６を実行できる。

なお、上記のモジュールと対応するステップによって実現される例及び適用シナリオは同じであるが、上記の実施例で開示された内容に限定されない。上記のモジュールは、装置の一部として図１に示すハードウェア環境で実行でき、ソフトウェアで実現されてもよく、ハードウェアで実現されてもよい。

上記のモジュールによって、認識対象の第１のコーディングパターンを取得した場合に、ターゲットモデルによって、第１のコーディングパターンの解像度を上げ、第２のコーディングパターンを取得し、端末のコーディング認識モジュールに解像度のより高い第２のコーディングパターンを提供することで、関連技術におけるコーディングパターンを正確に認識できないという技術的な問題を解決し、コーディングパターンへの認識精度を向上させる技術的効果を達成できる。

任意選択で、処理ユニットは、ターゲットモデルによって、第１のコーディングパターンの解像度をターゲット解像度に上げ、ターゲットコーディングパターンを得るための超解像モジュールと、ターゲットモデルによって、ターゲットコーディングパターンにおけるサブパターンのエッジを修正し、第２のコーディングパターンを得るための修正モジュールと、を含む。

任意選択で、修正モジュールは、さらに、ターゲットコーディングパターンにおけるサブパターンに対して次のような処理を実行する。即ち、ターゲットモデルによってサブパターンの特徴情報を認識することと、ターゲットモデルによって、サブパターンの特徴情報とマッチングする修正情報を取得することと、ターゲットモデルによって、サブパターンの特徴情報とマッチングする修正情報に応じて、サブパターンのエッジを修正することと、を含む。

任意選択で、修正モジュールは、さらに、ターゲットモデルの複数の畳み込み層によって、サブパターンの特徴情報を認識し、複数の畳み込み層が直列に接続され、複数の畳み込み層のいずれか１つの出力は当該畳み込み層の後に直列に接続された少なくとも１つの畳み込み層の入力として使用される。

任意選択で、本出願の装置は、ターゲットモデルによって第１のコーディングパターンの解像度を上げる前に、それぞれ一枚の第３のコーディングパターンと一枚の第４のコーディングパターンを含む複数組のトレーニングイメージを取得するための第２の取得ユニットと、複数組のトレーニングイメージにおけるトレーニングイメージを使用して、オリジナルモデルをトレーニングするための第１のトレーニングユニットと、第５のコーディングパターンをトレーニングされたオリジナルモデルの入力とし、オリジナルモデルから出力したコーディングイメージと第６のコーディングパターンがマッチングする場合に、トレーニングされたオリジナルモデルをターゲットモデルとし、第５のコーディングパターンは第６のコーディングパターンの解像度を下げたものであり、第５のコーディングパターンは第３のコーディングパターンと同じコーディング方式を利用するものである確定ユニットと、第５のコーディングパターンをトレーニングされたオリジナルモデルの入力とし、オリジナルモデルから出力したコーディングイメージと第６のコーディングパターンがマッチングしない場合に、第５のコーディングパターンをトレーニングされたオリジナルモデルの入力とする場合オリジナルモデルから出力されたコーディングイメージが第６のコーディングパターンとマッチングするまで、複数組のトレーニングイメージにおけるトレーニングイメージを使用して、オリジナルモデルをトレーニングし続けて、オリジナルモデルにおけるパラメータを調整するための第２のトレーニングユニットと、をさらに含む。

任意選択で、第１のトレーニングユニットは、さらに、第３のコーディングパターンにおけるピクセルのグレースケール値をオリジナルモデルの入力とし、第４のコーディングパターンをオリジナルモデルの予定出力とし、オリジナルモデルにおけるパラメータを初期化することができ、ただし、オリジナルモデルは複数の畳み込み層を含み、複数の畳み込み層のうち１番目の畳み込み層の入力は第３のコーディングパターンにおけるピクセルのグレースケール値であり、複数の畳み込み層のうちｉ番目の畳み込み層の出力はｉ-１番目の畳み込み層の出力とｉ番目の畳み込み層によりｉ-１番目の畳み込み層の出力に対して畳み込み操作を実行した結果との和であり、整数ｉは２からＮまでの値をとり、Ｎは複数の畳み込み層の層数であり、オリジナルモデルにおけるパラメータに複数の畳み込み層の畳み込み操作で使用されるパラメータが含まれ、複数の畳み込み層のいずれかによって出力される１つのタイプの特徴は、当該畳み込み層における１つの畳み込みカーネルで畳み込み操作を行うことによって得られる。

任意選択で、第１の取得ユニットは、端末認識対象第１のコーディングパターンを取得する場合、端末認識対象の２次元コードコーディングパターンを取得してもよく、端末認識対象のミニプログラムコーディングパターンを取得してもよく、端末認識対象の一次元コードコーディングパターンを取得してもよい。

なお、上記のモジュールと対応するステップによって実現される例及び適用シナリオは同じであるが、上記の実施例で開示された内容に限定されない。なお、上記のモジュールは、装置の一部として図１に示すようなハードウェア環境で実行でき、ソフトウェアで実現されてもよく、ハードウェアで実現されてもよい。ハードウェア環境はネットワーク環境を含む。

本出願の実施例による他の態様は、上記のコーディングパターン処理方法を実施するためのサーバー又は端末を提供する。

図１０は、本出願の実施例による端末の構成ブロック図である。図１０に示すように、当該端末は、１つ又は複数の(図１０には１つだけが示されている)プロセッサー１００１、メモリ１００３、及び伝送装置１００５を含んでもよい。図１０に示すように、当該端末は、入出力デバイス１００７を含んでもよい。

メモリ１００３は、ソフトウェアプログラム及びモジュールを記憶でき、例えば、本出願の実施例におけるコーディングパターン処理方法及び装置に対応するプログラム指令/モジュールを記憶できる。プロセッサー１００１は、メモリ１００３に記憶されるソフトウェアプログラム及びモジュールを実行することで、各機能適用及びデータ処理を実行し、即ち、上記のコーディングパターン処理方法を実現する。メモリ１００３は、高速ランダムメモリを含んでもよく、１つ又は複数の磁気記憶装置、フラッシュメモリ、又は他の非揮発性ソリッドステートメモリのような非揮発性メモリを含んでもよい。いくつかの例では、メモリ１００３は、プロセッサー１００１に対してリモートに設置されるメモリをさらに含み得、これらのリモートメモリはネットワークを介して端末に接続されてもよい。上記のネットワークの例には、インターネット、企業イントラネット、ローカルネットワーク、モバイル通信ネットワーク、及びこれらの組み合わせが含まれが、これらに限定されない。

上記の伝送装置１００５は、１つのネットワークを介してデータを送受信し、プロセッサーとメモリとの間のデータを伝送してもよい。上記のネットワーク具体的な例は、有線ネットワークと無線ネットワークを含み得る。１つの例では、伝送装置１００５は、インターネット又はローカルネットワークと通信するように、ネットワークケーブルを介して他のネットワークデバイス及びルータに接続できる１つのネットワークインターフェースコントローラ(Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ、ＮＩＣ)を含む。１つの例では、伝送装置１００５は、無線方式でインターネットと通信するための無線周波数(Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦ)モジュールである。

具体的に、メモリ１００３はアプリケーションプログラムを記憶する。

プロセッサー１００１は、伝送装置１００５により、メモリ１００３に記憶されたアプリケーションプログラムを呼び出して、次のステップを実行する。即ち、
端末認識対象の第１のコーディングパターンを取得し、第１のコーディングパターンはコーディング情報をエンコードしたパターンである、ステップと、
ターゲットモデルによって、第１のコーディングパターンの解像度を上げて、第２のコーディングパターンを取得し、ターゲットモデルは第３のコーディングパターンを入力とし第４のコーディングパターンを出力としトレーニングしたものであり、第３のコーディングパターンは第４のコーディングパターンの解像度を下げることで得られたものであり、第３のコーディングパターンは第１のコーディングパターンと同じコーディング方式を利用するものであるステップと、
端末のコーディング認識モジュールに第２のコーディングパターンを提供するステップと、を含む。

プロセッサー１００１は、次のステップをさらに実行する。即ち、
複数組のトレーニングイメージの組を取得し、各組のトレーニングイメージは一枚の第３のコーディングパターンと一枚の第４のコーディングパターンを含むステップと、
複数組のトレーニングイメージにおけるトレーニングイメージを使用して、オリジナルモデルをトレーニングし、オリジナルモデルにおけるパラメータを初期化するステップと、
第５のコーディングパターンをトレーニングされたオリジナルモデルの入力とし、オリジナルモデルから出力したコーディングイメージと第６のコーディングパターンがマッチングする場合に、トレーニングされたオリジナルモデルをターゲットモデルとし、第５のコーディングパターンは第６のコーディングパターンの解像度を下げたものであり、第５のコーディングパターンは第３のコーディングパターンと同じコーディング方式を利用するものであるステップと、
第５のコーディングパターンをトレーニングされたオリジナルモデルの入力とし、オリジナルモデルから出力したコーディングイメージと第６のコーディングパターンがマッチングしない場合に、第５のコーディングパターンをトレーニングされたオリジナルモデルの入力とする場合オリジナルモデルから出力されたコーディングイメージが第６のコーディングパターンとマッチングするまで、複数組のトレーニングイメージにおけるトレーニングイメージを使用して、オリジナルモデルをトレーニングし続けて、オリジナルモデルにおけるパラメータを調整するステップと、
をさらに実行する。

本出願の実施例によれば、「コーディング情報をエンコードしたパターンである、端末認識対象の第１のコーディングパターンを取得し、ターゲットモデルによって、第１のコーディングパターンの解像度を上げて、第２のコーディングパターンを取得し、ターゲットモデルは第３のコーディングパターンを入力とし第４のコーディングパターンを出力としトレーニングしたものであり、第３のコーディングパターンは第４のコーディングパターンの解像度を下げることで得られたものであり、第３のコーディングパターンは第１のコーディングパターンと同じコーディング方式を利用するものであり、端末のコーディング認識モジュールに第２のコーディングパターンを提供する」ということによって、認識対象の第１のコーディングパターンを取得した場合に、ターゲットモデルによって、第１のコーディングパターンの解像度を上げて、第２のコーディングパターンを取得し、端末のコーディング認識モジュールに解像度のより高い第２のコーディングパターンを提供することで、関連技術におけるコーディングパターンを正確に認識できないという技術的な問題を解決し、コーディングパターンへの認識精度を向上させる技術的効果を達成できる。

任意選択で、本実施例における具体的な例は、上記の実施例で説明した例を参照することができるため、本実施例は、ここで繰り返さない。

任意選択で、当業者は、図１０に示した構造は、説明のためのものに過ぎず、端末は、スマートフォン(例えば、Ａｎｄｒｏｉｄフォン、ｉＯＳフォンなど)、タブレット、ハンドヘルドコンピューター、及びモバイルインターネットデバイス(Ｍｏｂｉｌｅ Ｉｎｔｅｒｎｅｔ Ｄｅｖｉｃｅｓ、ＭＩＤ)、ＰＡＤなどの端末デバイスであってもよいことが理解できる。図１０は、上記の電子装置の構造を制限するものではない。例えば、電子装置は、図１０に示したものよりも多いまたは少ないコンポーネント(例えば、ネットワークインターフェース、表示装置など) を含み得、又は図１０に示したものとは異なる配置を有し得る。

上記の実施例に係る各種方法におけるステップの全て又は一部は、プログラムによって端末デバイスに関連するハードウェアに指示して完成でき、当該プログラムがコンピュータ可読記憶媒体に記憶され、記憶媒体は、フラッシュメモリディスク、読み取り専用メモリ(Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ)、ランダムアクセスメモリ(Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ)、磁気ディスク又は光ディスクなどを含む。

本出願の実施例は、さらに、記憶媒体を提供する。任意選択で、本実施例では、上記の記憶媒体は、コーディングパターン処理方法のプログラムコードを実行することができる。

任意選択で、本実施例では、上記の記憶媒体は、上記の実施例に示したネットワークにおける複数のネットワークデバイスのうち少なくとも１つにあってもよい。

任意選択で、本実施例では、記憶媒体は、次のステップを実行するためのプログラムコードを記憶するように設置される。即ち、
コーディング情報をエンコードしたパターンである、端末認識対象の第１のコーディングパターンを取得するステップと、
ターゲットモデルによって、第１のコーディングパターンの解像度を上げて、第２のコーディングパターンを取得し、ターゲットモデルは第３のコーディングパターンと所定の第４のコーディングパターンを利用してトレーニングしたものであり、第３のコーディングパターンは第４のコーディングパターンの解像度を下げることで得られたものであり、第３のコーディングパターンは第１のコーディングパターンと同じコーディング方式を利用するものであるステップと、
端末のコーディング認識モジュールに第２のコーディングパターンを提供するステップと、を含む。

任意選択で、記憶媒体は、次のステップを実行するためのプログラムコードを記憶するように設置される。即ち、
複数組のトレーニングイメージを取得し、各組のトレーニングイメージに一枚の第３のコーディングパターンと一枚の第４のコーディングパターンが含まれるステップと、
複数組のトレーニングイメージにおけるトレーニングイメージを使用して、オリジナルモデルをトレーニングし、オリジナルモデルにおけるパラメータを初期化するステップと、
第５のコーディングパターンをトレーニングされたオリジナルモデルの入力とし、オリジナルモデルから出力したコーディングイメージと第６のコーディングパターンがマッチングする場合に、トレーニングされたオリジナルモデルをターゲットモデルとし、第５のコーディングパターンは第６のコーディングパターンの解像度を下げたものであり、第５のコーディングパターンは第３のコーディングパターンと同じコーディング方式を利用するものであるステップと、
第５のコーディングパターンをトレーニングされたオリジナルモデルの入力とし、オリジナルモデルから出力したコーディングイメージと第６のコーディングパターンがマッチングしない場合に、第５のコーディングパターンをトレーニングされたオリジナルモデルの入力とする場合オリジナルモデルから出力されたコーディングイメージが第６のコーディングパターンとマッチングするまで、複数組のトレーニングイメージにおけるトレーニングイメージを使用して、オリジナルモデルをトレーニングし続けて、オリジナルモデルにおけるパラメータを調整するステップと、を含む。

任意選択で、本実施例における具体的な例は、上記の実施例で説明した例を参照することができ、本実施例はここで繰り返さない。

任意選択で、本実施例では、上記の記憶媒体は、Ｕディスク、読み取り専用メモリ(ＲＯＭ、Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ)、ランダムアクセスメモリ(ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)、モバイルハードディスク、磁気ディスク、又は光ディスクなどの、プログラムコードを記憶できる媒体を含むが、これらに限定されない。

本出願の実施例は、さらに、指令を含むコンピュータプログラム製品を提供し、コンピュータで実行される場合、コンピュータに上記の実施例によって提供される方法を実行させる。

上記の本出願の実施例のシリアル番号は、説明のためのものであり、実施例の優位性を表すものではない。

上記の実施例における集積ユニットがソフトウェア機能ユニットの形で実現され、独立した製品として販売又は使用される場合、上記のコンピュータ可読取記憶媒体に記憶されてもよい。このような理解に基づいて、本出願の技術案は、本質的に、又は先行技術に寄与する一部、又は当該技術案の全て又は一部は、ソフトウェア製品の形で具現化することができる。当該コンピュータソフトウェア製品は、記憶媒体に記憶され、一つ又は複数のコンピュータデバイス(パーソナルコンピュータ、サーバー、又はネットワークデバイスなどであり得る)に本出願の各実施例に記載の方法のステップの全て又は一部を実行させるように、いくつかの指令を含む。

上記の本出願の実施例では、各実施例に対する説明にそれぞれ重点があり、ある実施例において詳細に説明されていない部分については、他の実施例の関連説明を参照できる。

本出願によって提供されるいくつかの実施例では、開示のクライアントは、他の方式で実現できる。なお、上記の装置の実施例は単なる例示であり、例えば前記ユニットの分割は、論理機能の分割に過ぎず、実際の実現に他の分割方式もあり得る。例えば、複数のユニット又はコンポーネントは組み合わせたり、他のシステムに集積したり、一部の特徴を省略したり、実行しないことができる。また、表示又は議論の相互結合又は直接結合又は通信接続は、インターフェース、ユニット又はモジュールを介した間接結合又は通信接続であってもよく、電気的または他の形態であってもよい。

前記の分割部材として説明したユニットは、物理的に分割されてもされなくてもよい。ユニットとして表示した部材は、物理的なユニットであってもなくてもよい。即ち、１つの場所にあってもよく、複数のネットワークユニットに分散されてもよい。実際の必要に応じて、一部又は全てユニットを選択して本実施例の技術案の目的を実現してもよい。

また、本出願の各実施例における各機能ユニットは、１つの処理ユニットに集積されてもよく、各ユニットは物理的に単独で存在してもよく、２つ以上のユニットが１つのユニットに集積されてもよい。上記の集積されたユニットは、ハードウェアの形で実現されてもよく、ソフトウェア機能ユニットの形で実現されてもよい。

以上は、本出願の好ましい実施形態に過ぎず、本出願の原理から逸脱することなく、改良および修正を行うことができ、これらの改良および修正もまた、本出願の保護範囲と見なされるべきである。

Claims (15)

1. 電子装置が実行するコーディングパターン処理方法であって、
   前記電子装置が、
   端末の認識対象となる第１のコーディングパターンを取得するステップであって、前記第１のコーディングパターンはコーディング情報をエンコードしたパターンである、ステップと、
   ターゲットモデルによって前記第１のコーディングパターンの解像度を上げ、第２のコーディングパターンを取得するステップであって、前記ターゲットモデルは第３のコーディングパターン及び所定の第４のコーディングパターンを利用してトレーニングして得られたものであり、前記第３のコーディングパターンは前記第４のコーディングパターンの解像度を下げることで得られたものであり、前記第３のコーディングパターンは前記第１のコーディングパターンと同じコーディング方式を利用する、ステップと、
   前記端末のコーディング認識モジュールに前記第２のコーディングパターンを提供するステップと、
   を含むことを特徴とするコーディングパターン処理方法。
2. ターゲットモデルによって前記第１のコーディングパターンの解像度を上げ、第２のコーディングパターンを取得する前記ステップは、
   前記ターゲットモデルによって、前記第１のコーディングパターンの解像度をターゲット解像度に上げ、ターゲットコーディングパターンを取得するステップと、
   前記ターゲットモデルによって、前記ターゲットコーディングパターンにおけるサブパターンのエッジを修正し、前記第２のコーディングパターンを取得するステップと、
   を含む、ことを特徴とする請求項１に記載のコーディングパターン処理方法。
3. 前記ターゲットモデルによって、前記ターゲットコーディングパターンにおけるサブパターンのエッジを修正し、前記第２のコーディングパターンを取得する前記ステップは、
   前記ターゲットモデルによって、前記サブパターンの特徴情報を認識するステップと、
   前記ターゲットモデルによって、前記サブパターンの特徴情報とマッチングする修正情報を取得するステップと、
   前記ターゲットモデルによって、前記サブパターンの特徴情報とマッチングする修正情報に応じて、前記サブパターンのエッジを修正するステップと、
   を含む、ことを特徴とする請求項２に記載のコーディングパターン処理方法。
4. 前記ターゲットモデルによって、前記サブパターンの特徴情報を認識する前記ステップは、
   前記ターゲットモデルの複数の畳み込み層によって、前記サブパターンの特徴情報を認識するステップであって、前記複数の畳み込み層は直列に接続され、前記複数の畳み込み層のいずれか１つの畳み込み層の出力は当該畳み込み層の後に直列に接続される少なくとも１つの畳み込み層の入力とされる、ステップを含む、
   ことを特徴とする請求項３に記載のコーディングパターン処理方法。
5. 前記ターゲットモデルは、
   前記電子装置が複数組のトレーニング画像を取得するステップであって、各組の前記トレーニング画像は１つの前記第３のコーディングパターン及び１つの前記第４のコーディングパターンを含む、ステップと、
   前記電子装置が、前記複数組のトレーニング画像におけるトレーニング画像を使用して、オリジナルモデルをトレーニングするステップと、
   前記電子装置が、第５のコーディングパターンをトレーニングされた前記オリジナルモデルの入力とし、かつ前記オリジナルモデルから出力したコーディング画像と第６のコーディングパターンがマッチングする場合に、トレーニングされた前記オリジナルモデルを前記ターゲットモデルとするステップであって、前記第５のコーディングパターンは前記第６のコーディングパターンの解像度を下げることで得られたものであり、前記第５のコーディングパターンは前記第３のコーディングパターンと同じコーディング方式を利用する、ステップと、
   前記電子装置が、前記第５のコーディングパターンをトレーニングされた前記オリジナルモデルの入力とし、かつ前記オリジナルモデルから出力したコーディング画像と前記第６のコーディングパターンがマッチングしない場合に、前記複数組のトレーニング画像におけるトレーニング画像を使用して、オリジナルモデルをトレーニングする前記ステップを引き続き実行するステップと、
   によりトレーニングされる、ことを特徴とする請求項１から４のいずれか１項に記載のコーディングパターン処理方法。
6. 前記電子装置が、前記複数組のトレーニング画像におけるトレーニング画像を使用して、オリジナルモデルをトレーニングする前記ステップは、
   前記電子装置が、前記第３のコーディングパターンにおけるピクセルのグレースケール値を前記オリジナルモデルの入力とし、前記第４のコーディングパターンを前記オリジナルモデルの予定出力とするステップであって、前記オリジナルモデルは複数の畳み込み層を含み、前記複数の畳み込み層のうち１番目の畳み込み層の入力は前記第３のコーディングパターンにおけるピクセルのグレースケール値であり、前記複数の畳み込み層のうちｉ番目の畳み込み層の出力はｉ-１番目の畳み込み層の出力と、ｉ番目の畳み込み層によりｉ-１番目の畳み込み層の出力に対して畳み込み操作を行った結果と、を含み、整数ｉは２からＮまでの値をとり、Ｎは前記複数の畳み込み層の層数であり、前記オリジナルモデルにおけるパラメータは前記複数の畳み込み層の畳み込み操作に使用されるパラメータを含み、前記複数の畳み込み層のいずれか１つの畳み込み層によって出力される１つのクラスの特徴は当該畳み込み層における１つの畳み込みカーネルにより畳み込み操作を行うことによって得られるものである、ステップを含む、
   ことを特徴とする請求項５に記載のコーディングパターン処理方法。
7. 前記第１のコーディングパターンは、
   ２次元コードコーディングパターン、
   ミニプログラムコーディングパターン、及び
   １次元コードコーディングパターン
   のうちの一つを含む、ことを特徴とする請求項１から６のいずれか１項に記載のコーディングパターン処理方法。
8. コーディングパターン処理装置であって、
   端末の認識対象となる第１のコーディングパターンを取得するための第１の取得ユニットであって、前記第１のコーディングパターンはコーディング情報をエンコードしたパターンである、第１の取得ユニットと、
   ターゲットモデルによって前記第１のコーディングパターンの解像度を上げ、第２のコーディングパターンを取得するための処理ユニットであって、前記ターゲットモデルは第３のコーディングパターン及び所定の第４のコーディングパターンを利用してトレーニングして得られたものであり、前記第３のコーディングパターンは前記第４のコーディングパターンの解像度を下げることで得られたものであり、前記第３のコーディングパターンと前記第１のコーディングパターンは同じコーディング方式を利用する、処理ユニットと、
   前記端末のコーディング認識モジュールに前記第２のコーディングパターンを提供するためのインタラクションユニットと、
   を含む、ことを特徴とするコーディングパターン処理装置。
9. 前記処理ユニットは、
   前記ターゲットモデルによって、前記第１のコーディングパターンの解像度をターゲット解像度に上げ、ターゲットコーディングパターンを取得するための超解像モジュールと、
   前記ターゲットモデルによって、前記ターゲットコーディングパターンにおけるサブパターンのエッジを修正し、前記第２のコーディングパターンを取得するための修正モジュールと、
   を含む、ことを特徴とする請求項８に記載のコーディングパターン処理装置。
10. 前記修正モジュールは、さらに、前記ターゲットコーディングパターンにおけるサブパターンに対して、
    前記ターゲットモデルによって、前記サブパターンの特徴情報を認識し、
    前記ターゲットモデルによって、前記サブパターンの特徴情報とマッチングする修正情報を取得し、及び
    前記ターゲットモデルによって、前記サブパターンの特徴情報とマッチングする修正情報に応じて、前記サブパターンのエッジを修正する処理を行う、
    ことを特徴とする請求項９に記載のコーディングパターン処理装置。
11. 前記修正モジュールは、さらに、前記ターゲットモデルの複数の畳み込み層によって、前記サブパターンの特徴情報を認識するために用いられ、
    前記複数の畳み込み層は直列に接続され、前記複数の畳み込み層のいずれか１つの畳み込み層の出力は当該畳み込み層の後に直列に接続される少なくとも１つの畳み込み層の入力とされる、
    ことを特徴とする請求項１０に記載のコーディングパターン処理装置。
12. ターゲットモデルによって前記第１のコーディングパターンの解像度を上げる前に、複数組のトレーニング画像を取得するための第２の取得ユニットであって、各組の前記トレーニング画像は１つの前記第３のコーディングパターン及び１つの前記第４のコーディングパターンを含む、第２の取得ユニットと、
    前記複数組のトレーニング画像におけるトレーニング画像を使用して、オリジナルモデルをトレーニングするための第１のトレーニングユニットと、
    第５のコーディングパターンをトレーニングされた前記オリジナルモデルの入力とし、かつ前記オリジナルモデルから出力したコーディング画像と第６のコーディングパターンがマッチングする場合に、トレーニングされた前記オリジナルモデルを前記ターゲットモデルとするための確定ユニットであって、前記第５のコーディングパターンは前記第６のコーディングパターンの解像度を下げることで得られたものであり、前記第５のコーディングパターンと前記第３のコーディングパターンは同じコーディング方式を利用する、確定ユニットと、
    前記第５のコーディングパターンをトレーニングされた前記オリジナルモデルの入力とし、かつ前記オリジナルモデルから出力したコーディング画像と前記第６のコーディングパターンがマッチングしない場合に、前記第１のトレーニングユニットをトリガーするための第２のトレーニングユニットと、
    をさらに含む、ことを特徴とする請求項８から１１のいずれか１項に記載のコーディングパターン処理装置。
13. 前記第１のトレーニングユニットは、さらに、前記第３のコーディングパターンにおけるピクセルのグレースケール値を前記オリジナルモデルの入力とし、前記第４のコーディングパターンを前記オリジナルモデルの予定出力とするために用いられ、
    前記オリジナルモデルは複数の畳み込み層を含み、前記複数の畳み込み層のうち１番目の畳み込み層の入力は前記第３のコーディングパターンにおけるピクセルのグレースケール値であり、前記複数の畳み込み層のうちｉ番目の畳み込み層の出力はｉ-１番目の畳み込み層の出力と、ｉ番目の畳み込み層によりｉ-１番目の畳み込み層の出力に対して畳み込み操作を行った結果と、を含み、整数ｉは２からＮまでの値をとり、Ｎは前記複数の畳み込み層の層数であり、前記オリジナルモデルにおけるパラメータは前記複数の畳み込み層の畳み込み操作に使用されるパラメータを含み、前記複数の畳み込み層のいずれか１つの畳み込み層によって出力される１つのクラスの特徴は当該畳み込み層における１つの畳み込みカーネルにより畳み込み操作を行うことによって得られる、
    ことを特徴とする請求項１２に記載のコーディングパターン処理装置。
14. プロセッサーと、
    前記プロセッサーに接続されるメモリと、を含む電子装置であって、
    前記メモリにはコンピュータプログラムが記憶されており、
    前記プロセッサーは、前記コンピュータプログラムを実行して、請求項１から７のいずれか１項に記載のコーディングパターン処理方法を実現するように構成される、ことを特徴とする電子装置。
15. コンピュータに、請求項１から７のいずれか１項に記載のコーディングパターン処理方法を実行させるためのプログラム。

Images