JP2018112839A - 画像処理プログラム、画像認識プログラム、画像処理装置、画像認識装置、画像認識方法、及び画像処理方法 - Google Patents

画像処理プログラム、画像認識プログラム、画像処理装置、画像認識装置、画像認識方法、及び画像処理方法 Download PDF

Info

Publication number
JP2018112839A
JP2018112839A JP2017002108A JP2017002108A JP2018112839A JP 2018112839 A JP2018112839 A JP 2018112839A JP 2017002108 A JP2017002108 A JP 2017002108A JP 2017002108 A JP2017002108 A JP 2017002108A JP 2018112839 A JP2018112839 A JP 2018112839A
Authority
JP
Japan
Prior art keywords
recognition
image
recognition method
image processing
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017002108A
Other languages
English (en)
Inventor
松田 裕司
Yuji Matsuda
裕司 松田
瀬川 英吾
Eigo Segawa
英吾 瀬川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017002108A priority Critical patent/JP2018112839A/ja
Priority to PCT/JP2017/046385 priority patent/WO2018131451A1/ja
Publication of JP2018112839A publication Critical patent/JP2018112839A/ja
Priority to US16/298,044 priority patent/US10915799B2/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/285Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

【課題】予め定められた認識方式とは異なる認識方式を導入する場合に、予め定められた認識方式の認識精度の低下を抑制し、かつ全体として認識精度を向上させる。【解決手段】分類部18が、複数の画像の各々を画像の特徴に応じて複数のグループのいずれかに分類する。そして、設定部24が、予め定められた認識方式による画像の認識が失敗するグループに対し、予め定められた認識方式とは異なる認識方式への変更を可能とする制御を実行する。【選択図】図1

Description

開示の技術は、画像処理プログラム、画像認識プログラム、画像処理装置、画像認識装置、画像認識方法、及び画像処理方法に関する。
2つの手法の文字認識処理を用いる文字読取方法が知られている。この文字読取方法は、2つの手法の文字認識処理を直列に行い、第1の認識処理にて所定の確信度を得られなかった文字画像データについて第2の認識処理を行う。さらに、第2の認識処理によっても所定の確信度を得られなかった場合には、2つの認識処理で出力した文字コードが同一である場合に当該文字コードを出力する。
また、複数の文字認識手段を用いる文字認識装置が知られている。この文字認識装置では、複数の文字認識手段が、画像記憶手段より画像を受け取り、それぞれ仮の文字認識結果を出力する。そして、認識結果統合手段が、仮の文字認識結果(文字コード)を、事前に論理規則生成手段において学習により獲得されたいくつかの論理規則に従ってそれらの仮の文字認識結果を統合し、統合した(最終的な)文字認識結果を出力する。そして、論理規則統合手段が、事例データ記憶手段より受け取った事例データのセット、すなわち、各々の文字認識手段の仮の文字認識結果と正解との対を用いて、できる限り簡略化された論理規則を学習により生成して、認識結果統合手段に送る。
また、2つの認識系を結合して認識精度を向上するパターン認識方法が知られている。このパターン認識方法では、所定のクラスの訓練パターンから抽出した特徴ベクトルに関連する第1の照合用ベクトルを第1の識別手段の識別辞書と照合し第1の相異値を得る。次に第1の相異値で定まる各クラスのライバルパターンと該クラスに属する訓練パターンにより変換用ベクトルを決定する。そして、特徴ベクトルに変換用ベクトルにより変換した変換特徴ベクトルに関連する第2の照合用ベクトルを第2の識別手段の識別辞書と照合して第2の相異値を求める。ついで、第1、第2の相異値から前記訓練パターンのクラスを決定する。以上を繰り返し所定のクラスに属する全訓練パターンのクラスを決定する。そして、全訓練パターンの認識率を高くするように第2の識別手段の識別辞書を最適化する。この学習で得られた変換用ベクトルと識別辞書によりクラスが未知のパターンのクラスの決定をおこなう。
また、対象データが特定内容のデータであるか否かを識別する識別処理に用いる特徴量として、その特定内容に応じた組合せの効果が高い特徴量を選択し、併せて各特徴量に対応する識別条件を決定する装置が知られている。この装置では、サンプルデータ群に基づいて、識別処理に用いられ得る複数の特徴量の各々について、対応する識別器を作成する。そして、識別精度の高い識別器が順次選択され、複数の識別器群が規定される。そして、規定された複数の識別器群の中から、識別器群全体としての複合識別精度が高いものが選択される。そして、選択された識別器群を構成する識別器に基づいて、識別処理に用いる特徴量の種類と識別条件が決定される。
また、識別精度の低下を抑制しながら、識別時間を短縮できる識別辞書学習装置が知られている。この識別辞書学習装置では、複数のクラスのいずれかに属するデータ値を複数のクラスのいずれかに分類する、複数の識別器を、データ値を使用して学習する。そして、識別辞書学習装置は、誤ったクラス分類における学習サンプルが属するクラスと、クラス分類の識別精度を表す最適化指標への寄与の大きさを各々表す複数の最適化指標係数に基づいて、複数の識別器の各々の最適化指標を計算する。そして、識別辞書学習装置は、識別器のうち、最適化指標が、識別精度が最も高いことを表す識別器を弱識別器として選択し、弱識別器を、識別辞書に追加する。そして、識別辞書学習装置は、識別辞書が追加されるのに応じて、最適化指標係数の更新をルールに基づいて行う。
また、複数の認識方式を採用した場合でも、認識正答率及び非互換性を向上させることが可能な情報処理装置が知られている。この情報処理装置では、テストデータに対して複数の認識方式を適用して得られる各認識結果の正誤及び認識の確からしさを示す指標値を含む結果データを取得する。そして、情報処理装置は、認識方式を切り替えることにより切り替え前後で認識結果が正から誤となる数に基づき定まる非互換率の許容値を取得する。そして、情報処理装置は、結果データを参照し、許容値の範囲内で認識正答率が最良となるように、各指標値に対して複数の認識方式の内のいずれの認識方式を選択するかを示す選択テーブルを生成する。
特開2000−155803号公報 特開平11−282964号公報 特開平10−240930号公報 特開2005−115525号公報 特開2016−062249号公報 特開2016−018353号公報
画像認識処理において、予め定められた認識方式とは異なる認識方式を導入する場合がある。予め定められた認識方式に代えて異なる認識方式を導入することにより、全体の認識精度は向上する可能性があるが、予め定められた認識方式では適切に認識されていた画像が、異なる認識方式を用いた場合には誤認識が発生してしまう可能性がある。
開示の技術は、一つの側面として、予め定められた認識方式とは異なる認識方式を導入する場合に、予め定められた認識方式では成功する画像の認識処理が、異なる認識方式の導入により失敗することを抑制し、全体として認識精度を向上させることを目的とする。
開示の技術は、一つの態様として、複数の画像の各々を画像の特徴に応じて複数のグループのいずれかに分類する。そして、予め定められた認識方式による前記画像の認識が失敗するグループに対し、前記予め定められた認識方式とは異なる認識方式への変更を可能とする制御を実行する。
一つの側面として、予め定められた認識方式とは異なる認識方式を導入する場合に、予め定められた認識方式では成功する画像の認識処理が、異なる認識方式の導入により失敗することを抑制し、全体として認識精度を向上させることができる、という効果を有する。
実施形態に係る画像処理装置の概略構成を示す機能ブロック図である。 データ記憶部に格納されるテーブルの一例を示す図である。 分類結果記憶部に格納されるテーブルの一例を示す図である。 画像の特徴と旧方式の認識方式を用いた場合の認識結果との関係の一例を示す図である。 選択条件テーブルの一例を示す図である。 実施形態に係る画像認識装置の概略構成を示す機能ブロック図である。 実施形態に係る画像処理装置として機能するコンピュータの概略構成を示すブロック図である。 実施形態に係る画像認識装置として機能するコンピュータの概略構成を示すブロック図である。 第1の実施形態における選択条件設定処理の一例を示すフローチャートである。 第1の実施形態における画像認識処理の一例を示すフローチャートである。 第2の実施形態における選択条件設定処理の一例を示すフローチャートである。
以下、図面を参照して、開示の技術に関する実施形態の一例を詳細に説明する。
<第1の実施形態>
[画像処理装置]
図1に示すように、第1の実施形態に係る画像処理装置10は、受付部14と、データ記憶部16と、分類部18と、分類結果記憶部20と、認識部22と、設定部24と、選択条件記憶部26とを備えている。設定部24は、開示の技術の制御部の一例である。
受付部14は、画像の正解が既知である学習データの入力を受け付ける。画像の正解とは、画像に対する認識処理の結果得られる情報の正解を表す。例えば、画像が文字画像の場合、その文字画像を文字認識して得られる文字コードを正解ラベルとすることができる。学習データの画像の各々には、画像の正解を示す正解ラベルが付与されている。そして、受付部14は、受け付けた複数の学習データを、データ記憶部16に格納する。
データ記憶部16には、受付部14によって受け付けられた複数の学習データが格納される。例えば、データ記憶部16には、画像と正解ラベルとが対応付けられてテーブルの形式で格納される。図2に、データ記憶部16に格納されるテーブルの一例を示す。図2に示すように、学習データ毎に正解ラベルと画像とが対応付けられてテーブルに格納される。
分類部18は、データ記憶部16に格納された複数の学習データの画像の各々を、各画像の特徴に応じて、複数のグループのいずれかに分類する。そして、分類部18は、複数のグループへ分類された画像の各々を、分類結果記憶部20に格納する。画像の特徴としては、例えば、平均輝度及び平均エッジ強度等を用いることができる。
例えば、輝度値が256階調の画像を平均輝度に基づいて2つのグループに分類する場合、輝度値128を閾値とし、平均輝度の値が0〜127である画像と、平均輝度の値が128〜255である画像とを、それぞれ異なるグループに分類することができる。また、エッジ抽出にSobelフィルタを用いて算出した平均エッジ強度に基づき画像を2つのグループに分類する場合、平均エッジ強度を0から1に正規化し、閾値を0.5に設定した上で、平均エッジ強度に応じて画像を2つのグループに分類することができる。
分類結果記憶部20には、分類部18によっていずれかのグループに分類された複数の画像が格納される。図3に、分類結果記憶部20に格納されるテーブルの一例を示す。例えば、分類結果記憶部20には、図3に示すように、画像が分類されたグループの識別情報を表すグループIDと正解ラベルと画像とが対応付けられてテーブルの形式で格納される。
認識部22は、分類結果記憶部20に格納された複数のグループのいずれかに分類された画像の各々を、予め定められた認識方式の一例である旧方式の認識方式を用いて認識する。そして、認識部22は、旧方式の認識方式を用いた場合のグループ毎の画像認識の正解率を取得する。例えば、認識部22は、分類結果記憶部20に格納された画像の各々について、正解ラベルと認識結果とに基づいて認識の成否を判定し、各グループに属する各画像の成否に基づいて、グループ毎の正解率を取得する。より具体的には、認識部22は、あるグループに含まれる画像の数に対して、そのグループにおいて認識が成功している画像の割合を、そのグループの正解率として取得することができる。
設定部24は、認識部22によって取得されたグループ毎の正解率に基づいて、旧方式の認識方式による画像の認識が失敗するグループに対し、旧方式の認識方式とは異なる認識方式の一例である新方式の認識方式への変更を可能とする制御を実行する。具体的には、設定部24は、旧方式の認識方式による画像の認識が失敗するグループに対し、新方式の認識方式によって認識が行われるように設定する。例えば、設定部24は、旧方式の認識方式を用いた場合の正解率が0となるグループを特定し、当該グループに属する画像の各々の特徴に基づいて、新方式の認識方式によって認識が行われる特徴の選択条件を設定する。
図4に、画像の特徴と旧方式の認識方式を用いた場合の認識結果の成否との関係の一例を示す。図4には、画像の平均輝度と平均エッジ強度とに基づいて、画像の特徴を4つの領域(A、B、C、D)に分類した例が示されている。図4に示す例では、各画像の特徴に対応する領域に「○」又は「×」をプロットした例を示しており、「○」で示される特徴に対応する画像は認識が成功したことを表し、「×」は認識が失敗したことを表す。
図4に示すように、Bの領域では全て「○」であり、旧方式の認識方式により精度よく認識が行われていることがわかる。一方、Aの領域及びDの領域には「○」と「×」とが混在している。Aの領域については、旧方式の認識方式を用いた場合の正解率は40%である。また、Dの領域については、旧方式の認識方式を用いた場合の正解率は75%である。そして、Cの領域は全て「×」であり、全ての画像に対する認識が失敗していることがわかる。
本実施形態では、旧方式の認識方式により認識が失敗するグループに属する画像に対しては、新方式の認識方式によって認識が行われるように設定する。そのため、上記図4に示す例では、Cの領域の画像に対しては新方式の認識方式によって認識が行われるように特徴の選択条件を設定する。本実施形態では、旧方式の認識方式を用いた認識において、グループに属する全ての画像の認識が失敗するグループに対してのみ、旧方式の認識方式を新方式の認識方式へ置き換える。旧方式の認識方式を用いた場合に、認識が成功する画像と認識が失敗する画像とが含まれるグループの認識方式を、新方式の認識方式へ移行すると、旧方式の認識方式の認識では成功する画像の認識が、新方式の認識方式への移行により失敗する場合がある。そのため、本実施形態では、グループに属する全ての画像の認識が失敗するグループに対してのみ新方式の認識方式へ移行する。従って、例えば、上記図4の例における、正解率40%及び正解率75%はグループについては、新方式の認識方式へ移行せずに、旧方式の認識方式により認識を行う。旧方式の認識方式で認識が失敗するグループに対してのみ新方式の認識方式へ置き換えることにより、旧方式の認識方式で正解する画像に対しては必ず正解するようにしつつ、認識の精度を向上させる。
そして、設定部24は、新方式の認識方式によって認識が行われる特徴の選択条件を、選択条件記憶部26の選択条件テーブルに格納する。
選択条件記憶部26には、新方式の認識方式によって認識が行われる特徴の選択条件が格納される。図5に、選択条件記憶部26に格納される選択条件テーブルの一例を示す。図5は、1行目に、上記図4の例におけるCの領域に対し、新方式の認識方式によって認識が行われるように設定された選択条件テーブルの一例である。図5に示すように、選択条件の識別情報を表す選択条件IDと、第1特徴である平均輝度の範囲と、第2特徴である平均エッジ強度の範囲とが対応付けられて選択条件テーブルに格納される。
[画像認識装置]
図6に示すように、第1の実施形態に係る画像認識装置30は、受付部34と、選択条件記憶部36と、選択部38と、認識部40と、出力部42とを備えている。
受付部34は、認識対象の画像の入力を受け付ける。
選択条件記憶部36には、画像処理装置10によって設定された選択条件テーブルが格納される。選択条件記憶部36に格納される選択条件テーブルは、画像処理装置10の選択条件記憶部26に格納される選択条件テーブルと同じである。
選択部38は、受付部34によって受け付けた画像の特徴に基づいて、画像が新方式の認識方式を適用するグループに属するか否かを特定する。そして、選択部38は、選択条件記憶部36に格納された選択条件テーブルを参照し、画像が属するグループに応じて、旧方式の認識方式及び新方式の認識方式の何れか一方の認識方式を選択する。
例えば、上記図5に示す選択条件テーブルを用いる場合、選択部38は、受付部34によって受け付けた画像から平均輝度と平均エッジ強度とを特徴として抽出する。次に、選択部38は、上記図5に示す選択条件テーブルを参照して、画像の第1特徴である平均輝度が0〜127であり、画像の第2特徴である平均エッジ強度が0〜0.5であるグループに属するか否かを特定する。そして、選択部38は、平均輝度が0〜127であり、かつ平均エッジ強度が0〜0.5であるグループに画像が属する場合には、新方式の認識方式を選択する。一方、選択部38は、平均輝度が0〜127であり、かつ平均エッジ強度が0〜0.5であるグループに画像が属さない場合には、旧方式の認識方式を選択する。
認識部40は、選択部38によって選択された認識方式を適用して、受付部34によって受け付けた画像の認識を行う。
出力部42は、認識部40によって得られた認識結果を出力する。
画像処理装置10は、例えば、図7に示すコンピュータ50で実現することができる。コンピュータ50はCPU51、一時記憶領域としてのメモリ52、及び不揮発性の記憶部53を備える。また、コンピュータ50は、表示装置及び入力装置等の入出力装置54、及び記録媒体59に対するデータの読み込み及び書き込みを制御するread/write(R/W)部55を備える。また、コンピュータ50は、インターネット等のネットワークに接続されるネットワークinterface(I/F)56を備える。CPU51、メモリ52、記憶部53、入出力装置54、R/W部55、及びネットワークI/F56は、バス57を介して互いに接続される。
記憶部53は、Hard Disk Drive(HDD)、solid state drive(SSD)、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部53には、コンピュータ50を画像処理装置10として機能させるための画像処理プログラム60が記憶されている。画像処理プログラム60は、受付プロセス62と、分類プロセス63と、認識プロセス64と、設定プロセス65とを有する。また、記憶部53は、データ記憶部16を構成する情報が記憶されるデータ記憶領域66と、分類結果記憶部20を構成する情報が記憶される分類結果記憶領域67と、選択条件記憶部26を構成する情報が記憶される選択条件記憶領域68とを有する。
CPU51は、画像処理プログラム60を記憶部53から読み出してメモリ52に展開し、画像処理プログラム60が有するプロセスを順次実行する。CPU51は、受付プロセス62を実行することで、図1に示す受付部14として動作する。また、CPU51は、分類プロセス63を実行することで、図1に示す分類部18として動作する。また、CPU51は、認識プロセス64を実行することで、図1に示す認識部22として動作する。また、CPU51は、設定プロセス65を実行することで、図1に示す設定部24として動作する。また、CPU51は、データ記憶領域66から情報を読み出して、データ記憶部16をメモリ52に展開する。また、分類結果記憶領域67から情報を読み出して、分類結果記憶部20をメモリ52に展開する。また、選択条件記憶領域68から情報を読み出して、選択条件記憶部26をメモリ52に展開する。これにより、画像処理プログラム60を実行したコンピュータ50が、画像処理装置10として機能することになる。そのため、ソフトウェアである画像処理プログラム60を実行するプロセッサはハードウェアである。
なお、画像処理プログラム60により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit(ASIC)等で実現することも可能である。
また、画像認識装置30は、例えば、図8に示すコンピュータ80で実現することができる。コンピュータ80はCPU81、一時記憶領域としてのメモリ82、及び不揮発性の記憶部83を備える。また、コンピュータ80は、表示装置及び入力装置等の入出力装置84、及び記録媒体89に対するデータの読み込み及び書き込みを制御するR/W部85を備える。また、コンピュータ80は、インターネット等のネットワークに接続されるネットワークI/F86を備える。CPU81、メモリ82、記憶部83、入出力装置84、R/W部85、及びネットワークI/F86は、バス87を介して互いに接続される。
記憶部83は、HDD、SSD、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部83には、コンピュータ80を画像認識装置30として機能させるための画像認識プログラム90が記憶されている。画像認識プログラム90は、受付プロセス92と、選択プロセス93と、認識プロセス94と、出力プロセス95とを有する。また、記憶部83は、選択条件記憶部36を構成する情報が記憶される選択条件記憶領域96を有する。
CPU81は、画像認識プログラム90を記憶部83から読み出してメモリ82に展開し、画像認識プログラム90が有するプロセスを順次実行する。CPU81は、受付プロセス92を実行することで、図6に示す受付部34として動作する。また、CPU81は、選択プロセス93を実行することで、図6に示す選択部38として動作する。また、CPU81は、認識プロセス94を実行することで、図6に示す認識部40として動作する。また、CPU81は、出力プロセス95を実行することで、図6に示す出力部42として動作する。また、CPU81は、選択条件記憶領域96から情報を読み出して、選択条件記憶部36をメモリ82に展開する。これにより、画像認識プログラム90を実行したコンピュータ80が、画像認識装置30として機能することになる。そのため、ソフトウェアである画像認識プログラム90を実行するプロセッサはハードウェアである。
なお、画像認識プログラム90により実現される機能は、例えば半導体集積回路、より詳しくはASIC等で実現することも可能である。
次に、実施形態に係る画像処理装置10と画像認識装置30との作用について説明する。
まず、特徴の選択条件の設定処理について説明する。画像処理装置10において、複数の学習データが入力されると、画像処理装置10において、図9に示す選択条件設定処理が実行される。以下、各処理について詳述する。
図9に示す選択条件設定処理のステップS100において、受付部14は、受け付けた複数の学習データを、データ記憶部16に格納する。
次に、ステップS102において、分類部18は、上記ステップS100でデータ記憶部16に格納された複数の学習データの画像の各々について、画像の特徴に応じて、画像を複数のグループのいずれかに分類する。そして、分類部18は、複数のグループへ分類した画像の各々を、分類結果記憶部20に格納する。
ステップS104において、認識部22は、上記ステップS102で分類結果記憶部20に格納された複数のグループから、1つのグループを設定する。
ステップS105において、認識部22は、上記ステップS104で設定されたグループに属する画像の各々について、旧方式の認識方式を用いて認識する。
ステップS106において、認識部22は、分類結果記憶部20に格納された上記ステップS104で設定されたグループに属する各画像の正解ラベルと、上記ステップS105で得られた各画像の認識結果とに基づいて、当該グループの正解率を算出する。
ステップS108において、設定部24は、上記ステップS106で算出されたグループの正解率が0となるか否かを判定する。グループの正解率が0である場合には、ステップS110へ進む。一方、グループの正解率が0でない場合には、ステップS112へ進む。
ステップS110において、上記ステップS104で設定されたグループに対応する特徴の選択条件を、選択条件記憶部26に格納する。
ステップS112において、設定部24は、上記ステップS102で分類された全てのグループについて、上記ステップS104〜ステップS110の処理を実行したか否かを判定する。全てのグループについて、上記ステップS104〜ステップS110の処理を実行した場合には、選択条件設定処理を終了する。一方、上記ステップS104〜ステップS110の処理を実行していないグループが存在する場合には、ステップS104に戻る。
次に、画像認識処理について説明する。画像認識装置30において、画像処理装置10によって設定された選択条件テーブルが入力されると、選択条件テーブルは選択条件記憶部36に格納される。そして、認識対象の画像が入力されると、画像認識装置30において、図10に示す画像認識処理が実行される。以下、各処理について詳述する。
ステップS200において、受付部34は、認識対象の画像を受け付ける。
ステップS202において、選択部38は、上記ステップS200で受け付けた画像の特徴を抽出する。
ステップS206において、選択部38は、選択条件記憶部36に格納された選択条件テーブルを参照して、上記ステップS202で抽出された画像の特徴が、選択条件テーブルの特徴に該当するか否かを判定する。画像の特徴が選択条件テーブルの特徴に該当する場合には、ステップS208へ進む。一方、画像の特徴が選択条件テーブルの特徴に該当しない場合には、ステップS210へ進む。
ステップS208において、選択部38は、新方式の認識方式を選択する。
ステップS210において、選択部38は、旧方式の認識方式を選択する。
ステップS212において、認識部40は、上記ステップS208又はステップS210で選択された認識方式を適用して、上記ステップS200で受け付けた画像の認識を行う。
ステップS214において、出力部42は、上記ステップS212で得られた認識結果を出力して、画像認識処理を終了する。
なお、上記ステップS104の処理と上記ステップS105の処理との処理順を逆にしてもよく、例えば、全ての画像に対して認識処理を行った後に、グループ毎に画像の正解率を算出してもよい。
以上説明したように、第1の実施形態に係る画像処理装置は、複数の画像の各々について、画像の特徴に応じて複数のグループのいずれかに分類し、複数のグループの各々について、旧方式の認識方式を用いて当該グループに分類された画像の各々を認識する。そして、画像処理装置は、旧方式の認識方式による、当該グループに分類された画像の各々の認識が失敗するグループに対し、新方式の認識方式によって認識が行われるように設定する。これにより、新方式の認識方式を導入する場合に、旧方式の認識方式では成功する画像の認識処理が、新方式の認識方式の導入により失敗することを抑制し、かつ全体として認識精度を向上させることができるような選択条件を設定することができる。
また、第1の実施形態に係る画像認識装置は、認識対象の画像の特徴に基づいて、画像が属するグループを特定し、特定されたグループに対し、画像処理装置によって予め設定された認識方式を適用して、認識対象の画像の認識を行う。これにより、旧方式の認識方式とは異なる新方式の認識方式を導入する場合に、旧方式の認識方式では成功する画像の認識処理が、新方式の認識方式の導入により失敗することを抑制し、かつ全体として認識精度を向上させることができる。
また、旧方式の認識方式で正解する画像に対しては必ず正解するようにしつつ、認識精度を向上させることができる。
<第2の実施形態>
次に、第2の実施形態について説明する。第2実施形態では、1つの旧方式の認識方式と、複数の新方式の認識方式とが存在する場合の、認識方式の設定方法が第1の実施形態と異なる。なお、第2の実施形態の構成は、第1の実施形態と同様の構成となるため、同一符号を付して説明を省略する。
第2の実施形態に係る画像処理装置10の認識部22は、複数の新方式の認識方式の各々を用いて、分類結果記憶部20に格納されたグループの各々のうち、旧方式の認識方式では認識が失敗するグループに属する画像の各々を認識する。そして、認識部22は、旧方式の認識方式では認識が失敗するグループの各々について、複数の新方式の認識方式の各々についての当該グループに属する画像の正解率を取得する。
第2の実施形態に係る画像処理装置10の設定部24は、認識部22により取得された正解率の各々に基づいて、旧方式の認識方式では認識が失敗するグループに対し、複数の新方式の認識方式のうちの何れの認識方式へ変更するかを制御する。そして、設定部24は、複数の新方式の認識方式のうちの何れの認識方式によって認識を行うかを設定する。
具体的には、設定部24は、旧方式の認識方式では認識が失敗するグループの各々について、認識部22により取得された複数の新方式の認識方式の正解率のうち、正解率が最も高い新方式の認識方式を選択する。次に、設定部24は、旧方式の認識方式では認識が失敗するグループの各々について、当該グループに属する画像に対して認識が行われる新方式の認識方式、及びそのグループに属する画像の特徴の選択条件を設定する。そして、設定部24は、旧方式の認識方式で認識が失敗するグループの各々に対し、当該グループに属する画像に対して認識が行われる新方式の認識方式、及び当該新方式の認識方式についての特徴の選択条件を、選択条件記憶部26の選択条件テーブルに格納する。
次に、第2の実施形態に係る画像処理装置10の作用について説明する。
まず、特徴の選択条件の設定処理について説明する。第2の実施形態に係る画像処理装置10において、複数の学習データが入力され、受付部14によって受け付けられた学習データの各々がデータ記憶部16のテーブルに格納されると、画像処理装置10において、図11に示す選択条件設定処理が実行される。
ステップS100〜ステップS108は、第1の実施形態と同様に実行される。
ステップS309において、認識部22は、複数の新方式の認識方式の各々を用いて、ステップS108で認識が失敗すると判定されたグループに属する画像の各々を認識する。そして、認識部22は、複数の新方式の認識方式の各々についての、ステップS108で認識が失敗すると判定されたグループに属する画像の正解率を取得する。
ステップS310において、設定部24は、ステップS108で認識が失敗すると判定されたグループについて、上記ステップS309で取得された複数の新方式の認識方式の正解率のうち、正解率が最も高い新方式の認識方式を選択する。
ステップS311において、設定部24は、ステップS108で認識が失敗すると判定されたグループに属する画像に対して認識が行われる新方式の認識方式及びそのグループに属する画像の特徴の選択条件を選択条件記憶部26の選択条件テーブルに格納する。
そして、ステップS112は、第1の実施形態と同様に実行され、選択条件設定処理が終了する。
次に、画像認識処理について説明する。第2の実施形態に係る画像認識装置30において、認識対象の画像が入力されると、画像処理装置10において、図10に示す画像認識処理が実行される。
ステップS200〜ステップS206は、第1の実施形態と同様に実行される。
ステップS208において、選択部38は、選択条件記憶部36に格納された選択条件テーブルを参照して、ステップS204で特定されたグループに応じて、新方式の認識方式を選択する。
ステップS210、ステップS212〜ステップS214は、第1の実施形態と同様に実行される。
以上説明したように、第2の実施形態に係る画像処理装置は、新方式の認識方式によって認識が行われるように設定する際に、複数の新方式の認識方式の各々を用いてグループに分類された画像の各々を認識する。そして、画像処理装置は、複数の新方式の認識方式による認識結果の正解率の各々に基づいて、複数の新方式の認識方式のうちの何れの認識方式によって認識が行われるかを設定する。これにより、新方式の認識方式を導入する場合に、旧方式の認識方式では成功する画像の認識処理が、新方式の認識方式の導入により失敗することを抑制し、かつ旧方式の認識方式では認識に失敗した画像に対する認識精度を向上させることができる。
なお、上記では、画像処理プログラム60が記憶部53に予め記憶(インストール)され、また画像認識プログラム90が記憶部63に予め記憶(インストール)されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、CD−ROM、DVD−ROM、USBメモリ等の記録媒体に記録された形態で提供することも可能である。
次に、実施形態の変形例を説明する。
本実施形態では、画像処理装置と画像認識装置とを別々の装置として構成する場合を例に説明したが、画像処理装置と画像認識装置とを1つの装置として構成してもよい。
また、本実施形態では、平均輝度及び平均エッジ強度を画像の特徴として用いる場合を例に説明したが、これに限定されるものではなく、他の特徴を用いてもよい。また、用いる特徴の種類は1つでもよいし、3つ以上でもよい。
また、本実施形態では、平均輝度を2つのグループに分類し、かつ平均エッジ強度を2つのグループに分類し、画像の特徴に応じて画像を4つのグループに分類する場合を例に説明したが、これに限定されるものではない。例えば、平均輝度の特徴を4つのグループに分類する場合には、平均輝度の値64,128,192を閾値として設定し、画像の特徴に応じて4つのグループに分類することができる。
以上の各実施形態に関し、更に以下の付記を開示する。
(付記1)
複数の画像の各々を画像の特徴に応じて複数のグループのいずれかに分類し、
予め定められた認識方式による前記画像の認識が失敗するグループに対し、前記予め定められた認識方式とは異なる認識方式への変更を可能とする制御を実行する
処理をコンピュータに実行させる画像処理プログラム。
(付記2)
前記複数の画像として、前記画像の正解が既知である複数の学習データの入力を受け付け、
前記複数の学習データの各々を前記画像の特徴に応じて複数のグループのいずれかに分類する
付記1に記載の画像処理プログラム。
(付記3)
前記予め定められた認識方式とは異なる認識方式への変更を可能とする制御を実行する際に、
複数の前記異なる認識方式の各々を用いて前記グループに分類された前記画像の各々を認識し、
複数の前記異なる認識方式による認識結果の正解率の各々に基づいて、複数の前記異なる認識方式のうちの何れの認識方式へ変更するかを制御する
付記1又は付記2に記載の画像処理プログラム。
(付記4)
認識対象の画像の入力を受け付け、
前記画像の特徴に基づいて、前記画像が属するグループを特定し、
特定された前記グループに対し、付記1〜付記3の何れか1項に記載の画像処理プログラムによって予め設定された認識方式を適用して、前記画像の認識を行う
処理をコンピュータに実行させる画像認識プログラム。
(付記5)
複数の画像の各々を画像の特徴に応じて複数のグループのいずれかに分類し、
予め定められた認識方式による前記画像の認識が失敗するグループに対し、前記予め定められた認識方式とは異なる認識方式への変更を可能とする制御を実行する
処理をコンピュータが実行する画像処理方法。
(付記6)
前記複数の画像として、前記画像の正解が既知である複数の学習データの入力を受け付け、
前記複数の学習データの各々を前記画像の特徴に応じて複数のグループのいずれかに分類する
付記5に記載の画像処理方法。
(付記7)
前記予め定められた認識方式とは異なる認識方式への変更を可能とする制御を実行する際に、
複数の前記異なる認識方式の各々を用いて前記グループに分類された前記画像の各々を認識し、
複数の前記異なる認識方式による認識結果の正解率の各々に基づいて、複数の前記異なる認識方式のうちの何れの認識方式へ変更するかを制御する
付記5又は付記6に記載の画像処理方法。
(付記8)
認識対象の画像の入力を受け付け、
前記画像の特徴に基づいて、前記画像が属するグループを特定し、
特定された前記グループに対し、付記5〜付記7の何れか1項に記載の画像処理方法によって予め設定された認識方式を適用して、前記画像の認識を行う
処理をコンピュータに実行させる画像認識方法。
(付記9)
複数の画像の各々を画像の特徴に応じて複数のグループのいずれかに分類する分類部と、
予め定められた認識方式による前記画像の認識が失敗するグループに対し、前記予め定められた認識方式とは異なる認識方式への変更を可能とする制御を実行する制御部と、
を含む画像処理装置。
(付記10)
前記複数の画像として、前記画像の正解が既知である複数の学習データの入力を受け付け、
前記複数の学習データの各々を前記画像の特徴に応じて複数のグループのいずれかに分類する
付記9に記載の画像処理装置。
(付記11)
前記予め定められた認識方式とは異なる認識方式への変更を可能とする制御を実行する際に、
複数の前記異なる認識方式の各々を用いて前記グループに分類された前記画像の各々を認識し、
複数の前記異なる認識方式による認識結果の正解率の各々に基づいて、複数の前記異なる認識方式のうちの何れの認識方式へ変更するかを制御する
付記9又は付記10に記載の画像処理装置。
(付記12)
認識対象の画像の入力を受け付け、
前記画像の特徴に基づいて、前記画像が属するグループを特定し、
特定された前記グループに対し、付記9〜付記11の何れか1項に記載の画像処理装置によって予め設定された認識方式を適用して、前記画像の認識を行う
を含む画像認識装置。
(付記13)
複数の画像の各々を画像の特徴に応じて複数のグループのいずれかに分類し、
予め定められた認識方式による前記画像の認識が失敗するグループに対し、前記予め定められた認識方式とは異なる認識方式への変更を可能とする制御を実行する
処理をコンピュータに実行させる画像処理プログラムを記憶した記憶媒体。
(付記14)
認識対象の画像の入力を受け付け、
前記画像の特徴に基づいて、前記画像が属するグループを特定し、
特定された前記グループに対し、付記1〜付記3の何れか1項に記載の画像処理プログラムによって予め設定された認識方式を適用して、前記画像の認識を行う
処理をコンピュータに実行させる画像認識プログラムを記憶した記憶媒体。
10 画像処理装置
14 受付部
16 データ記憶部
18 分類部
20 分類結果記憶部
22 認識部
24 設定部
26 選択条件記憶部
30 画像認識装置
34 受付部
36 選択条件記憶部
38 選択部
40 認識部
42 出力部
50,80 コンピュータ
51,81 CPU
52,82 メモリ
53,83 記憶部
59,89 記録媒体
60 画像処理プログラム
90 画像認識プログラム

Claims (6)

  1. 複数の画像の各々を画像の特徴に応じて複数のグループのいずれかに分類し、
    予め定められた認識方式による前記画像の認識が失敗するグループに対し、前記予め定められた認識方式とは異なる認識方式への変更を可能とする制御を実行する
    処理をコンピュータに実行させる画像処理プログラム。
  2. 前記複数の画像として、前記画像の正解が既知である複数の学習データの入力を受け付け、
    前記複数の学習データの各々を前記画像の特徴に応じて複数のグループのいずれかに分類する
    請求項1に記載の画像処理プログラム。
  3. 前記予め定められた認識方式とは異なる認識方式への変更を可能とする制御を実行する際に、
    複数の前記異なる認識方式の各々を用いて前記グループに分類された前記画像の各々を認識し、
    複数の前記異なる認識方式による認識結果の正解率の各々に基づいて、複数の前記異なる認識方式のうちの何れの認識方式へ変更するかを制御する
    請求項1又は請求項2に記載の画像処理プログラム。
  4. 認識対象の画像の入力を受け付け、
    前記画像の特徴に基づいて、前記画像が属するグループを特定し、
    特定された前記グループに対し、請求項1〜請求項3の何れか1項に記載の画像処理プログラムによって予め設定された認識方式を適用して、前記画像の認識を行う
    処理をコンピュータに実行させる画像認識プログラム。
  5. 複数の画像の各々を画像の特徴に応じて複数のグループのいずれかに分類し、
    予め定められた認識方式による前記画像の認識が失敗するグループに対し、前記予め定められた認識方式とは異なる認識方式への変更を可能とする制御を実行する
    処理をコンピュータが実行する画像処理方法。
  6. 複数の画像の各々を画像の特徴に応じて複数のグループのいずれかに分類する分類部と、
    予め定められた認識方式による前記画像の認識が失敗するグループに対し、前記予め定められた認識方式とは異なる認識方式への変更を可能とする制御を実行する制御部と、
    を含む画像処理装置。
JP2017002108A 2017-01-10 2017-01-10 画像処理プログラム、画像認識プログラム、画像処理装置、画像認識装置、画像認識方法、及び画像処理方法 Pending JP2018112839A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017002108A JP2018112839A (ja) 2017-01-10 2017-01-10 画像処理プログラム、画像認識プログラム、画像処理装置、画像認識装置、画像認識方法、及び画像処理方法
PCT/JP2017/046385 WO2018131451A1 (ja) 2017-01-10 2017-12-25 画像処理プログラム、画像認識プログラム、画像処理装置、画像認識装置、画像認識方法、及び画像処理方法
US16/298,044 US10915799B2 (en) 2017-01-10 2019-03-11 Image processing apparatus and image recognition apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017002108A JP2018112839A (ja) 2017-01-10 2017-01-10 画像処理プログラム、画像認識プログラム、画像処理装置、画像認識装置、画像認識方法、及び画像処理方法

Publications (1)

Publication Number Publication Date
JP2018112839A true JP2018112839A (ja) 2018-07-19

Family

ID=62839436

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017002108A Pending JP2018112839A (ja) 2017-01-10 2017-01-10 画像処理プログラム、画像認識プログラム、画像処理装置、画像認識装置、画像認識方法、及び画像処理方法

Country Status (3)

Country Link
US (1) US10915799B2 (ja)
JP (1) JP2018112839A (ja)
WO (1) WO2018131451A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102163108B1 (ko) * 2019-11-28 2020-10-08 가천대학교 산학협력단 영상에서 관심 대상 실시간 검출 방법 및 시스템
KR20220030977A (ko) * 2019-08-28 2022-03-11 주식회사 위펀 무인상점 관리 방법 및 그를 위한 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2571530B (en) * 2018-02-28 2020-09-23 Canon Europa Nv An image processing method and an image processing system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07160822A (ja) * 1993-12-07 1995-06-23 Ricoh Co Ltd パターン認識方法
JPH08263660A (ja) * 1995-03-22 1996-10-11 Atr Onsei Honyaku Tsushin Kenkyusho:Kk 信号認識方法、信号認識装置、信号認識装置の学習方法及び信号認識装置の学習装置
JPH10154204A (ja) * 1996-09-27 1998-06-09 Fujitsu Ltd パターン認識装置及びパターン認識方法
JP2009129253A (ja) * 2007-11-26 2009-06-11 Toshiba Corp パターン認識装置、パターン認識プログラム及びパターン認識方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2607457B2 (ja) * 1984-09-17 1997-05-07 株式会社東芝 パターン認識装置
US5276769A (en) * 1989-03-13 1994-01-04 Sharp Kabushiki Kaisha Neural network learning apparatus and method
DE69232493T2 (de) * 1991-10-21 2003-01-09 Canon K.K., Tokio/Tokyo Verfahren und Gerät zur Zeichenerkennung
US6104833A (en) 1996-01-09 2000-08-15 Fujitsu Limited Pattern recognizing apparatus and method
JP4039708B2 (ja) 1997-02-14 2008-01-30 ヒューレット・パッカード・カンパニー パターン認識方法およびパターン認識装置
JP3095069B2 (ja) 1998-03-26 2000-10-03 日本電気株式会社 文字認識装置、学習方法および文字認識プログラムを記録した記録媒体
JP2000155803A (ja) 1998-11-20 2000-06-06 Nec Corp 文字読取方法および光学式文字読取装置
EP1661028A1 (en) * 2003-08-15 2006-05-31 Silverbrook Research Pty. Limited Natural language recognition using distributed processing
JP4397667B2 (ja) 2003-10-06 2010-01-13 富士フイルム株式会社 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置
US8825682B2 (en) * 2006-07-31 2014-09-02 Ricoh Co., Ltd. Architecture for mixed media reality retrieval of locations and registration of images
US7865018B2 (en) * 2005-06-02 2011-01-04 Microsoft Corporation Personalized implicit and explicit character shape adaptation and recognition
US7646913B2 (en) * 2005-12-19 2010-01-12 Microsoft Corporation Allograph based writer adaptation for handwritten character recognition
WO2008033439A2 (en) * 2006-09-13 2008-03-20 Aurilab, Llc Robust pattern recognition system and method using socratic agents
US20110255794A1 (en) * 2010-01-15 2011-10-20 Copanion, Inc. Systems and methods for automatically extracting data by narrowing data search scope using contour matching
US8577131B1 (en) * 2011-07-12 2013-11-05 Google Inc. Systems and methods for visual object matching
JP6350048B2 (ja) 2014-07-08 2018-07-04 富士通株式会社 情報処理装置、情報処理方法及びプログラム
JP2016062249A (ja) 2014-09-17 2016-04-25 日本電気株式会社 識別辞書学習システム、認識辞書学習方法および認識辞書学習プログラム
US10592854B2 (en) * 2015-12-18 2020-03-17 Ricoh Co., Ltd. Planogram matching

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07160822A (ja) * 1993-12-07 1995-06-23 Ricoh Co Ltd パターン認識方法
JPH08263660A (ja) * 1995-03-22 1996-10-11 Atr Onsei Honyaku Tsushin Kenkyusho:Kk 信号認識方法、信号認識装置、信号認識装置の学習方法及び信号認識装置の学習装置
JPH10154204A (ja) * 1996-09-27 1998-06-09 Fujitsu Ltd パターン認識装置及びパターン認識方法
JP2009129253A (ja) * 2007-11-26 2009-06-11 Toshiba Corp パターン認識装置、パターン認識プログラム及びパターン認識方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220030977A (ko) * 2019-08-28 2022-03-11 주식회사 위펀 무인상점 관리 방법 및 그를 위한 시스템
KR102451263B1 (ko) 2019-08-28 2022-10-06 주식회사 위펀 무인상점 관리 방법 및 그를 위한 시스템
KR102163108B1 (ko) * 2019-11-28 2020-10-08 가천대학교 산학협력단 영상에서 관심 대상 실시간 검출 방법 및 시스템

Also Published As

Publication number Publication date
US20190205707A1 (en) 2019-07-04
US10915799B2 (en) 2021-02-09
WO2018131451A1 (ja) 2018-07-19

Similar Documents

Publication Publication Date Title
JP5214762B2 (ja) 認識装置、方法及びプログラム
US8385652B2 (en) Segmentation of textual lines in an image that include western characters and hieroglyphic characters
US9613299B2 (en) Method of identifying pattern training need during verification of recognized text
WO2018131451A1 (ja) 画像処理プログラム、画像認識プログラム、画像処理装置、画像認識装置、画像認識方法、及び画像処理方法
US11741363B2 (en) Computer-readable recording medium, method for learning, and learning device
JP6997369B2 (ja) プログラム、測距方法、及び測距装置
CN111626367A (zh) 对抗样本检测方法、装置、设备及计算机可读存储介质
JP2007086954A (ja) 文字認識処理装置、および文字認識処理方法、並びにコンピュータ・プログラム
US10706581B2 (en) Image processing apparatus for clipping and sorting images from read image according to cards and control method therefor
KR20170109304A (ko) 객체 인식을 위한 캐스케이드 분류기의 병렬 학습 방법
CN112633341A (zh) 一种界面测试方法、装置、计算机设备和存储介质
JP4802176B2 (ja) パターン認識装置、パターン認識プログラム及びパターン認識方法
RU2613847C2 (ru) Выявление китайской, японской и корейской письменности
CN115937616A (zh) 图像分类模型的训练方法、系统及移动终端
CN115984859A (zh) 一种图像文字识别的方法、装置及存储介质
US11995150B2 (en) Information processing method and information processing system
US20200410276A1 (en) Apparatus, storage medium, and control method
US10817756B2 (en) Information processing apparatus and non-transitory computer readable medium
JP3730073B2 (ja) テンプレート作成方法、装置、およびテンプレート作成プログラムを記録した記録媒体
CN107622184A (zh) 氨基酸可信度和修饰位点定位的评估方法
CN109214411B (zh) 一种基于训练模型识别典型图片对新增实体的验证方法及系统
JP4320124B2 (ja) パターン認識方法、装置及びプログラム
JP2006023983A (ja) 文字画像分離装置、文字画像分離方法、文字画像分離プログラム、およびこのプログラムを格納した記録媒体
JP4633271B2 (ja) 辞書学習方法及び辞書学習プログラム
JP4805485B2 (ja) 単語認識方法および単語認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200709

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201222