JP2021170213A - Image generation program, character recognition system, image generation method, image generation device, data structure and character recognition model - Google Patents

Image generation program, character recognition system, image generation method, image generation device, data structure and character recognition model Download PDF

Info

Publication number
JP2021170213A
JP2021170213A JP2020072831A JP2020072831A JP2021170213A JP 2021170213 A JP2021170213 A JP 2021170213A JP 2020072831 A JP2020072831 A JP 2020072831A JP 2020072831 A JP2020072831 A JP 2020072831A JP 2021170213 A JP2021170213 A JP 2021170213A
Authority
JP
Japan
Prior art keywords
character
information
image
image generation
character information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020072831A
Other languages
Japanese (ja)
Other versions
JP7327810B2 (en
Inventor
悟 田中
Satoru Tanaka
裕哉 中里
Hiroya Nakazato
和男 早川
Kazuo Hayakawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
Original Assignee
NEC Platforms Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Platforms Ltd filed Critical NEC Platforms Ltd
Priority to JP2020072831A priority Critical patent/JP7327810B2/en
Publication of JP2021170213A publication Critical patent/JP2021170213A/en
Application granted granted Critical
Publication of JP7327810B2 publication Critical patent/JP7327810B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

To provide an image generation program, a character recognition system, an image generation method, an image generation device, a data structure, and a character recognition model capable of efficiently generating learning data to which annotation information is provided.SOLUTION: An image generation program causes a computer to achieve an acquisition function of acquiring character information, an image generation function of generating a character image including a figure corresponding to the character information from the character information, and an annotation providing function of using the character information to provide annotation information to the character image and generating learning data.SELECTED DRAWING: Figure 1

Description

本開示は画像生成プログラム、文字認識システム、画像生成方法、画像生成装置、データ構造および文字認識モデルに関する。 The present disclosure relates to an image generation program, a character recognition system, an image generation method, an image generation device, a data structure, and a character recognition model.

機械学習により学習した文字認識モデルを用いて、撮像された文字画像に含まれる文字情報を認識する文字認識システムが知られている。ここで文字認識モデルを学習するための学習用データは、撮像された文字画像に対して、文字情報の正解ラベルをアノテーション情報として付与することで生成される。特許文献１では、新規の文字切り出し画像とその「読み」とを管理者が紐づけることにより、学習用データを生成する方法が記載されている。 A character recognition system that recognizes character information contained in an captured character image using a character recognition model learned by machine learning is known. Here, the learning data for learning the character recognition model is generated by adding the correct label of the character information to the captured character image as annotation information. Patent Document 1 describes a method of generating learning data by associating a new character cutout image with its "reading" by an administrator.

特開２０１０−１７０２０７号公報Japanese Unexamined Patent Publication No. 2010-170207

ここで文字認識システムの認識精度を向上させるためには、大量の学習用データが必要となる。しかし上述の特許文献１に記載の方法では、大量の文字切り出し画像を入手することが困難であるという問題がある。また大量の学習用の文字切り出し画像に対して、管理者が手作業でアノテーションを行うため、学習用データの生成に膨大な時間と労力がかかるという問題がある。 Here, in order to improve the recognition accuracy of the character recognition system, a large amount of learning data is required. However, the method described in Patent Document 1 described above has a problem that it is difficult to obtain a large amount of character cutout images. Further, since the administrator manually annotates a large amount of character cutout images for learning, there is a problem that it takes a huge amount of time and labor to generate learning data.

本開示の目的は、上述した課題を鑑み、アノテーション情報が付与された学習用データを効率よく生成することが可能な画像生成プログラム、文字認識システム、画像生成方法、画像生成装置、データ構造および文字認識モデルを提供することにある。 An object of the present disclosure is an image generation program, a character recognition system, an image generation method, an image generation device, a data structure, and characters capable of efficiently generating learning data to which annotation information is added in view of the above-mentioned problems. It is to provide a recognition model.

本開示の一態様における画像生成プログラムは、文字情報を取得する取得機能と、前記文字情報から前記文字情報に対応する図形を含む文字画像を生成する画像生成機能と、前記文字情報を用いて、前記文字画像にアノテーション情報を付与し、学習用データを生成するアノテーション付与機能と、
をコンピュータに実現させる。 The image generation program according to one aspect of the present disclosure uses an acquisition function for acquiring character information, an image generation function for generating a character image including a figure corresponding to the character information from the character information, and the character information. An annotation function that adds annotation information to the character image and generates training data,
Is realized in the computer.

本開示の一態様における画像生成装置は、文字情報を取得する取得部と、前記文字情報から前記文字情報に対応する図形を含む文字画像を生成する画像生成部と、前記文字情報を用いて、前記文字画像にアノテーション情報を付与し、学習用データを生成するアノテーション付与部と、を備える。 The image generation device according to one aspect of the present disclosure uses the acquisition unit for acquiring character information, the image generation unit for generating a character image including a figure corresponding to the character information from the character information, and the character information. It is provided with an annotation addition unit that adds annotation information to the character image and generates learning data.

本開示の一態様における文字認識システムは、画像生成装置と、前記画像生成装置により生成された前記学習用データを用いて学習した文字認識モデルを用いて、入力された文字画像に含まれる文字情報を認識する文字認識装置と、を備える。 The character recognition system according to one aspect of the present disclosure uses an image generation device and a character recognition model learned using the learning data generated by the image generation device, and character information included in the input character image. It is provided with a character recognition device for recognizing.

本開示の一態様における画像生成方法は、文字情報を取得する段階と、前記文字情報から前記文字情報に対応する図形を含む文字画像を生成する段階と、前記文字情報を用いて、前記文字画像にアノテーション情報を付与し、学習用データを生成する段階と、を備える。 The image generation method in one aspect of the present disclosure includes a step of acquiring character information, a stage of generating a character image including a figure corresponding to the character information from the character information, and the character image using the character information. It is provided with a stage of adding annotation information to the image and generating training data.

本開示の一態様におけるデータ構造は、文字情報を用いて生成されるアノテーション情報であって、撮像された入力画像に基づいて、前記入力画像に含まれる文字情報を出力する文字認識モデルの学習処理に用いられる、アノテーション情報と、前記文字情報に関連付けられた描画点情報に基づいて生成される、前記文字情報に対応する図形を含む文字画像であって、前記文字認識モデルの学習処理に用いられる、文字画像と、を備える。 The data structure in one aspect of the present disclosure is annotation information generated using character information, and is a learning process of a character recognition model that outputs character information included in the input image based on the captured input image. A character image including a figure corresponding to the character information, which is generated based on the annotation information and the drawing point information associated with the character information, and is used for the learning process of the character recognition model. , Character image, and.

本開示の一態様における文字認識モデルは、撮像された文字画像に基づいて、前記撮像された文字画像に含まれる文字情報を出力する機能をコンピュータに実現させるための学習済みの文字認識モデルである。文字認識モデルは、コンピュータが、文字情報を取得し、前記文字情報から前記文字情報に対応する図形を含む文字画像を生成し、前記文字情報を用いて、前記文字画像にアノテーション情報を付与することで学習用データを生成し、前記学習用データに基づいて学習することにより生成される。 The character recognition model in one aspect of the present disclosure is a trained character recognition model for realizing a function of outputting character information included in the captured character image to a computer based on the captured character image. .. In the character recognition model, a computer acquires character information, generates a character image including a figure corresponding to the character information from the character information, and uses the character information to add annotation information to the character image. Is generated by generating learning data with, and learning based on the learning data.

本開示により、アノテーション情報が付与された学習用データを効率よく生成することが可能な画像生成プログラム、文字認識システム、画像生成方法、画像生成装置、データ構造および文字認識モデルを提供することができる。 According to the present disclosure, it is possible to provide an image generation program, a character recognition system, an image generation method, an image generation device, a data structure, and a character recognition model capable of efficiently generating learning data to which annotation information is added. ..

実施形態１にかかる画像生成装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image generation apparatus which concerns on Embodiment 1. FIG. 実施形態２にかかる文字認識システムが適用されることができるシステムの一例を示す概略構成図である。It is a schematic block diagram which shows an example of the system to which the character recognition system which concerns on Embodiment 2 can be applied. 実施形態２にかかる文字認識システムの学習用データを説明するための図である。It is a figure for demonstrating the learning data of the character recognition system which concerns on Embodiment 2. 実施形態２にかかるアノテーション情報の一例を示す図である。It is a figure which shows an example of the annotation information which concerns on Embodiment 2. 実施形態２にかかる文字認識システムの構成を示すブロック図である。It is a block diagram which shows the structure of the character recognition system which concerns on Embodiment 2. 実施形態２にかかる書式情報および描画点情報を説明するための図である。It is a figure for demonstrating the format information and drawing point information which concerns on Embodiment 2. 実施形態２にかかる描画点情報データベースのデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of the drawing point information database which concerns on Embodiment 2. FIG. 実施形態２にかかる画像生成装置の学習用データ生成処理を示すフローチャート図である。It is a flowchart which shows the learning data generation processing of the image generation apparatus which concerns on Embodiment 2. 実施形態２にかかる画像生成部による描画方法を説明するための図である。It is a figure for demonstrating the drawing method by the image generation part which concerns on Embodiment 2. FIG. 実施形態２にかかる文字認識システムの学習処理を示すフローチャートである。It is a flowchart which shows the learning process of the character recognition system which concerns on Embodiment 2. 実施形態３にかかる描画点情報データベースのデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of the drawing point information database which concerns on Embodiment 3. 実施形態４にかかる文字認識システムの構成を示すブロック図である。It is a block diagram which shows the structure of the character recognition system which concerns on Embodiment 4. 実施形態４にかかる画像生成装置の描画点情報の取得処理を示すフローチャートである。It is a flowchart which shows the acquisition process of the drawing point information of the image generation apparatus which concerns on Embodiment 4. 実施形態４にかかる画像生成装置の描画点情報の取得処理における表示の一例を示す図である。It is a figure which shows an example of the display in the acquisition processing of the drawing point information of the image generation apparatus which concerns on Embodiment 4. FIG. 実施形態５にかかる認識対象の文字画像を説明するための図である。It is a figure for demonstrating the character image of the recognition target which concerns on Embodiment 5. 実施形態５にかかる文字認識システムの構成を示すブロック図である。It is a block diagram which shows the structure of the character recognition system which concerns on Embodiment 5. 実施形態５にかかる画像生成装置の学習用データ生成処理を示すフローチャート図である。It is a flowchart which shows the learning data generation processing of the image generation apparatus which concerns on Embodiment 5. 実施形態５にかかる補正部による補正処理を説明するための図である。It is a figure for demonstrating the correction process by the correction part which concerns on Embodiment 5. 実施形態５にかかる抽出処理部による抽出処理における表示の一例を示す図である。It is a figure which shows an example of the display in the extraction processing by the extraction processing unit which concerns on Embodiment 5. 実施形態５にかかる画像生成装置の学習用データ生成処理における表示の一例を示す。An example of the display in the learning data generation processing of the image generation apparatus which concerns on Embodiment 5 is shown. 実施形態１〜５にかかるコンピュータの構成図である。It is a block diagram of the computer which concerns on Embodiments 1-5.

（実施形態１）
以下、図面を参照して本開示の実施形態１について説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
図１は、実施形態１にかかる画像生成装置１０の構成を示すブロック図である。画像生成装置１０は、取得部１００と、画像生成部１０１と、アノテーション付与部１０３とを備える。 (Embodiment 1)
Hereinafter, the first embodiment of the present disclosure will be described with reference to the drawings. In each drawing, the same or corresponding elements are designated by the same reference numerals, and duplicate explanations are omitted as necessary for the sake of clarity of explanation.
FIG. 1 is a block diagram showing a configuration of an image generation device 10 according to the first embodiment. The image generation device 10 includes an acquisition unit 100, an image generation unit 101, and an annotation unit 103.

取得部１００は、文字情報を取得する。
画像生成部１０１は、文字情報から文字情報に対応する図形を含む文字画像を生成する。
アノテーション付与部１０３は、文字情報を用いて、文字画像にアノテーション情報を付与し、学習用データを生成する。 The acquisition unit 100 acquires character information.
The image generation unit 101 generates a character image including a figure corresponding to the character information from the character information.
The annotation unit 103 adds annotation information to the character image using the character information, and generates learning data.

このように実施形態１によれば、画像生成装置１０は、取得した文字情報から文字画像を生成し、生成した文字画像に対して自動でアノテーション情報を付与する。したがって画像生成装置１０は、大量の文字画像を入手することができる。そして画像生成装置１０は、管理者の作業負担を最小限に抑えて、文字画像に対して効率よくアノテーション情報を付与することができる。これにより、アノテーション情報が付与された学習用データを効率よく生成することができる。 As described above, according to the first embodiment, the image generation device 10 generates a character image from the acquired character information, and automatically adds annotation information to the generated character image. Therefore, the image generation device 10 can obtain a large amount of character images. Then, the image generation device 10 can efficiently add annotation information to the character image while minimizing the work load of the administrator. As a result, learning data to which annotation information is added can be efficiently generated.

（実施形態２）
次に図２〜１０を用いて、本開示の実施形態２について説明する。図２は、実施形態２にかかる文字認識システム２が適用されることができる管理システム１の一例を示す概略構成図である。
管理システム１は、管理対象に関連する図形を含む被写体を撮像し、文字認識を行うことで、管理対象を管理する。図形は、数字、漢字、仮名文字、アルファベットおよび記号等の図形文字を含む。本実施形態２では管理システム１は、車両のナンバープレートを撮像し、ナンバープレートに記載された車両登録番号等の文字情報を取得することで車両情報を管理する。一例として管理システム１は、１または複数の撮像装置６と、管理装置７と、文字認識システム２とを備え、これらがネットワーク９を介して通信可能に接続される構成をとる。 (Embodiment 2)
Next, the second embodiment of the present disclosure will be described with reference to FIGS. 2 to 10. FIG. 2 is a schematic configuration diagram showing an example of a management system 1 to which the character recognition system 2 according to the second embodiment can be applied.
The management system 1 manages the management target by photographing a subject including a figure related to the management target and performing character recognition. Graphic characters include graphic characters such as numbers, Chinese characters, kana characters, alphabets and symbols. In the second embodiment, the management system 1 manages the vehicle information by photographing the license plate of the vehicle and acquiring the character information such as the vehicle registration number written on the license plate. As an example, the management system 1 includes one or a plurality of image pickup devices 6, a management device 7, and a character recognition system 2, and these are connected to each other so as to be communicable via a network 9.

ネットワーク９は、インターネット、広域ネットワーク（ＷＡＮ）、ローカルエリアネットワーク等の各種ネットワークまたはその組み合わせを含んで構成される。またネットワーク９は、インターネットと分離された専用回線を含んでもよい。 The network 9 includes various networks such as the Internet, a wide area network (WAN), and a local area network, or a combination thereof. The network 9 may also include a dedicated line separated from the Internet.

撮像装置６は、車両登録番号等が記載された車両のナンバープレートを撮像するカメラ等である。たとえば撮像装置６は、車載カメラ、交通監視カメラおよび駐車場監視カメラ等であってよい。撮像装置６は、文字情報を表す図形を含む撮像文字画像を取得したことに応じて、ネットワーク９を介して撮像文字画像を管理装置７に送信してよい。 The image pickup device 6 is a camera or the like that captures a license plate of a vehicle on which a vehicle registration number or the like is written. For example, the image pickup device 6 may be an in-vehicle camera, a traffic monitoring camera, a parking lot monitoring camera, or the like. The image pickup device 6 may transmit the captured character image to the management device 7 via the network 9 in response to the acquisition of the captured character image including the figure representing the character information.

管理装置７は、車両の車両登録番号等を含む車両情報を管理するサーバ・コンピュータ等のコンピュータである。管理装置７は、撮像装置６から撮像文字画像を受信したことに応じて撮像文字画像を文字認識システム２に送信し、文字認識システム２から車両登録番号等の文字情報を受信する。管理装置７は、取得した文字情報を車両情報として記憶してよい。 The management device 7 is a computer such as a server computer that manages vehicle information including a vehicle registration number of the vehicle. The management device 7 transmits the captured character image to the character recognition system 2 in response to receiving the captured character image from the image pickup device 6, and receives character information such as a vehicle registration number from the character recognition system 2. The management device 7 may store the acquired character information as vehicle information.

文字認識システム２は、管理装置７を介して撮像装置６から受信した撮像文字画像に含まれる文字情報を認識するコンピュータ等である。文字認識システム２は、認識した文字情報を管理装置７に送信してよい。
なお、文字認識システム２は管理装置７を介さず撮像装置６から撮像文字画像を取得してもよい。 The character recognition system 2 is a computer or the like that recognizes character information included in the captured character image received from the image pickup device 6 via the management device 7. The character recognition system 2 may transmit the recognized character information to the management device 7.
The character recognition system 2 may acquire the captured character image from the image capturing device 6 without going through the management device 7.

図３は、実施形態２にかかる文字認識システム２の学習用データを説明するための図である。学習用データは、文字情報に対応する図形を含む文字画像である。本図では、図形は図形文字である。
たとえば認識対象の文字画像がナンバープレートの画像である場合、学習用データの文字画像は、文字情報である車両登録番号に対応する図形文字を有する。ここで車両登録番号は、その種別を示す複数の分類項目に分けられる。分類項目は、陸運支局Ｔ、分類番号Ｃ、用途Ｕおよび一連番号Ｓを含む。たとえば陸運支局Ｔは、漢字または仮名文字等であり、本図では「足立」である。また分類番号Ｃは、数字等であり、本図では「４８」である。また用途Ｕは、仮名文字またはアルファベット等であり、本図では「く」である。一連番号Ｓは、数字等であり、本図では「３０−３０」である。このように文字情報は、複数の分類項目のそれぞれに対応する文字情報を有する。 FIG. 3 is a diagram for explaining learning data of the character recognition system 2 according to the second embodiment. The learning data is a character image including a figure corresponding to the character information. In this figure, the graphic is a graphic character.
For example, when the character image to be recognized is a license plate image, the character image of the learning data has graphic characters corresponding to the vehicle registration number which is the character information. Here, the vehicle registration number is divided into a plurality of classification items indicating the type. Classification items include Land Transport Office T, classification number C, use U and serial number S. For example, the Transport Branch Office T is a Chinese character, a kana character, or the like, and is "Adachi" in this figure. Further, the classification number C is a number or the like, and is "48" in this figure. Further, the use U is a kana character, an alphabet, or the like, and is "ku" in this figure. The serial number S is a number or the like, and is "30-30" in this figure. As described above, the character information has the character information corresponding to each of the plurality of classification items.

各分類項目には、文字画像においてその分類項目に対応する文字情報に対応する図形が描画され得る領域（描画領域）を示す区画領域Ｐが割り当てられている。なお各区画領域Ｐには、分類項目の文字数に応じて１文字ごとの描画領域である文字領域Ｌが割り当てられてよい。
なお図形文字および背景の色は、「事業用車両」、「自家用車」、「軽自動車」、あるいは「普通車」若しくは「大型車」等の車両種別に応じて異なってよい。 Each classification item is assigned a partition area P indicating an area (drawing area) in which a figure corresponding to the character information corresponding to the classification item can be drawn in the character image. A character area L, which is a drawing area for each character, may be assigned to each section area P according to the number of characters of the classification item.
The graphic characters and the background color may differ depending on the vehicle type such as "business vehicle", "private vehicle", "light vehicle", or "ordinary vehicle" or "large vehicle".

このような学習用データの文字画像には、分類項目の区画領域Ｐごとに、または文字領域Ｌごとに正解ラベルの文字情報がアノテーション情報として付与されている。すなわち学習用データは、アノテーション情報と文字画像とを含むデータ構造を有する。 Character information of the correct label is added as annotation information to each character image of such learning data for each division area P of the classification item or for each character area L. That is, the learning data has a data structure including annotation information and character images.

図４は、実施形態２にかかるアノテーション情報の一例を示す図である。
本図に示すように、たとえばアノテーション情報は、分類項目と、区画領域Ｐおよび文字領域Ｌの位置座標と、正解ラベルとを含み、これらが互いに関連付けられた構成をとってよい。区画領域Ｐおよび文字領域Ｌの位置座標は、当該領域を決定する頂点の座標または当該領域の中心の座標といった、当該領域の代表点の座標であってよい。なお区画領域Ｐおよび文字領域Ｌは、後述する書式情報ＦＭによって決定される。 FIG. 4 is a diagram showing an example of annotation information according to the second embodiment.
As shown in this figure, for example, the annotation information includes the classification item, the position coordinates of the division area P and the character area L, and the correct answer label, and these may be associated with each other. The position coordinates of the division area P and the character area L may be the coordinates of the representative points of the area, such as the coordinates of the vertices that determine the area or the coordinates of the center of the area. The partition area P and the character area L are determined by the format information FM described later.

図５は、実施形態２にかかる文字認識システム２の構成を示すブロック図である。文字認識システム２は、画像生成装置２０と文字認識装置２６とを有する。 FIG. 5 is a block diagram showing a configuration of the character recognition system 2 according to the second embodiment. The character recognition system 2 includes an image generation device 20 and a character recognition device 26.

画像生成装置２０は、文字認識装置２６が用いる文字認識モデルの学習用データを生成するためのコンピュータ等である。たとえば画像生成装置２０のオペレーティングシステムまたはアプリケーションの実行環境は、．ＮＥＴ Ｆｒａｍｅｗｏｒｋ（登録商標）等であってよい。また画像生成装置２０は、ＯｐｅｎＣＶ（登録商標）およびＯｐｅｎＣＶＳｈａｒｐ（登録商標）等のライブラリを用いてよい。
画像生成装置２０は、取得部２００と、画像生成部２０１と、アノテーション付与部２０３と、記憶部２０４とを有する。 The image generation device 20 is a computer or the like for generating learning data of the character recognition model used by the character recognition device 26. For example, the execution environment of the operating system or application of the image generator 20 is. It may be NET Framework (registered trademark) or the like. Further, the image generator 20 may use a library such as OpenCV (registered trademark) and OpenCVSharp (registered trademark).
The image generation device 20 includes an acquisition unit 200, an image generation unit 201, an annotation addition unit 203, and a storage unit 204.

記憶部２０４は、学習用データ生成のために必要な各種情報および学習用データを記憶する記憶媒体である。記憶部２０４は、書式情報ＦＭと、描画点情報データベース２０５と、学習用データベース２０６とを記憶する。
描画点情報データベース２０５は、文字情報に対応する図形を描画するための描画点情報ＤＲを記憶する。描画点情報ＤＲおよび書式情報ＦＭの詳細については、後述する。
学習用データベース２０６は、上述した学習用データを記憶する。 The storage unit 204 is a storage medium that stores various information necessary for generating learning data and learning data. The storage unit 204 stores the format information FM, the drawing point information database 205, and the learning database 206.
The drawing point information database 205 stores the drawing point information DR for drawing a figure corresponding to the character information. Details of the drawing point information DR and the format information FM will be described later.
The learning database 206 stores the above-mentioned learning data.

取得部２００は、ユーザから学習用データにかかる文字情報等の各種情報を取得する。そして取得部２００は、取得した文字情報等を画像生成部２０１に出力する。取得部２００はまた、ユーザから描画点情報ＤＲに関連する各種情報を取得する。そして取得部２００は、取得した描画点情報ＤＲに関連する各種情報を記憶部２０４の描画点情報データベース２０５に格納する。 The acquisition unit 200 acquires various information such as character information related to the learning data from the user. Then, the acquisition unit 200 outputs the acquired character information and the like to the image generation unit 201. The acquisition unit 200 also acquires various information related to the drawing point information DR from the user. Then, the acquisition unit 200 stores various information related to the acquired drawing point information DR in the drawing point information database 205 of the storage unit 204.

画像生成部２０１は、取得した文字情報から文字情報に対応する図形を含む文字画像を生成する。ここで画像生成部２０１は、記憶部２０４の描画点情報データベース２０５に記憶される、書式情報ＦＭおよび文字情報に関連付けられた描画点情報ＤＲに基づいて、文字画像を生成する。そして画像生成部２０１は、文字情報および文字画像をアノテーション付与部２０３に出力する。 The image generation unit 201 generates a character image including a figure corresponding to the character information from the acquired character information. Here, the image generation unit 201 generates a character image based on the drawing point information DR associated with the format information FM and the character information stored in the drawing point information database 205 of the storage unit 204. Then, the image generation unit 201 outputs the character information and the character image to the annotation unit 203.

アノテーション付与部２０３は、文字情報を用いてアノテーション情報を生成し、文字画像にアノテーション情報を付与し、学習用データを生成する。アノテーション付与部２０３は、生成された学習用データを記憶部２０４の学習用データベース２０６に格納する。 The annotation unit 203 generates annotation information using the character information, adds annotation information to the character image, and generates learning data. The annotation unit 203 stores the generated learning data in the learning database 206 of the storage unit 204.

文字認識装置２６は、画像生成装置２０により生成された学習用データを用いて学習した文字認識モデルを用いて、入力された文字画像に含まれる文字情報を認識するコンピュータ等である。文字認識装置２６は、取得部２６０と、文字認識部２６２と、出力部２６４と、学習部２６６とを有する。 The character recognition device 26 is a computer or the like that recognizes character information included in the input character image by using a character recognition model learned using the learning data generated by the image generation device 20. The character recognition device 26 includes an acquisition unit 260, a character recognition unit 262, an output unit 264, and a learning unit 266.

取得部２６０は、画像生成装置２０の学習用データベース２０６に接続され、学習用データベース２０６から学習用データを取得する。そして取得部２６０は取得した学習用データを学習部２６６に出力する。また取得部２６０は、ネットワーク９を介して管理装置７または撮像装置６から撮像された認識対象の文字画像を取得する。そして取得部２６０は、取得した認識対象の撮像文字画像を文字認識部２６２に出力する。 The acquisition unit 260 is connected to the learning database 206 of the image generation device 20, and acquires learning data from the learning database 206. Then, the acquisition unit 260 outputs the acquired learning data to the learning unit 266. Further, the acquisition unit 260 acquires a character image to be recognized captured from the management device 7 or the image pickup device 6 via the network 9. Then, the acquisition unit 260 outputs the acquired captured character image of the recognition target to the character recognition unit 262.

文字認識部２６２は、学習部２６６から出力された学習済みの文字認識モデルを用いて、認識対象の撮像文字画像から文字情報を認識する。ここで文字認識モデルは、認識対象の撮像文字画像に基づいて、文字画像に含まれる文字情報を出力する。文字認識モデルは、重みおよびバイアス等をパラメータとして有する畳み込みニューラルネットワークまたはその他の任意のニューラルネットワークを含んでよい。文字認識部２６２は、認識結果を出力部２６４に出力する。 The character recognition unit 262 recognizes character information from the captured character image to be recognized by using the learned character recognition model output from the learning unit 266. Here, the character recognition model outputs character information included in the character image based on the captured character image to be recognized. The character recognition model may include a convolutional neural network or any other neural network with parameters such as weights and biases. The character recognition unit 262 outputs the recognition result to the output unit 264.

出力部２６４は、認識結果を外部出力する。出力部２６４は、ネットワーク９を介して管理装置７に認識結果を送信してよい。 The output unit 264 outputs the recognition result to the outside. The output unit 264 may transmit the recognition result to the management device 7 via the network 9.

学習部２６６は、アノテーション情報および文字画像を含む学習用データを用いて文字認識モデルに対して学習処理をし、文字認識モデルを最適化する。学習部２６６は、最適化した文字認識モデルを文字認識部２６２に出力する。
なお、画像生成装置２０および文字認識装置２６は、複数のコンピュータ等で構成されてもよく、単一のコンピュータ等で構成されてもよい。 The learning unit 266 performs learning processing on the character recognition model using the learning data including the annotation information and the character image, and optimizes the character recognition model. The learning unit 266 outputs the optimized character recognition model to the character recognition unit 262.
The image generation device 20 and the character recognition device 26 may be composed of a plurality of computers or the like, or may be composed of a single computer or the like.

図６は、実施形態２にかかる書式情報ＦＭおよび描画点情報ＤＲを説明するための図である。本図は、文字画像上における、書式情報ＦＭが示す書式と、描画点情報ＤＲが示す描画点とを示す。
本図に示すように、書式は、分類項目ごとの区画領域Ｐおよび文字領域Ｌを画定する位置および寸法等である。したがって、書式情報ＦＭは、分類項目ごとの区画領域Ｐおよび文字領域Ｌを画定する位置情報および寸法情報を含む。なお書式情報ＦＭは、法律、政令または省令等の法令で定められるナンバープレートの様式等に基づいて決定されてよい。 FIG. 6 is a diagram for explaining the format information FM and the drawing point information DR according to the second embodiment. This figure shows the format indicated by the format information FM and the drawing points indicated by the drawing point information DR on the character image.
As shown in this figure, the format is a position and a dimension for defining a partition area P and a character area L for each classification item. Therefore, the format information FM includes position information and dimensional information that define the partition area P and the character area L for each classification item. The format information FM may be determined based on the license plate format or the like specified by a law, a cabinet order, a ministerial order, or the like.

描画点は、文字画像に含まれる文字情報に対応する図形を描画するための点である。したがって描画点情報ＤＲは、このような描画点の位置座標を示す。ここで位置座標は、ビットマップ座標であってよい。本実施形態２で描画点情報ＤＲは、当該図形に含まれる全ての描画点のうち、当該図形を画定する外枠および内枠を含む枠線を形成する描画点の位置座標であってよい。また描画点情報ＤＲは、当該図形に含まれる全ての描画点のうち、当該外枠および内枠の中間点の位置座標であってもよい。このように描画点情報ＤＲを一部の描画点の位置座標と定めることで、全ての描画点の位置座標を描画点情報データベース２０５に格納する場合と比べて必要なメモリ容量が最小限に抑えられる。また後述する図形の色の塗りつぶし処理が容易となる。
なお本実施形態２で描画点情報ＤＲは、このような描画点の、区画領域Ｐまたは文字領域Ｌの代表点に対する相対的な位置座標であってよい。 The drawing point is a point for drawing a figure corresponding to the character information included in the character image. Therefore, the drawing point information DR indicates the position coordinates of such a drawing point. Here, the position coordinates may be bitmap coordinates. In the second embodiment, the drawing point information DR may be the position coordinates of the drawing points forming the frame line including the outer frame and the inner frame that define the figure among all the drawing points included in the figure. Further, the drawing point information DR may be the position coordinates of the intermediate points of the outer frame and the inner frame among all the drawing points included in the figure. By defining the drawing point information DR as the position coordinates of some drawing points in this way, the required memory capacity is minimized as compared with the case where the position coordinates of all drawing points are stored in the drawing point information database 205. Be done. In addition, the color filling process of the figure, which will be described later, becomes easy.
In the second embodiment, the drawing point information DR may be the position coordinates of such drawing points relative to the representative points of the division area P or the character area L.

図７は、実施形態２にかかる描画点情報データベース２０５のデータ構造の一例を示す図である。図７（ａ）、（ｂ）、（ｃ）および（ｄ）はそれぞれ、分類項目が「陸運支局」、「分類番号」、「用途」および「一連番号」である場合のデータ構造の一例を示す。
図７（ａ）〜（ｄ）に示すように、描画点情報データベース２０５は、分類項目と、分類項目に対応する文字情報と、分類項目に対応する区画領域Ｐまたは文字領域Ｌの代表点に対する描画点の相対的な位置座標とを関連付けて記憶する。
なお本図では描画点情報データベース２０５のデータ構造をテーブル形式で表したが、これに限らず、描画点の相対的な位置座標を記憶するファイルの集合体であってもよい。ファイルは、ＸＭＬファイル等のテキストファイルであってよい。なお各ファイルは、分類項目および分類項目に対応する文字情報に関連付けられてよい。 FIG. 7 is a diagram showing an example of the data structure of the drawing point information database 205 according to the second embodiment. 7 (a), (b), (c) and (d) are examples of data structures when the classification items are "land transport branch office", "classification number", "use" and "serial number", respectively. show.
As shown in FIGS. 7A to 7D, the drawing point information database 205 refers to the classification item, the character information corresponding to the classification item, and the representative point of the division area P or the character area L corresponding to the classification item. It is stored in association with the relative position coordinates of the drawing points.
In this figure, the data structure of the drawing point information database 205 is shown in a table format, but the present invention is not limited to this, and it may be a collection of files that store the relative position coordinates of the drawing points. The file may be a text file such as an XML file. Each file may be associated with a classification item and character information corresponding to the classification item.

次に画像生成装置２０の学習用データ生成処理を、図９を参照しながら図８を用いて説明する。図８は、実施形態２にかかる画像生成装置２０の学習用データ生成処理を示すフローチャート図である。図９は、実施形態２にかかる画像生成部２０１による描画方法を説明するための図である。 Next, the learning data generation process of the image generation device 20 will be described with reference to FIG. 9 with reference to FIG. FIG. 8 is a flowchart showing a learning data generation process of the image generation device 20 according to the second embodiment. FIG. 9 is a diagram for explaining a drawing method by the image generation unit 201 according to the second embodiment.

まずＳ１０において、画像生成装置２０の取得部２００は、分類項目ごとに、学習用データの正解ラベルとなる文字情報を取得する。このとき取得部２００は、画像生成装置２０の入力部（不図示）がユーザからの入力を受け付けることによって、またはネットワーク９を介してユーザ端末（不図示）から学習用データにかかる文字情報を取得してよい。このとき取得部２００は、図形および背景の色を決定する車両種別情報を取得してもよい。取得部２００は、分類項目、文字情報および車両種別情報等を画像生成部２０１に出力する。 First, in S10, the acquisition unit 200 of the image generation device 20 acquires character information that serves as a correct label for learning data for each classification item. At this time, the acquisition unit 200 acquires the character information related to the learning data from the user terminal (not shown) via the network 9 or by receiving the input from the user by the input unit (not shown) of the image generation device 20. You can do it. At this time, the acquisition unit 200 may acquire vehicle type information that determines the color of the figure and the background. The acquisition unit 200 outputs classification items, character information, vehicle type information, and the like to the image generation unit 201.

次にＳ１２において、画像生成部２０１は、分類項目と文字情報とに基づいて、分類項目に対応する文字情報に関連付けられた描画点情報ＤＲを記憶部２０４の描画点情報データベース２０５から取得する。また画像生成部２０１は、記憶部２０４から書式情報ＦＭを取得する。 Next, in S12, the image generation unit 201 acquires the drawing point information DR associated with the character information corresponding to the classification item from the drawing point information database 205 of the storage unit 204 based on the classification item and the character information. Further, the image generation unit 201 acquires the format information FM from the storage unit 204.

次にＳ１４において、画像生成部２０１は、取得した描画点情報ＤＲおよび書式情報ＦＭに基づいて、文字情報に対応する図形を描画し、文字画像を生成する。
ここで本実施形態２では、図９に示すように、画像生成部２０１は、区画領域Ｐまたは文字領域Ｌの代表点を基準として、取得した描画点情報ＤＲに含まれる位置座標をプロットし、図形の外枠および内枠を形成する。そして画像生成部２０１は、図形の外枠および内枠で囲まれた領域および外枠外の背景を、車両種別情報に応じた色を用いて塗りつぶす処理を行う。画像生成部２０１は、．ＮＥＴ Ｆｒａｍｅｗｏｒｋの標準機能を用いて、このような塗りつぶし処理を行ってよい。そして画像生成部２０１は、このように生成された文字画像と分類項目ごとの文字情報とをアノテーション付与部２０３に出力する。 Next, in S14, the image generation unit 201 draws a figure corresponding to the character information based on the acquired drawing point information DR and the format information FM, and generates a character image.
Here, in the second embodiment, as shown in FIG. 9, the image generation unit 201 plots the position coordinates included in the acquired drawing point information DR with reference to the representative points of the division area P or the character area L. Form the outer and inner frames of the figure. Then, the image generation unit 201 performs a process of filling the outer frame of the figure, the area surrounded by the inner frame, and the background outside the outer frame with colors according to the vehicle type information. The image generation unit 201 ... Such a fill process may be performed using the standard function of NET Framework. Then, the image generation unit 201 outputs the character image generated in this way and the character information for each classification item to the annotation unit 203.

Ｓ１６において、アノテーション付与部２０３は、生成された文字画像に対して、図４に示すような分類項目に対応する区画領域Ｐまたは区画領域Ｐと、文字情報である正解ラベルとが関連付けられたアノテーション情報を付与する。このようにして、アノテーション付与部２０３は学習用データを生成する。 In S16, the annotation unit 203 annotates the generated character image in which the partition area P or the partition area P corresponding to the classification item as shown in FIG. 4 is associated with the correct answer label which is the character information. Give information. In this way, the annotation unit 203 generates learning data.

そしてＳ１８において、アノテーション付与部２０３は、アノテーション情報が付与された文字画像を学習用データベース２０６に格納する。 Then, in S18, the annotation unit 203 stores the character image to which the annotation information is added in the learning database 206.

なおＳ１０において取得部２００の車両種別情報の取得は、省略されてもよい。この場合画像生成部２０１は、Ｓ１４において、分類番号Ｃおよび用途Ｕに対応する文字情報に基づいて、図形および背景の色を推定してよい。 In S10, the acquisition of the vehicle type information of the acquisition unit 200 may be omitted. In this case, the image generation unit 201 may estimate the color of the figure and the background in S14 based on the character information corresponding to the classification number C and the use U.

このように実施形態２によれば、画像生成装置２０が、取得した文字情報から文字画像を生成し、生成した文字画像に対して自動でアノテーション情報を付与する。したがって画像生成装置２０は、大量の文字画像を入手することができる。そして画像生成装置２０は、管理者の作業負担を最小限に抑えて、文字画像に対して効率よくアノテーション情報を付与することができる。これにより、アノテーション情報が付与された学習用データを効率よく生成することができる。 As described above, according to the second embodiment, the image generation device 20 generates a character image from the acquired character information, and automatically adds annotation information to the generated character image. Therefore, the image generation device 20 can obtain a large amount of character images. Then, the image generation device 20 can efficiently add annotation information to the character image while minimizing the work load of the administrator. As a result, learning data to which annotation information is added can be efficiently generated.

そして画像生成装置２０は、図形を単なる明朝体またはゴシック体などの文字フォントを用いて生成するのではなく、予め定められた文字情報に対応する図形の描画点情報に基づいて画像を生成する。したがって生成される学習用データの文字画像を実際の文字画像に近づけることが可能となる。したがって学習対象の文字認識モデルの精度が向上する。 Then, the image generation device 20 does not generate a figure using a simple character font such as Mincho or Gothic, but generates an image based on the drawing point information of the figure corresponding to the predetermined character information. .. Therefore, it is possible to bring the character image of the generated learning data closer to the actual character image. Therefore, the accuracy of the character recognition model to be learned is improved.

また画像生成装置２０は、実際に使用される様式に応じた書式情報ＦＭに基づいて学習用データの文字画像を生成するため、学習対象の文字認識モデルの精度がさらに向上する。 Further, since the image generation device 20 generates a character image of the learning data based on the format information FM according to the format actually used, the accuracy of the character recognition model to be learned is further improved.

図１０は、実施形態２にかかる文字認識システム２の学習処理を示すフローチャートである。
まずＳ２０において、文字認識システム２の文字認識装置２６の学習部２６６は、取得部２６０を介して学習用データベース２０６から学習用データを取得する。
Ｓ２１において、学習部２６６は、文字認識モデルを取得する。
そしてＳ２２において、学習部２６６は文字認識処理を行う。このとき学習部２６６は、学習用データの文字画像を文字認識モデルに入力し、文字認識モデルから出力された出力値を取得する。 FIG. 10 is a flowchart showing a learning process of the character recognition system 2 according to the second embodiment.
First, in S20, the learning unit 266 of the character recognition device 26 of the character recognition system 2 acquires learning data from the learning database 206 via the acquisition unit 260.
In S21, the learning unit 266 acquires the character recognition model.
Then, in S22, the learning unit 266 performs character recognition processing. At this time, the learning unit 266 inputs the character image of the learning data into the character recognition model, and acquires the output value output from the character recognition model.

Ｓ２３において、学習部２６６は、入力した文字画像に付与されたアノテーション情報に基づいて、アノテーション情報が示す正解ラベルと出力値との間の誤差を算出する。 In S23, the learning unit 266 calculates an error between the correct label indicated by the annotation information and the output value based on the annotation information given to the input character image.

そしてＳ２４において、学習部２６６は、学習を終了するか否かを判定する。たとえば学習部２６６は、パラメータの更新回数が予め定められた回数に達したか否かを判定することにより、学習を終了するか否かを判定してよい。また学習部２６６は、算出した誤差が閾値未満であるか否かを判定することにより、学習を終了するか否かを判定してよい。学習部２６６は、学習を終了する場合（Ｓ２４でＹ）処理をＳ２６に進め、そうでない場合（Ｓ２４でＮ）処理をＳ２５に進める。 Then, in S24, the learning unit 266 determines whether or not to end the learning. For example, the learning unit 266 may determine whether or not to end learning by determining whether or not the number of parameter updates has reached a predetermined number of times. Further, the learning unit 266 may determine whether or not the learning is completed by determining whether or not the calculated error is less than the threshold value. The learning unit 266 advances the process to S26 when the learning is completed (Y in S24), and proceeds to S25 when it is not (N in S24).

Ｓ２５において、学習部２６６は、誤差に基づいて文字認識モデルのニューラルネットワークの各種パラメータを更新する。そして学習部２６６は、処理をＳ２２に戻す。
Ｓ２６において、学習部２６６は学習を終了し、各種パラメータおよび文字認識モデルを決定する。そして学習部２６６は処理を終了する。 In S25, the learning unit 266 updates various parameters of the neural network of the character recognition model based on the error. Then, the learning unit 266 returns the process to S22.
In S26, the learning unit 266 finishes learning and determines various parameters and a character recognition model. Then, the learning unit 266 ends the process.

このように文字認識システム２の文字認識装置２６の文字認識モデルは、学習用データを用いて学習することにより生成される。
なお学習用データベース２０６は、画像生成装置２０に代えて文字認識装置２６に含まれてもよい。また学習用データベース２０６は、文字認識システム２と通信可能に接続された他の装置（不図示）に含まれてもよい。このとき学習部２６６は、任意の通信手段（不図示）を介して当該他の装置から学習用データを取得してよい。 In this way, the character recognition model of the character recognition device 26 of the character recognition system 2 is generated by learning using the learning data.
The learning database 206 may be included in the character recognition device 26 instead of the image generation device 20. Further, the learning database 206 may be included in another device (not shown) communicatively connected to the character recognition system 2. At this time, the learning unit 266 may acquire learning data from the other device via an arbitrary communication means (not shown).

（実施形態３）
次に本開示の実施形態３について説明する。
たとえば実際のナンバープレートにおいては、用途Ｕの文字情報が同一であっても、陸運支局Ｔに応じて用途Ｕの文字情報に対応する図形の形状が異なる場合がある。実施形態３では、画像生成装置２０は、このように描画点情報データベース２０５の分類項目の描画点情報ＤＲが他の分類項目に応じて異なることに特徴を有する。なお実施形態３の画像生成装置２０は、実施形態２の画像生成装置２０と同様の構成および機能を有するコンピュータ等である。ただし実施形態３の画像生成装置２０は、描画点情報データベース２０５のデータ構造の少なくとも一部が異なる点で実施形態２の画像生成装置２０と相違する。 (Embodiment 3)
Next, the third embodiment of the present disclosure will be described.
For example, in an actual license plate, even if the character information of the use U is the same, the shape of the figure corresponding to the character information of the use U may differ depending on the Land Transport Office T. In the third embodiment, the image generation device 20 is characterized in that the drawing point information DR of the classification item of the drawing point information database 205 is thus different depending on the other classification items. The image generation device 20 of the third embodiment is a computer or the like having the same configuration and function as the image generation device 20 of the second embodiment. However, the image generation device 20 of the third embodiment is different from the image generation device 20 of the second embodiment in that at least a part of the data structure of the drawing point information database 205 is different.

図１１は、実施形態３にかかる描画点情報データベース２０５のデータ構造の一例を示す図である。本図に示すデータ構造は、図７（ｃ）に対応するものである。なお実施形態３の描画点情報データベース２０５のデータ構造は、図７（ａ）、（ｂ）および（ｄ）と同様のデータ構造を有してよい。 FIG. 11 is a diagram showing an example of the data structure of the drawing point information database 205 according to the third embodiment. The data structure shown in this figure corresponds to FIG. 7 (c). The data structure of the drawing point information database 205 of the third embodiment may have the same data structure as those of FIGS. 7A, 7B, and 7D.

本図に示すように、第１の分類項目（本図では、用途Ｕ）に対応する文字情報は、第２の分類項目（本図では、陸運支局Ｔ）に対応する文字情報に応じて異なる描画点情報ＤＲに関連付けられる。たとえば、用途Ｕに対応する「あ」の描画点情報ＤＲは、陸運支局Ｔが「足立」である場合と「多摩」である場合とで異なってよい。
この場合、画像生成部２０１は、図８に示すＳ１２において、第１の分類項目と、第１の分類項目に対応する文字情報と、第２の分類項目と、第２の分類項目に対応する文字情報とに基づいて、第１の分類項目に対応する文字情報の描画点情報ＤＲを取得する。画像生成部２０１は、その他の分類項目に対応する文字情報の描画点情報ＤＲについては、分類項目と、分類項目に対応する文字情報とに基づいて取得してよい。そして図８に示すＳ１４において、画像生成部２０１は、取得した描画点情報ＤＲおよび書式情報ＦＭに基づいて、文字情報に対応する図形を描画し、文字画像を生成する。 As shown in this figure, the character information corresponding to the first classification item (use U in this figure) differs depending on the character information corresponding to the second classification item (land transport branch office T in this figure). It is associated with the drawing point information DR. For example, the drawing point information DR of "A" corresponding to the use U may be different depending on whether the Land Transport Office T is "Adachi" or "Tama".
In this case, the image generation unit 201 corresponds to the first classification item, the character information corresponding to the first classification item, the second classification item, and the second classification item in S12 shown in FIG. Based on the character information, the drawing point information DR of the character information corresponding to the first classification item is acquired. The image generation unit 201 may acquire the drawing point information DR of the character information corresponding to the other classification items based on the classification item and the character information corresponding to the classification item. Then, in S14 shown in FIG. 8, the image generation unit 201 draws a figure corresponding to the character information based on the acquired drawing point information DR and the format information FM, and generates a character image.

このように実施形態３によれば、画像生成装置２０は、認識対象であるナンバープレートの実際の運用に沿った学習用データを生成することができる。したがって、学習対象の文字認識モデルの精度をさらに向上させることができる。 As described above, according to the third embodiment, the image generation device 20 can generate learning data according to the actual operation of the license plate to be recognized. Therefore, the accuracy of the character recognition model to be learned can be further improved.

（実施形態４）
次に図１２〜１４を用いて、本開示の実施形態４について説明する。実施形態４は、画像生成装置３０が撮像された基準文字画像から描画点情報ＤＲを取得することに特徴を有する。図１２は、実施形態４にかかる文字認識システム３の構成を示すブロック図である。実施形態４の文字認識システム３は、実施形態２〜３の文字認識システム２と基本的に同様の構成および機能を有するコンピュータ等である。ただし文字認識システム３は、画像生成装置２０に代えて画像生成装置３０を有する点で文字認識システム２と相違する。 (Embodiment 4)
Next, the fourth embodiment of the present disclosure will be described with reference to FIGS. 12 to 14. The fourth embodiment is characterized in that the image generation device 30 acquires the drawing point information DR from the captured reference character image. FIG. 12 is a block diagram showing the configuration of the character recognition system 3 according to the fourth embodiment. The character recognition system 3 of the fourth embodiment is a computer or the like having basically the same configuration and function as the character recognition system 2 of the second to third embodiments. However, the character recognition system 3 differs from the character recognition system 2 in that it has an image generation device 30 instead of the image generation device 20.

画像生成装置３０は、画像生成装置２０と基本的に同様の構成および機能を有するコンピュータ等である。ただし画像生成装置３０は、画像生成装置２０の構成に加えて、描画点情報取得部３０８を有する。 The image generation device 30 is a computer or the like having basically the same configuration and function as the image generation device 20. However, the image generation device 30 has a drawing point information acquisition unit 308 in addition to the configuration of the image generation device 20.

描画点情報取得部３０８は、撮像された基準文字画像を取得し、当該基準文字画像に基づいて描画点情報ＤＲを取得する。ここで基準文字画像は、撮像装置６により撮像され、取得部２００が撮像装置６または管理装置７からネットワーク９を介して取得した撮像文字画像であってよい。たとえば基準文字画像は、実際のナンバープレートの撮像文字画像であってよい。基準文字画像は、撮像文字画像のうちナンバープレート部分を正規化した正規化画像であってよい。描画点情報取得部３０８は、記憶部２０４の描画点情報データベース２０５に描画点情報ＤＲを格納する。 The drawing point information acquisition unit 308 acquires the captured reference character image, and acquires the drawing point information DR based on the reference character image. Here, the reference character image may be an captured character image captured by the image pickup device 6 and acquired by the acquisition unit 200 from the image pickup device 6 or the management device 7 via the network 9. For example, the reference character image may be a captured character image of an actual license plate. The reference character image may be a normalized image in which the license plate portion of the captured character image is normalized. The drawing point information acquisition unit 308 stores the drawing point information DR in the drawing point information database 205 of the storage unit 204.

次に画像生成装置３０の描画点情報ＤＲの取得処理について、図１４を参照しながら図１３を用いて説明する。図１３は、実施形態４にかかる画像生成装置３０の描画点情報ＤＲの取得処理を示すフローチャートである。また図１４は、実施形態４にかかる画像生成装置３０の描画点情報ＤＲの取得処理における表示の一例を示す図である。 Next, the process of acquiring the drawing point information DR of the image generation device 30 will be described with reference to FIG. 13 with reference to FIG. FIG. 13 is a flowchart showing the acquisition process of the drawing point information DR of the image generation device 30 according to the fourth embodiment. Further, FIG. 14 is a diagram showing an example of display in the acquisition process of the drawing point information DR of the image generation device 30 according to the fourth embodiment.

Ｓ３０において、描画点情報取得部３０８は、取得部２００を介して基準文字画像を取得する。本実施形態４で基準文字画像は、図１４に示すように、分類項目に対応する区画領域Ｐまたは文字領域Ｌごとに切り出された、複数の切り出し基準文字画像を含んでよい。 In S30, the drawing point information acquisition unit 308 acquires the reference character image via the acquisition unit 200. As shown in FIG. 14, the reference character image in the fourth embodiment may include a plurality of cutout reference character images cut out for each section area P or character area L corresponding to the classification item.

Ｓ３２において、描画点情報取得部３０８は、基準文字画像から描画点情報ＤＲを取得する。本実施形態４で描画点情報取得部３０８は、複数の切り出し基準文字画像のそれぞれから描画点情報ＤＲを取得する。たとえば描画点情報取得部３０８は、図１４に示すように、画像生成装置３０の表示装置（不図示）に指定された分類項目に対応する切り出し基準文字画像を表示させる。そして描画点情報取得部３０８は、表示された切り出し基準文字画像上の図形をユーザがポインティングデバイス等の入力装置（不図示）を用いてトレースしたことに応じて、その軌跡を示すパス情報を取得する。そして描画点情報取得部３０８は、パス情報に対応する位置座標を描画点情報ＤＲとして取得する。
なおこれに限らず、描画点情報取得部３０８は、切り出し基準文字画像の画素値に基づいて描画点の位置座標を抽出し、描画点情報ＤＲを取得してよい。このとき描画点情報取得部３０８は、ＯｐｅｎＣＶを用いて切り出し基準文字画像を二値化した後、画素値に基づいて描画点の位置座標を抽出し、描画点情報ＤＲを取得してよい。 In S32, the drawing point information acquisition unit 308 acquires the drawing point information DR from the reference character image. In the fourth embodiment, the drawing point information acquisition unit 308 acquires the drawing point information DR from each of the plurality of cutout reference character images. For example, as shown in FIG. 14, the drawing point information acquisition unit 308 causes the display device (not shown) of the image generation device 30 to display the cutout reference character image corresponding to the classification item designated. Then, the drawing point information acquisition unit 308 acquires the path information indicating the trajectory according to the user tracing the figure on the displayed cutout reference character image using an input device (not shown) such as a pointing device. do. Then, the drawing point information acquisition unit 308 acquires the position coordinates corresponding to the path information as the drawing point information DR.
Not limited to this, the drawing point information acquisition unit 308 may extract the position coordinates of the drawing point based on the pixel value of the cutout reference character image and acquire the drawing point information DR. At this time, the drawing point information acquisition unit 308 may obtain the drawing point information DR by binarizing the cutout reference character image using OpenCV and then extracting the position coordinates of the drawing point based on the pixel value.

Ｓ３４において描画点情報取得部３０８は、取得した描画点情報ＤＲを描画点情報データベース２０５に格納する。そして描画点情報取得部３０８は、処理を終了する。 In S34, the drawing point information acquisition unit 308 stores the acquired drawing point information DR in the drawing point information database 205. Then, the drawing point information acquisition unit 308 ends the process.

このように実施形態４によれば、画像生成装置３０は、撮像された基準文字画像から描画点情報ＤＲを取得し、これに基づいて学習用データの文字画像を生成する。したがって、実際の文字画像に近い文字画像を学習用データとして生成することができるため、学習対象の文字認識モデルの精度がさらに向上する。 As described above, according to the fourth embodiment, the image generation device 30 acquires the drawing point information DR from the captured reference character image, and generates a character image of the learning data based on the drawing point information DR. Therefore, since a character image close to the actual character image can be generated as learning data, the accuracy of the character recognition model to be learned is further improved.

（実施形態５）
次に図１５〜２０を用いて、本開示の実施形態５について説明する。文字認識装置２６の文字認識モデルに入力される撮像文字画像は、撮像状況によって様々な特徴を有している。図１５は、実施形態５にかかる認識対象の撮像文字画像を説明するための図である。 (Embodiment 5)
Next, the fifth embodiment of the present disclosure will be described with reference to FIGS. 15 to 20. The captured character image input to the character recognition model of the character recognition device 26 has various characteristics depending on the imaging situation. FIG. 15 is a diagram for explaining a captured character image to be recognized according to the fifth embodiment.

ここで本図に示すように、撮像装置６は車載カメラであり、対向車のナンバープレートを撮像するものであるとする。対向車は撮像装置６から水平方向（進行方向と直交する方向）で距離ｄだけ離れた位置であって、撮像装置６の水平方向から見て角度θの位置に位置する。撮像装置６がこのような状況で対向車のナンバープレートを撮像した場合、撮像文字画像は、本図の右下に示すように、真正面から撮像した場合に比べてθだけひずんだ画像となる。なお撮像文字画像は、ひずみに限らず、撮像状況によって傾きおよびぶれ等を有している場合があり、また、解像度が低い場合がある。
実施形態５は、このような撮像文字画像に対する文字認識の精度を高めるために、画像生成装置４０が画素値を補正した文字画像を学習用データとして生成することに特徴を有する。 Here, as shown in this figure, it is assumed that the image pickup device 6 is an in-vehicle camera and images the license plate of an oncoming vehicle. The oncoming vehicle is located at a position separated from the image pickup device 6 in the horizontal direction (direction orthogonal to the traveling direction) by a distance d, and is located at an angle θ when viewed from the horizontal direction of the image pickup device 6. When the image pickup device 6 images the license plate of the oncoming vehicle in such a situation, the captured character image becomes an image distorted by θ as compared with the case where the image is taken from the front as shown in the lower right of this figure. The captured character image is not limited to distortion, and may have tilt and blur depending on the imaging condition, and the resolution may be low.
The fifth embodiment is characterized in that the image generation device 40 generates a character image in which the pixel value is corrected as learning data in order to improve the accuracy of character recognition for such an captured character image.

図１６は、実施形態５にかかる文字認識システム４の構成を示すブロック図である。実施形態５の文字認識システム４は、実施形態４の文字認識システム３と基本的に同様の構成および機能を有するコンピュータ等である。ただし文字認識システム４は、画像生成装置３０に代えて画像生成装置４０を有する点で文字認識システム３と相違する。 FIG. 16 is a block diagram showing the configuration of the character recognition system 4 according to the fifth embodiment. The character recognition system 4 of the fifth embodiment is a computer or the like having basically the same configuration and function as the character recognition system 3 of the fourth embodiment. However, the character recognition system 4 differs from the character recognition system 3 in that it has an image generation device 40 instead of the image generation device 30.

画像生成装置４０は、画像生成装置３０と基本的に同様の構成および機能を有するコンピュータ等である。ただし画像生成装置４０は、画像生成装置３０の構成に加えて、補正部４０２と抽出処理部４０７とを有する。 The image generation device 40 is a computer or the like having basically the same configuration and function as the image generation device 30. However, the image generation device 40 has a correction unit 402 and an extraction processing unit 407 in addition to the configuration of the image generation device 30.

補正部４０２は、画像生成部２０１から出力された文字画像の画素値を変換し、文字画像を補正する。補正部４０２は、補正した文字画像をアノテーション付与部２０３に出力する。なおアノテーション付与部２０３は、文字情報を用いて、補正された文字画像にアノテーション情報を付与し、学習用データを生成する。 The correction unit 402 converts the pixel value of the character image output from the image generation unit 201 and corrects the character image. The correction unit 402 outputs the corrected character image to the annotation unit 203. The annotation unit 203 uses the character information to add annotation information to the corrected character image and generate learning data.

抽出処理部４０７は、撮像装置６が撮像し、撮像装置６または管理装置７から取得部２００を介して取得した文字画像のうち、文字認識の対象領域を切り出して、正規化された基準文字画像を抽出する。そして抽出処理部４０７は、正規化された基準文字画像から、区画領域Ｐおよび文字領域Ｌごとに切り出し基準文字画像を生成する。抽出処理部４０７は、抽出した切り出し基準文字画像を描画点情報取得部３０８に出力する。 The extraction processing unit 407 cuts out a target area for character recognition from the character image imaged by the image pickup device 6 and acquired from the image pickup device 6 or the management device 7 via the acquisition unit 200, and is a normalized reference character image. Is extracted. Then, the extraction processing unit 407 generates a cutout reference character image for each of the division area P and the character area L from the normalized reference character image. The extraction processing unit 407 outputs the extracted cutout reference character image to the drawing point information acquisition unit 308.

図１７は、実施形態５にかかる画像生成装置４０の学習用データ生成処理を示すフローチャート図である。図１７に示すステップは、実施形態２の図８に示すステップに加えて、Ｓ４５を有する。なお、図８に示すステップと同様のステップについては、同一の記号を付して説明を省略する。 FIG. 17 is a flowchart showing a learning data generation process of the image generation device 40 according to the fifth embodiment. The step shown in FIG. 17 has S45 in addition to the step shown in FIG. 8 of the second embodiment. The same steps as those shown in FIG. 8 are designated by the same symbols and the description thereof will be omitted.

Ｓ４５において、補正部４０２は、Ｓ１４において画像生成部２０１が生成した文字画像に対して、画素値を変換し、文字画像を補正する。そして補正部４０２は、補正した文字画像をアノテーション付与部２０３に出力する。 In S45, the correction unit 402 converts the pixel value of the character image generated by the image generation unit 201 in S14, and corrects the character image. Then, the correction unit 402 outputs the corrected character image to the annotation unit 203.

図１８は、実施形態５にかかる補正部４０２による補正処理を説明するための図である。
本図に示すように、本実施形態５で補正部４０２は、様々な画素値変換処理を行う。たとえば、図１８（ａ）に示すように、補正部４０２は文字画像を所定角度だけ回転させてよい。また図１８（ｂ）に示すように、補正部４０２は、文字画像に含まれる図形のエッジ検出をし、図形の輪郭を強調させてよい。また図１８（ｃ）に示すように、補正部４０２は、文字画像の解像度を圧縮させて、輪郭を不明瞭にしてよい。また図１８（ｄ）に示すように、補正部４０２は、文字画像に対してひずみ補正を行ってよい。また図１８（ｅ）に示すように、補正部４０２は、ガウシアンフィルタ、中央値フィルタおよびバイラテラルフィルタ等のフィルタを用いて文字画像の画素値を変換してよい。また図１８（ｆ）に示すように、補正部４０２は、ガウシアンノイズ、インパルスノイズ等のノイズを文字画像の各画素に対して付与し、文字画像を平滑化させてよい。補正部４０２は、これらの処理をＯｐｅｎＣＶ等を用いたアプリケーションを用いて実行してよい。 FIG. 18 is a diagram for explaining the correction process by the correction unit 402 according to the fifth embodiment.
As shown in this figure, in the fifth embodiment, the correction unit 402 performs various pixel value conversion processes. For example, as shown in FIG. 18A, the correction unit 402 may rotate the character image by a predetermined angle. Further, as shown in FIG. 18B, the correction unit 402 may detect the edge of the figure included in the character image and emphasize the outline of the figure. Further, as shown in FIG. 18C, the correction unit 402 may compress the resolution of the character image to make the outline unclear. Further, as shown in FIG. 18D, the correction unit 402 may perform distortion correction on the character image. Further, as shown in FIG. 18E, the correction unit 402 may convert the pixel value of the character image by using a filter such as a Gaussian filter, a median filter, and a bilateral filter. Further, as shown in FIG. 18 (f), the correction unit 402 may apply noise such as Gaussian noise and impulse noise to each pixel of the character image to smooth the character image. The correction unit 402 may execute these processes by using an application using OpenCV or the like.

図１９は、実施形態５にかかる抽出処理部４０７による抽出処理における表示の一例を示す図である。たとえば本図の左表示枠内に示すように、撮像装置６が撮像した文字画像は、対象領域（ナンバープレート）以外に背景を含む場合がある。また撮像装置６が撮像した文字画像は、文字認識モデルに入力される撮像文字画像と同様に、撮像状況によって対象領域が傾いている、またはひずんでいる場合がある。抽出処理部４０７は、このような文字画像に対して、文字画像の画素値を変換して、ひずみまたは傾きを補正する。そして抽出処理部４０７は、対象領域の位置を検出し、位置に基づいて文字画像の画素値を変換して、文字画像から対象領域だけを抽出する。なお抽出処理部４０７の処理は、補正部４０２の補正処理と同様のアルゴリズムを用いるため、補正処理と同様のアプリケーションにより容易に実装することができる。
このようにして抽出処理部４０７は、本図の右表示枠内に示すような、正規化された基準文字画像を抽出することができる。 FIG. 19 is a diagram showing an example of display in the extraction process by the extraction process unit 407 according to the fifth embodiment. For example, as shown in the left display frame of this figure, the character image captured by the imaging device 6 may include a background in addition to the target area (license plate). Further, in the character image captured by the image pickup device 6, the target area may be tilted or distorted depending on the imaging situation, as in the captured character image input to the character recognition model. The extraction processing unit 407 converts the pixel value of the character image for such a character image to correct the distortion or the inclination. Then, the extraction processing unit 407 detects the position of the target area, converts the pixel value of the character image based on the position, and extracts only the target area from the character image. Since the processing of the extraction processing unit 407 uses the same algorithm as the correction processing of the correction unit 402, it can be easily implemented by the same application as the correction processing.
In this way, the extraction processing unit 407 can extract the normalized reference character image as shown in the right display frame of this figure.

図２０は、実施形態５にかかる画像生成装置４０の学習用データ生成処理における表示の一例を示す。
画像生成装置４０の取得部２００は、画像生成装置４０の表示装置（不図示）に分類項目に応じた入力画面を表示させ、ユーザからの入力を受け付けることで分類項目に対応する文字情報を取得する。 FIG. 20 shows an example of display in the learning data generation process of the image generation device 40 according to the fifth embodiment.
The acquisition unit 200 of the image generation device 40 displays an input screen corresponding to the classification item on the display device (not shown) of the image generation device 40, and acquires the character information corresponding to the classification item by receiving the input from the user. do.

また画像生成装置４０の取得部２００は、「ノイズ付与」、「回転」、「圧縮ぼかし」および「ぼかし」等の補正処理に対応する項目を選択する入力画面を表示させ、補正処理の内容を取得してよい。そして取得部２００は、取得した補正処理の内容を補正部４０２に出力してよい。 Further, the acquisition unit 200 of the image generation device 40 displays an input screen for selecting items corresponding to the correction processing such as "noise addition", "rotation", "compression blur", and "blurring", and displays the content of the correction processing. You may get it. Then, the acquisition unit 200 may output the acquired content of the correction process to the correction unit 402.

また取得部２００は、「事業用車両」、「自家用車」、「軽自動車」、あるいは「普通車」若しくは「大型車」等の車両種別を選択する入力画面を表示させ、ユーザからの入力を受け付けることで、車両種別情報を取得してよい。 Further, the acquisition unit 200 displays an input screen for selecting a vehicle type such as "business vehicle", "private vehicle", "light vehicle", or "ordinary vehicle" or "large vehicle", and inputs from the user. By accepting, vehicle type information may be acquired.

そして画像生成装置４０は、予め定められたアルゴリズムを用いて、学習用データを一括で生成してよい。このとき取得部２００は、学習用データの一括生成を行うか否かをユーザに選択させる入力ボタンを表示させ、ユーザからの入力を受け付けてよい。 Then, the image generation device 40 may collectively generate learning data by using a predetermined algorithm. At this time, the acquisition unit 200 may display an input button that allows the user to select whether or not to collectively generate learning data, and may accept input from the user.

なお取得部２００は、学習用データ生成処理だけでなく、抽出処理および描画点情報ＤＲの取得処理においても本表示画面を表示させてよい。本表示画面において、取得部２００は、描画点情報ＤＲ取得用の文字画像を取得したことに応じて、抽出処理においてひずみまたは傾き補正を行うか否かをユーザに選択させてよい。また取得部２００は、表示画面を図１４に示すようなユーザに図形のトレースさせる画面に切り替えるための入力ボタンを表示させてよい。 The acquisition unit 200 may display the display screen not only in the learning data generation process but also in the extraction process and the drawing point information DR acquisition process. On this display screen, the acquisition unit 200 may allow the user to select whether or not to perform distortion or tilt correction in the extraction process according to the acquisition of the character image for acquiring the drawing point information DR. Further, the acquisition unit 200 may display an input button for switching the display screen to a screen for the user to trace the figure as shown in FIG.

上述の実施形態１〜５ではコンピュータは、パーソナルコンピュータやワードプロセッサ等を含むコンピュータシステムで構成される。しかしこれに限らず、コンピュータは、ＬＡＮ（ローカル・エリア・ネットワーク）のサーバ、コンピュータ（パソコン）通信のホスト、インターネット上に接続されたコンピュータシステム等によって構成されることも可能である。また、ネットワーク上の各機器に機能分散させ、ネットワーク全体でコンピュータを構成することも可能である。 In the above-described first to fifth embodiments, the computer is composed of a computer system including a personal computer, a word processor, and the like. However, the computer may be composed of a LAN (local area network) server, a computer (personal computer) communication host, a computer system connected to the Internet, and the like. It is also possible to distribute the functions to each device on the network and configure the computer in the entire network.

なお上述の実施形態１〜５では、この開示をハードウェアの構成として説明したが、この開示は、これに限定されるものではない。この開示は、上述の学習用データ生成処理、描画点情報の取得処理、抽出処理、補正処理、文字認識処理および学習処理等の各種処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより各種機能を実現することも可能である。各種機能は、取得機能（取得部に対応）、画像生成機能（画像生成部に対応）、アノテーション付与機能（アノテーション付与部に対応）、描画点情報取得機能（描画点情報取得部に対応）、補正機能（補正部に対応）又は抽出機能（抽出処理部に対応）等を含む。 In the above-described first to fifth embodiments, this disclosure has been described as a hardware configuration, but the disclosure is not limited to this. This disclosure causes a CPU (Central Processing Unit) to execute various processes such as the above-mentioned learning data generation process, drawing point information acquisition process, extraction process, correction process, character recognition process, and learning process. It is also possible to realize various functions. Various functions include acquisition function (corresponding to acquisition unit), image generation function (corresponding to image generation unit), annotation function (corresponding to annotation addition unit), drawing point information acquisition function (corresponding to drawing point information acquisition unit), Includes a correction function (corresponding to the correction unit) or an extraction function (corresponding to the extraction processing unit).

図２１は、実施形態１〜５にかかるコンピュータ１９００の構成図の一例である。本図に示すように、コンピュータ１９００は、システム全体を制御するための制御部１０００を備えている。この制御部１０００には、データバス等のバスラインを介して、入力装置１０５０、記憶装置１２００、記憶媒体駆動装置１３００、通信制御装置１４００、および入出力Ｉ／Ｆ１５００が接続されている。 FIG. 21 is an example of a configuration diagram of the computer 1900 according to the first to fifth embodiments. As shown in this figure, the computer 1900 includes a control unit 1000 for controlling the entire system. An input device 1050, a storage device 1200, a storage medium drive device 1300, a communication control device 1400, and an input / output I / F 1500 are connected to the control unit 1000 via a bus line such as a data bus.

制御部１０００は、プロセッサ１０１０と、ＲＯＭ１０２０と、ＲＡＭ１０３０とを備えている。
プロセッサ１０１０は、ＲＯＭ１０２０や記憶装置１２００等の各種記憶部に記憶されたプログラムに従って、各種の情報処理や制御を行う。
ＲＯＭ１０２０は、プロセッサ１０１０が各種制御や演算を行うための各種プログラムやデータが予め格納されたリードオンリーメモリである。 The control unit 1000 includes a processor 1010, a ROM 1020, and a RAM 1030.
The processor 1010 performs various information processing and control according to a program stored in various storage units such as the ROM 1020 and the storage device 1200.
The ROM 1020 is a read-only memory in which various programs and data for the processor 1010 to perform various controls and calculations are stored in advance.

ＲＡＭ１０３０は、プロセッサ１０１０にワーキングメモリとして使用されるランダムアクセスメモリである。このＲＡＭ１０３０には、本実施形態１〜５による各種処理を行うための各種エリアが確保可能になっている。 The RAM 1030 is a random access memory used by the processor 1010 as a working memory. In the RAM 1030, various areas for performing various processes according to the first to fifth embodiments can be secured.

入力装置１０５０は、キーボード、マウスおよびタッチパネル等のユーザからの入力を受け付ける入力装置である。たとえばキーボードは、テンキー、各種機能を実行するための機能キーおよびカーソルキー等の各種キーが配置されている。マウスは、ポインティングデバイスであり、表示装置１１００に表示されたキーやアイコン等をクリックすることで対応する機能の指定を行う入力装置である。タッチパネルは、表示装置１１００の表面に配置される入力機器で、表示装置１１００に画面表示された各種操作キーに対応した、ユーザのタッチ位置を特定し、当該タッチ位置に対応して表示された操作キーの入力を受け付ける。 The input device 1050 is an input device that receives input from a user such as a keyboard, a mouse, and a touch panel. For example, the keyboard is provided with various keys such as a numeric keypad, function keys for executing various functions, and cursor keys. The mouse is a pointing device, and is an input device that specifies a corresponding function by clicking a key, an icon, or the like displayed on the display device 1100. The touch panel is an input device arranged on the surface of the display device 1100. It identifies a user's touch position corresponding to various operation keys displayed on the screen of the display device 1100, and an operation displayed corresponding to the touch position. Accepts key input.

表示装置１１００は、例えばＣＲＴや液晶ディスプレイ等が使用される。この表示装置には、キーボードやマウスによる入力結果が表示されたり、最終的に検索されたイメージ情報が表示されたりするようになっている。また表示装置１１００は、コンピュータ１９００の各種機能に応じて、タッチパネルから必要な各種操作を行うための操作キーを画像表示する。 As the display device 1100, for example, a CRT, a liquid crystal display, or the like is used. The display device displays the input result by the keyboard and the mouse, and displays the finally searched image information. Further, the display device 1100 displays an image of operation keys for performing various necessary operations from the touch panel according to various functions of the computer 1900.

記憶装置１２００は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータ等の各種情報を読み書きするための駆動装置で構成されている。
この記憶装置１２００に使用される記憶媒体は、主としてハードディスク等が使用されるが、後述の記憶媒体駆動装置１３００で使用される非一時的なコンピュータ可読媒体を使用するようにしてもよい。
記憶装置１２００は、データ格納部１２１０、プログラム格納部１２２０および図示しないその他の格納部（例えば、この記憶装置１２００内に格納されているプログラムやデータ等をバックアップするための格納部）等を有している。プログラム格納部１２２０には、本実施形態１〜５における各種処理を実現するためのプログラムが格納されている。データ格納部１２１０には、本実施形態１〜５にかかる各種データベースの各種データを格納する。 The storage device 1200 includes a readable and writable storage medium and a drive device for reading and writing various information such as programs and data to and from the storage medium.
As the storage medium used in the storage device 1200, a hard disk or the like is mainly used, but a non-temporary computer-readable medium used in the storage medium drive device 1300 described later may be used.
The storage device 1200 has a data storage unit 1210, a program storage unit 1220, and other storage units (for example, a storage unit for backing up programs and data stored in the storage device 1200) and the like (for example, a storage unit for backing up programs and data stored in the storage device 1200). ing. The program storage unit 1220 stores programs for realizing various processes according to the first to fifth embodiments. The data storage unit 1210 stores various data of various databases according to the first to fifth embodiments.

記憶媒体駆動装置１３００は、プロセッサ１０１０が外部の記憶媒体（外部記憶媒体）からコンピュータプログラムや文書を含むデータ等を読み込むための駆動装置である。
ここで、外部記憶媒体とは、コンピュータプログラムやデータ等が記憶される非一時的なコンピュータ可読媒体をいう。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また各種プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路並びに記憶媒体駆動装置１３００を介して、各種プログラムをコンピュータに供給できる。 The storage medium drive device 1300 is a drive device for the processor 1010 to read data including computer programs and documents from an external storage medium (external storage medium).
Here, the external storage medium means a non-temporary computer-readable medium in which computer programs, data, and the like are stored. Non-transient computer-readable media include various types of tangible storage media. Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs. It includes a CD-R / W and a semiconductor memory (for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, and a RAM (random access memory)). The various programs may also be supplied to the computer by various types of transient computer readable medium. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves. As the temporary computer-readable medium, various programs can be supplied to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path and a storage medium driving device 1300.

つまりコンピュータ１９００は、制御部１０００のプロセッサ１０１０が、記憶媒体駆動装置１３００にセットされた外部の記憶媒体から各種プログラムを読み込んで、記憶装置１２００の各部に格納する。 That is, in the computer 1900, the processor 1010 of the control unit 1000 reads various programs from the external storage medium set in the storage medium driving device 1300 and stores them in each unit of the storage device 1200.

そして、コンピュータ１９００が各種処理を実行する場合、記憶装置１２００から該当プログラムをＲＡＭ１０３０に読み込み、実行するようになっている。但しコンピュータ１９００は、記憶装置１２００からではなく、記憶媒体駆動装置１３００により外部の記憶媒体から直接ＲＡＭ１０３０にプログラムを読み込んで実行することも可能である。また、コンピュータによっては各種プログラム等を予めＲＯＭ１０２０に記憶させておき、これをプロセッサ１０１０が実行するようにしてもよい。さらに、コンピュータ１９００は、各種プログラムやデータを、通信制御装置１４００を介して他の記憶媒体からダウンロードし、実行するようにしてもよい。 Then, when the computer 1900 executes various processes, the corresponding program is read from the storage device 1200 into the RAM 1030 and executed. However, the computer 1900 can also read and execute the program directly from the external storage medium into the RAM 1030 by the storage medium driving device 1300 instead of from the storage device 1200. Further, depending on the computer, various programs and the like may be stored in the ROM 1020 in advance, and the processor 1010 may execute the programs. Further, the computer 1900 may download various programs and data from another storage medium via the communication control device 1400 and execute the programs and data.

通信制御装置１４００は、コンピュータ１９００と他のパーソナルコンピュータやワードプロセッサ等の各種外部電子機器との間をネットワーク接続するための制御装置である。通信制御装置１４００は、これら各種外部電子機器からコンピュータ１９００にアクセスすることを可能とする。 The communication control device 1400 is a control device for connecting the computer 1900 to various external electronic devices such as other personal computers and word processors via a network. The communication control device 1400 makes it possible to access the computer 1900 from these various external electronic devices.

入出力Ｉ／Ｆ１５００は、パラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続するためのインターフェースである。 The input / output I / F 1500 is an interface for connecting various input / output devices via a parallel port, a serial port, a keyboard port, a mouse port, and the like.

なお、プロセッサ１０１０として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）およびＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）等が用いられてもよい。また、これらのうち複数個を並列に用いてもよい。 As the processor 1010, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (field-programmable gate array), a DSP (digital signal processor), an ASIC, etc. may be used. .. Further, a plurality of these may be used in parallel.

特許請求の範囲、明細書、および図面中において示したシステムおよび方法における各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのではない限り、任意の順序で実現しうる。特許請求の範囲、明細書および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。 The execution order of each process in the system and method shown in the claims, the specification, and the drawings is not specified as "before", "prior to", etc., and the order of execution of the previous processes is not specified. It can be achieved in any order unless the output is used in later processing. Even if the scope of claims, the description, and the operation flow in the drawings are explained using "first", "next", etc. for convenience, it means that it is essential to carry out in this order. is not it.

なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
文字情報を取得する取得機能と、
前記文字情報から前記文字情報に対応する図形を含む文字画像を生成する画像生成機能と、
前記文字情報を用いて、前記文字画像にアノテーション情報を付与し、学習用データを生成するアノテーション付与機能と、
をコンピュータに実現させるための画像生成プログラム。
（付記２）
前記画像生成機能は、前記文字情報に関連付けられた描画点情報に基づいて、前記文字画像を生成する機能を含む、
付記１に記載の画像生成プログラム。
（付記３）
前記文字情報は、第１の分類項目に対応する文字情報と、第２の分類項目に対応する文字情報とを有し、
前記第１の分類項目に対応する文字情報は、前記第２の分類項目に対応する文字情報に応じて異なる描画点情報に関連付けられる、
付記２に記載の画像生成プログラム。
（付記４）
撮像された基準文字画像に基づいて前記描画点情報を取得する描画点情報取得機能をさらに前記コンピュータに実現させる、
付記２または３のいずれか一項に記載の画像生成プログラム。
（付記５）
前記文字画像の画素値を変換し、前記文字画像を補正する補正機能をさらに前記コンピュータに実現させ、
前記アノテーション付与機能は、前記文字情報を用いて、補正された前記文字画像にアノテーション情報を付与し、学習用データを生成する機能を含む、
付記１から４のいずれか一項に記載の画像生成プログラム。
（付記６）
文字情報を取得する取得部と、前記文字情報から前記文字情報に対応する図形を含む文字画像を生成する画像生成部と、前記文字情報を用いて、前記文字画像にアノテーション情報を付与し、学習用データを生成するアノテーション付与部とを有する画像生成装置と、
前記画像生成装置により生成された前記学習用データを用いて学習した文字認識モデルを用いて、入力された文字画像に含まれる文字情報を認識する文字認識装置と、
を備える文字認識システム。
（付記７）
前記画像生成部は、前記文字情報に関連付けられた描画点情報に基づいて、前記文字画像を生成する、
付記６に記載の文字認識システム。
（付記８）
文字情報を取得する段階と、
前記文字情報から前記文字情報に対応する図形を含む文字画像を生成する段階と、
前記文字情報を用いて、前記文字画像にアノテーション情報を付与し、学習用データを生成する段階と、
を備える画像生成方法。
（付記９）
文字情報を取得する取得部と、
前記文字情報から前記文字情報に対応する図形を含む文字画像を生成する画像生成部と、
前記文字情報を用いて、前記文字画像にアノテーション情報を付与し、学習用データを生成するアノテーション付与部と、
を備える画像生成装置。
（付記１０）
前記画像生成部は、前記文字情報に関連付けられた描画点情報に基づいて、前記文字画像を生成する、
付記９に記載の画像生成装置。
（付記１１）
文字情報を用いて生成されるアノテーション情報であって、撮像された入力画像に基づいて、前記入力画像に含まれる文字情報を出力する文字認識モデルの学習処理に用いられる、アノテーション情報と、
前記文字情報に関連付けられた描画点情報に基づいて生成される、前記文字情報に対応する図形を含む文字画像であって、前記文字認識モデルの学習処理に用いられる、文字画像と、
を備えるデータ構造。
（付記１２）
撮像された文字画像に基づいて、前記撮像された文字画像に含まれる文字情報を出力する機能をコンピュータに実現させるための学習済みの文字認識モデルであって、
コンピュータが、
文字情報を取得し、
前記文字情報から前記文字情報に対応する図形を含む文字画像を生成し、
前記文字情報を用いて、前記文字画像にアノテーション情報を付与することで学習用データを生成し、
前記学習用データを用いて学習することにより生成された、
文字認識モデル。 The present disclosure is not limited to the above embodiment, and can be appropriately modified without departing from the spirit. In addition, some or all of the above embodiments may be described as in the following appendix, but are not limited to the following.
(Appendix 1)
The acquisition function to acquire character information and
An image generation function that generates a character image including a figure corresponding to the character information from the character information, and
An annotation function that uses the character information to add annotation information to the character image and generate learning data,
An image generation program to realize the above on a computer.
(Appendix 2)
The image generation function includes a function of generating the character image based on the drawing point information associated with the character information.
The image generation program according to Appendix 1.
(Appendix 3)
The character information includes character information corresponding to the first classification item and character information corresponding to the second classification item.
The character information corresponding to the first classification item is associated with different drawing point information according to the character information corresponding to the second classification item.
The image generation program described in Appendix 2.
(Appendix 4)
Further, the computer is realized with a drawing point information acquisition function for acquiring the drawing point information based on the captured reference character image.
The image generation program according to any one of Appendix 2 or 3.
(Appendix 5)
The computer is further provided with a correction function of converting the pixel value of the character image and correcting the character image.
The annotation adding function includes a function of adding annotation information to the corrected character image by using the character information and generating learning data.
The image generation program according to any one of Appendix 1 to 4.
(Appendix 6)
An acquisition unit that acquires character information, an image generation unit that generates a character image including a figure corresponding to the character information from the character information, and the character information are used to add annotation information to the character image for learning. An image generator having an annotating unit that generates data for
A character recognition device that recognizes character information included in an input character image using a character recognition model learned using the learning data generated by the image generation device, and a character recognition device.
Character recognition system with.
(Appendix 7)
The image generation unit generates the character image based on the drawing point information associated with the character information.
The character recognition system according to Appendix 6.
(Appendix 8)
The stage of acquiring text information and
At the stage of generating a character image including a figure corresponding to the character information from the character information, and
At the stage of adding annotation information to the character image using the character information and generating learning data,
An image generation method comprising.
(Appendix 9)
The acquisition unit that acquires character information and
An image generation unit that generates a character image including a figure corresponding to the character information from the character information,
Annotation-giving unit that adds annotation information to the character image using the character information and generates learning data,
An image generator comprising.
(Appendix 10)
The image generation unit generates the character image based on the drawing point information associated with the character information.
The image generator according to Appendix 9.
(Appendix 11)
Annotation information generated using character information, which is used in the learning process of a character recognition model that outputs character information included in the input image based on the captured input image, and annotation information.
A character image including a figure corresponding to the character information, which is generated based on the drawing point information associated with the character information, and is used for the learning process of the character recognition model.
Data structure with.
(Appendix 12)
It is a learned character recognition model for realizing a function of outputting character information included in the captured character image to a computer based on the captured character image.
The computer
Get text information and
A character image including a figure corresponding to the character information is generated from the character information.
Learning data is generated by adding annotation information to the character image using the character information.
Generated by learning using the training data,
Character recognition model.

１ 管理システム、２，３，４ 文字認識システム、６ 撮像装置、７ 管理装置、９ ネットワーク、２０，３０，４０ 画像生成装置、２６ 文字認識装置、１００，２００，２６０ 取得部、１０１，２０１ 画像生成部、１０３，２０３ アノテーション付与部、２０４ 記憶部、２０５ 描画点情報データベース、２０６ 学習用データベース、２６２ 文字認識部、２６４ 出力部、２６６ 学習部、３０８ 描画点情報取得部、４０２ 補正部、４０７ 抽出処理部、Ｔ 陸運支局、Ｃ 分類番号、Ｕ 用途、Ｓ 一連番号、Ｌ 文字領域、Ｐ 区画領域、ＦＭ 書式情報、ＤＲ 描画点情報、１０１０ プロセッサ、１０２０ ＲＯＭ、１０３０ ＲＡＭ、１０５０ 入力装置、１１００ 表示装置、１２００ 記憶装置、１２１０ データ格納部、１２２０ プログラム格納部、１３００ 記憶媒体駆動装置、１４００ 通信制御装置、１５００ 入出力Ｉ／Ｆ、１９００ コンピュータ 1 management system, 2,3,4 character recognition system, 6 imaging device, 7 management device, 9 network, 20,30,40 image generator, 26 character recognition device, 100,200,260 acquisition unit, 101,201 images Generation unit, 103, 203 Annotation unit, 204 Storage unit, 205 Drawing point information database, 206 Learning database, 262 character recognition unit, 264 output unit, 266 learning unit, 308 Drawing point information acquisition unit, 402 Correction unit, 407 Extraction processing unit, T Land Transport Office, C classification number, U usage, S serial number, L character area, P division area, FM format information, DR drawing point information, 1010 processor, 1020 ROM, 1030 RAM, 1050 input device, 1100 Display device, 1200 storage device, 1210 data storage unit, 1220 program storage unit, 1300 storage medium drive device, 1400 communication control device, 1500 input / output I / F, 1900 computer

Claims (10)

文字情報を取得する取得機能と、
前記文字情報から前記文字情報に対応する図形を含む文字画像を生成する画像生成機能と、
前記文字情報を用いて、前記文字画像にアノテーション情報を付与し、学習用データを生成するアノテーション付与機能と、
をコンピュータに実現させるための画像生成プログラム。 The acquisition function to acquire character information and
An image generation function that generates a character image including a figure corresponding to the character information from the character information, and
An annotation function that uses the character information to add annotation information to the character image and generate learning data,
An image generation program to realize the above on a computer. 前記画像生成機能は、前記文字情報に関連付けられた描画点情報に基づいて、前記文字画像を生成する機能を含む、
請求項１に記載の画像生成プログラム。 The image generation function includes a function of generating the character image based on the drawing point information associated with the character information.
The image generation program according to claim 1. 前記文字情報は、第１の分類項目に対応する文字情報と、第２の分類項目に対応する文字情報とを有し、
前記第１の分類項目に対応する文字情報は、前記第２の分類項目に対応する文字情報に応じて異なる描画点情報に関連付けられる、
請求項２に記載の画像生成プログラム。 The character information includes character information corresponding to the first classification item and character information corresponding to the second classification item.
The character information corresponding to the first classification item is associated with different drawing point information according to the character information corresponding to the second classification item.
The image generation program according to claim 2. 撮像された基準文字画像に基づいて前記描画点情報を取得する描画点情報取得機能をさらに前記コンピュータに実現させる、
請求項２または３のいずれか一項に記載の画像生成プログラム。 Further, the computer is realized with a drawing point information acquisition function for acquiring the drawing point information based on the captured reference character image.
The image generation program according to any one of claims 2 or 3. 前記文字画像の画素値を変換し、前記文字画像を補正する補正機能をさらに前記コンピュータに実現させ、
前記アノテーション付与機能は、前記文字情報を用いて、補正された前記文字画像にアノテーション情報を付与し、学習用データを生成する機能を含む、
請求項１から４のいずれか一項に記載の画像生成プログラム。 The computer is further provided with a correction function of converting the pixel value of the character image and correcting the character image.
The annotation adding function includes a function of adding annotation information to the corrected character image by using the character information and generating learning data.
The image generation program according to any one of claims 1 to 4. 文字情報を取得する取得部と、前記文字情報から前記文字情報に対応する図形を含む文字画像を生成する画像生成部と、前記文字情報を用いて、前記文字画像にアノテーション情報を付与し、学習用データを生成するアノテーション付与部とを有する画像生成装置と、
前記画像生成装置により生成された前記学習用データを用いて学習した文字認識モデルを用いて、入力された文字画像に含まれる文字情報を認識する文字認識装置と、
を備える文字認識システム。 An acquisition unit that acquires character information, an image generation unit that generates a character image including a figure corresponding to the character information from the character information, and the character information are used to add annotation information to the character image for learning. An image generator having an annotating unit that generates data for
A character recognition device that recognizes character information included in an input character image using a character recognition model learned using the learning data generated by the image generation device, and a character recognition device.
Character recognition system with. 文字情報を取得する段階と、
前記文字情報から前記文字情報に対応する図形を含む文字画像を生成する段階と、
前記文字情報を用いて、前記文字画像にアノテーション情報を付与し、学習用データを生成する段階と、
を備える画像生成方法。 The stage of acquiring text information and
At the stage of generating a character image including a figure corresponding to the character information from the character information, and
At the stage of adding annotation information to the character image using the character information and generating learning data,
An image generation method comprising. 文字情報を取得する取得部と、
前記文字情報から前記文字情報に対応する図形を含む文字画像を生成する画像生成部と、
前記文字情報を用いて、前記文字画像にアノテーション情報を付与し、学習用データを生成するアノテーション付与部と、
を備える画像生成装置。 The acquisition unit that acquires character information and
An image generation unit that generates a character image including a figure corresponding to the character information from the character information,
Annotation-giving unit that adds annotation information to the character image using the character information and generates learning data,
An image generator comprising. 文字情報を用いて生成されるアノテーション情報であって、撮像された入力画像に基づいて、前記入力画像に含まれる文字情報を出力する文字認識モデルの学習処理に用いられる、アノテーション情報と、
前記文字情報に関連付けられた描画点情報に基づいて生成される、前記文字情報に対応する図形を含む文字画像であって、前記文字認識モデルの学習処理に用いられる、文字画像と、
を備えるデータ構造。 Annotation information generated using character information, which is used in the learning process of a character recognition model that outputs character information included in the input image based on the captured input image, and annotation information.
A character image including a figure corresponding to the character information, which is generated based on the drawing point information associated with the character information, and is used for the learning process of the character recognition model.
Data structure with. 撮像された文字画像に基づいて、前記撮像された文字画像に含まれる文字情報を出力する機能をコンピュータに実現させるための学習済みの文字認識モデルであって、
コンピュータが、
文字情報を取得し、
前記文字情報から前記文字情報に対応する図形を含む文字画像を生成し、
前記文字情報を用いて、前記文字画像にアノテーション情報を付与することで学習用データを生成し、
前記学習用データを用いて学習することにより生成された、
文字認識モデル。 It is a learned character recognition model for realizing a function of outputting character information included in the captured character image to a computer based on the captured character image.
The computer
Get text information and
A character image including a figure corresponding to the character information is generated from the character information.
Learning data is generated by adding annotation information to the character image using the character information.
Generated by learning using the training data,
Character recognition model.
JP2020072831A 2020-04-15 2020-04-15 Image generation program, character recognition system, image generation method, image generation device, and character recognition model Active JP7327810B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020072831A JP7327810B2 (en) 2020-04-15 2020-04-15 Image generation program, character recognition system, image generation method, image generation device, and character recognition model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020072831A JP7327810B2 (en) 2020-04-15 2020-04-15 Image generation program, character recognition system, image generation method, image generation device, and character recognition model

Publications (2)

Publication Number Publication Date
JP2021170213A true JP2021170213A (en) 2021-10-28
JP7327810B2 JP7327810B2 (en) 2023-08-16

Family

ID=78150074

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020072831A Active JP7327810B2 (en) 2020-04-15 2020-04-15 Image generation program, character recognition system, image generation method, image generation device, and character recognition model

Country Status (1)

Country Link
JP (1) JP7327810B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020008556A1 (en) * 2018-07-04 2020-01-09 三菱重工機械システム株式会社 Vehicle number identification device, vehicle number identification method, and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020008556A1 (en) * 2018-07-04 2020-01-09 三菱重工機械システム株式会社 Vehicle number identification device, vehicle number identification method, and program

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TOMAS BJORKLUND RET AL: "Automatic license plate recognition with convolutional neural networks trained on synthetic data", 2017 IEEE 19TH INTERNATIONAL WORKSHOP ON MULTIMEDIA SIGNAL PROCESSING (MMSP), JPN6022030199, 18 October 2017 (2017-10-18), US, ISSN: 0004970759 *
V.RIBEIRO ET AL: "Brazilian Mercosur License Plate Detection: a Deep Learning Approach Relying on Synthetic Imagery", 2019 IX BRAZILIAN SYMPOSIUM ON COMPUTING SYSTEMS ENGINEERING (SBESC), JPN6022030197, 22 November 2019 (2019-11-22), US, ISSN: 0004970758 *
福谷 祐貴 他３名: "機械学習による劣化ナンバープレート数字認識の方法と性能比較", 電子情報通信学会技術研究報告, vol. 112, no. 475, JPN6022030198, 4 March 2013 (2013-03-04), JP, pages 103 - 106, ISSN: 0004834402 *

Also Published As

Publication number Publication date
JP7327810B2 (en) 2023-08-16

Similar Documents

Publication Publication Date Title
US20190304066A1 (en) Synthesis method of chinese printed character images and device thereof
TWI492166B (en) Systems and methods for mobile image capture and processing
US10867171B1 (en) Systems and methods for machine learning based content extraction from document images
CN111695518B (en) Method and device for labeling structured document information and electronic equipment
US20220130160A1 (en) Object recognition method and apparatus, and electronic device and storage medium
CN111415298A (en) Image splicing method and device, electronic equipment and computer readable storage medium
CN108319578B (en) Method for generating medium for data recording
CN111209909B (en) Construction method, device, equipment and storage medium for qualification recognition template
CN111597845A (en) Two-dimensional code detection method, device and equipment and readable storage medium
JP2017120503A (en) Information processing device, control method and program of information processing device
CN115115740A (en) Thinking guide graph recognition method, device, equipment, medium and program product
CN114299478A (en) Image processing method and device combining RPA and AI and electronic equipment
JP2021170213A (en) Image generation program, character recognition system, image generation method, image generation device, data structure and character recognition model
US20220207724A1 (en) Method of determining a distribution of stem cells in a cell image, electronic device, and storage medium
CN113537230B (en) Method and device for determining validity of message issuing mode and electronic equipment
JP5794154B2 (en) Image processing program, image processing method, and image processing apparatus
US20220237397A1 (en) Identifying handwritten signatures in digital images using ocr residues
CN112801960B (en) Image processing method and device, storage medium and electronic equipment
CN114565702A (en) Text image generation method and device and electronic equipment
KR102304511B1 (en) Music applications recorded on computer-readable storage media
CN113591846A (en) Image distortion coefficient extraction method, distortion correction method and system, and electronic device
CN111476090A (en) Watermark identification method and device
JP2007011762A (en) Area extraction apparatus and area extraction method
CN111722771A (en) Image association display method and device and computer readable medium
CN112085025A (en) Object segmentation method, device and equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220922

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230421

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230421

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230727

R151 Written notification of patent or utility model registration

Ref document number: 7327810

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151