JP2022159995A - 画像生成装置 - Google Patents
画像生成装置 Download PDFInfo
- Publication number
- JP2022159995A JP2022159995A JP2022052099A JP2022052099A JP2022159995A JP 2022159995 A JP2022159995 A JP 2022159995A JP 2022052099 A JP2022052099 A JP 2022052099A JP 2022052099 A JP2022052099 A JP 2022052099A JP 2022159995 A JP2022159995 A JP 2022159995A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- identification
- machine learning
- pseudo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010801 machine learning Methods 0.000 claims abstract description 110
- 238000013528 artificial neural network Methods 0.000 claims description 104
- 238000000034 method Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 20
- 239000003086 colorant Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 description 31
- 238000012545 processing Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 240000002627 Cordeauxia edulis Species 0.000 description 2
- 238000007621 cluster analysis Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- 244000194101 Ginkgo biloba Species 0.000 description 1
- 235000008100 Ginkgo biloba Nutrition 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010429 evolutionary process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Character Discrimination (AREA)
Abstract
Description
図1は、本実施形態の画像生成装置1について、その構成の一例を示すブロック図である。以下、図1を用いて、本実施形態の画像生成装置1における好適な構成の一例を説明する。
制御部11は、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)、及びROM(Read Only Memory)等を備えるマイクロコンピュータである。
記憶部12は、データやファイルが記憶される装置であって、ハードディスク、半導体メモリ、記録媒体、及びメモリカード等によって例示される記憶手段の1以上を用いて実現される、データのストレージ部を有する。記憶部12は、ネットワーク10を介してNAS(Network Attached Storage)、SAN(Storage Area Network)、クラウドストレージ、ファイルサーバ及び/又は分散ファイルシステム等の記憶装置又は記憶システムとの接続を可能にする仕組みを有してもよい。
図2は、教師用画像テーブル121の一例を示す図である。教師用画像テーブル121は、第1画像と第2画像との対応付けを識別ニューラルネットワークに機械学習させる処理において教師データ(学習用データとも称する。)となる、文字等情報を用いて生成された第1画像と、該文字等情報を有する対象を撮影した第2画像とを、対応付けたデータを格納するテーブルである。
図3は、生成画像テーブル122の一例を示す図である。生成画像テーブル122は、文字等情報を用いて生成された第1画像と、第1画像を用いて生成部114が生成した第2画像とを関連付けて格納するテーブルである。
識別部115が用いるニューラルネットワークは、第1画像と第2画像との対応付けを識別可能なニューラルネットワークである。識別ニューラルネットワークは、特に限定されず、従来技術のニューラルネットワークでよい。
生成部114が用いる生成ニューラルネットワークは、第1画像を用いて擬似第2画像を生成可能なニューラルネットワークである。生成ニューラルネットワークは、特に限定されず、従来技術のニューラルネットワークでよい。
画像生成装置1は、画像生成装置1の外部の装置との通信を行う通信部13を備えてもよい。画像生成装置1が通信部13を備えることにより、生成した第2画像等を外部の装置に送信できる。画像生成装置1が通信部13を備えることにより、対象を撮影した第2画像を、外部の装置から受信できる。画像生成装置1が通信部13を備えることにより、外部の端末20から画像生成に関する指令を受信し得る。
画像生成装置1は、図1のように、生成した第2画像等を表示可能な表示部14を備えることが好ましい。表示部14は、制御部11に通信可能に接続されている。表示部14の種類は、特に限定されない。表示部14として、例えば、モニタ、タッチパネル、プロジェクタ、外部の装置に生成した第2画像を表示させるビデオカード等が挙げられる。
画像生成装置1は、画像生成装置1を利用する利用者からの入力を可能とする入力部15を備えることが好ましい。入力部15は制御部11に通信可能に接続されている。入力部15の種類は、特に限定されない。入力部15として、例えば、キーボード、マウス、タッチパネル、外部の装置から入力を受信する通信デバイス等が挙げられる。
図4は、画像生成装置1を用いた画像生成処理の好ましい流れの一例を示すフローチャートである。
制御部11は、記憶部12と協働して判断部17を実行し、文字等情報を受信したか否かを判断する(ステップS1)。制御部11は、ステップS1でYesと判断した、つまり、文字等情報を受信したならば、ステップS2に進む。制御部11は、ステップS1でNoと判断した、つまり、文字等情報を受信していないならば、制御部11は、ステップS1の判断を繰り返す。制御部11が、文字等情報を受信したか否かを判別することにより、文字等情報を受信した場合に、ステップS2で実行される第1画像を生成する処理を実行できる。
制御部11は、記憶部12と協働して画像生成部111を実行し、ステップS1で受信した文字等情報を用いて第1画像(モデル)を生成する(ステップS2)。第1画像の対象がナンバープレートであると、第1画像の文字等情報は、地名、分類番号、ひらがな、一連指定番号を含む。これにより、第2画像と同じ種類の情報であり、かつ、文字等情報を有する第1画像を生成できる。必須の態様ではないが、文字等情報を有する対象が立体的形状を有する場合、画像生成部111は、立体的形状を表現した第1画像を生成可能であることが好ましい。
制御部11は、ステップS30において、記憶部12及び識別部115とが協働して、画像取得部112が取得した第2画像を用い、第1画像と第2画像との対応付けの識別を行う。第2画像は、文字等情報を有する対象を撮影した画像である。ここで、「第1画像と第2画像との対応付けの識別」は、第1画像に基づいて、第2画像に含まれる文字等情報を認識すること、を含む。
制御部11は、上記ステップS30において、第1画像と第2画像との対応付けの識別を行うことができる場合と、第1画像と第2画像との対応付けの識別を行うことができない場合とがある。例えば、第2画像が不鮮明であること、または、第2画像の撮影環境の照度が不足していること、第2画像の撮影時の天候が雨天であること、等の場合、第1画像と第2画像との対応付けの識別を行うことができない。そこで、制御部11の判断部17は、ステップS30に次ぐステップS31において、第1画像と第2画像との対応の識別を行えたか否かを判断する。
制御部11は、ステップS31でYesと判断すると、ステップS4に進み、第1画像と第2画像との対応の識別結果を、図2に示す教師用画像テーブル121に格納する。これと併せて、第2画像に付与されている補助データも、図2に示す教師用画像テーブル121に格納できる。一方、制御部11は、ステップS31でNoと判断すると、制御部11は、ステップS5に進む。
制御部11は、記憶部12と協働して識別機械学習部113を実行し、図2に示す教師用画像テーブル121に格納された第1画像と、本物の第2画像と対応付けたデータを用いて、第1画像と第2画像との対応付けの識別を行い、かつ、その識別結果を、識別ニューラルネットワークに教師あり機械学習させる(ステップS4)。ここで、「第1画像と第2画像との対応付けの識別」は、第1画像に基づいて、第2画像に含まれている文字等情報を認識すること、を含む。制御部11は、ステップS4の処理後、ステップS1に戻る。
制御部11は、記憶部12と協働して生成部114を実行し、ステップS2において生成した第1画像と生成ニューラルネットワークとを用いて擬似第2画像を生成し、擬似第2画像と第1画像とを関連付けて生成画像テーブル122に格納する(ステップS5)。ステップS5で実行される処理により、第1画像に基づく擬似第2画像を生成できる。擬似第2画像は、ステップS30で識別部115が認識できなかった第2画像に近似した画像データである。図6(B)には、擬似第2画像60Aの一例が示されている。擬似第2画像60Aは、第2画像60と同様に、文字等情報が表示される領域として、地名表示部61、分類番号表示部62、ひらがな表示部63、一連指定番号表示部64を有する。
制御部11は、記憶部12と協働して識別部115を実行し、識別ニューラルネットワークを用いて、ステップS2で生成された第1画像と、ステップS5で生成された擬似第2画像との対応付けを識別する(ステップS6)。
制御部11は、記憶部12と協働して生成機械学習部116を実行し、ステップS6で行った識別結果を用いて、生成ニューラルネットワークに擬似第2画像の生成を機械学習させる(ステップS7)。つまり、制御部11は、生成部114が生成した擬似第2画像を自己評価及び推論する。制御部11は、ステップS7の処理後、ステップS8に進む。
制御部11は、記憶部12と協働して識別機械学習部113を実行し、識別ニューラルネットワークに、ステップS6で行われた識別結果を、教師なし学習させ(ステップS8)、学習データを改善する。制御部11は、ステップS8の処理後、ステップS1に戻る。
図5は、画像生成部111が、図4のステップS2において行う第1画像を生成する処理の一例を示すフローチャートである。画像生成部111は、文字等情報を拡張して第1画像を生成する。
制御部11は、画像生成部111を実行し、ステップS1で取得した文字等情報を用いて文字等情報を有する画像を生成する(ステップS21)。制御部11は、ステップS21の処理後、ステップS22に進む。これにより、文字等情報を有する画像を生成できる。図5の文字等情報を有する画像I1は、図3の生成画像ID「G0002」に関連付けられた文字等情報「ナンバープレート 那須999 お20-11 白地に緑文字」を用いて生成された画像である。文字等情報を有する画像I1は、「ナンバープレート」によって示される自動車登録番号標を模した配置で文字列「那須999 お20-11」を平面的に表現している。
制御部11は、画像生成部111を実行し、ステップS2で生成した画像を収縮する(ステップS22)。制御部11は、ステップS22の処理後、ステップS23に進む。ステップS22の処理における収縮する画像処理は、画像を構成する処理対象画素それぞれについて、周辺に背景を表現する背景画素がある場合に処理対象画素を背景画素と同様の画素に置き換え、周辺に背景を表現する背景画素がない場合に処理対象画素を置き換えない画像処理である。これにより、文字等情報を有する画像において表現されている文字・記号等の線を細くすることができる。図5の収縮された画像I2は、文字等情報を有する画像I1において表現されている文字・記号等の線を細くした画像となっている。
制御部11は、画像生成部111を実行し、ステップS3で収縮した画像を半透明化する(ステップS23)。制御部11は、ステップS23の処理後、ステップS24に進む。半透明化することにより、ステップS24において半透明化した画像を重畳する処理を実行できる。
制御部11は、画像生成部111を実行し、ステップS23で半透明化した画像と、該半透明化した画像を所定の微小距離移動させた画像の1以上とを重畳する(ステップS24)。制御部11は、ステップS24に次いで、ステップS25の処理を行う。重畳することにより、立体的形状を表現した画像を生成できる。
制御部11は、画像生成部111を実行し、ステップS24で重畳した画像を背景と合成し、色彩等を付与する(ステップS25)。制御部11は、ステップS25の処理後、図5の処理を終了し、図4のステップS3に進む。これにより、立体的形状を表現し、色彩等を有する第1画像を生成できる。
続いて、本実施形態における画像生成装置1の使用例を説明する。
〔教師あり機械学習を行う〕
利用者は、文字、図形、記号若しくは立体的形状若しくはこれらの結合又はこれらと色彩との結合に関する文字等情報を画像生成装置1に提供し、さらに、該文字等情報を有する対象(例えば、自動車のナンバープレート)を撮影した本物の第2画像を画像生成装置1に提供する。画像生成装置1は、文字等情報を用いて第1画像を生成する。
利用者は、文字等情報を画像生成装置1に提供する。画像生成装置1は、文字等情報と生成ニューラルネットワークとを用いて提供された文字等情報を有する対象を模した擬似第2画像を生成する。
画像生成装置1は、生成した擬似第2画像を識別する。利用者は、第1画像と対応し、対象を撮影した第2画像であると識別された擬似第2画像を取得する。このような擬似第2画像は、対象を撮影した本物の第2画像であるように見える画像であるため、機械学習における教師用データとして利用できる。利用者は、第1画像と対応する、対象を撮影した第2画像を取得することもできる。このような第2画像は、対象を撮影した本物の画像であるため、機械学習における教師用データとして利用できる。
11 制御部
14 表示部
15 入力部
17 判断部
111 画像生成部
112 画像取得部
113 識別機械学習部
114 生成部
115 識別部
116 生成機械学習部
12 記憶部
121 教師用画像テーブル
122 生成画像テーブル
13 通信部
I1 文字等情報を有する画像
I2 収縮された画像
I3 半透明化された画像
I4 重畳された画像
Claims (5)
- 文字、図形、記号若しくは立体的形状若しくはこれらの結合又はこれらと色彩との結合に関する文字等情報を用いて第1画像を生成する画像生成部と、
前記文字等情報を有する対象を撮影した第2画像を取得する画像取得部と、
前記第1画像と前記画像取得部が取得した前記第2画像とを用いて、前記第2画像が有する前記文字等情報を識別する第1識別部と、
前記第1識別部により、前記第2画像が有する前記文字等情報を識別できたか否かを判断する判断部と、
前記判断部により、前記第2画像が有する前記文字等情報を識別できた場合に、前記第1識別部が行った識別結果を、識別ニューラルネットワークに機械学習させる識別機械学習部と、
前記判断部により、前記第2画像が有する前記文字等情報を識別できなかった場合に、前記第1画像と生成ニューラルネットワークとを用いて、前記第2画像を模した擬似第2画像を生成する生成部と、
前記識別ニューラルネットワークを用いて、前記第1画像に基づき前記擬似第2画像が有する前記文字等情報を識別する第2識別部と、
前記第2識別部の識別結果を用いて、前記生成ニューラルネットワークに前記擬似第2画像の生成に用いるデータを機械学習させる生成機械学習部と、
を備え、
前記識別機械学習部は、前記第1画像及び前記擬似第2画像を用いて、前記識別ニューラルネットワークに、前記第2識別部の識別結果を機械学習させる、画像生成装置。 - 前記第2識別部は、前記第2画像と前記擬似第2画像とを識別する機能を有し、
前記識別機械学習部は、前記第2識別部が前記第2画像と前記擬似第2画像とを識別した結果を、前記識別ニューラルネットワークに機械学習させる、請求項1に記載の画像生成装置。 - 前記生成部は、前記第2識別部により前記第2画像であると識別される、前記擬似第2画像を生成可能であり、
前記生成機械学習部は、前記第2識別部により前記第2画像であると識別される前記擬似第2画像の生成を、前記生成ニューラルネットワークに機械学習させることが可能である、請求項2に記載の画像生成装置。 - 前記対象は、立体的形状を有し、
前記画像生成部は、立体的形状を表現した前記第1画像を生成可能である、請求項1乃至3の何れか1項記載の画像生成装置。 - 前記対象は、移動体に設けられるナンバープレートを含む、請求項1乃至3の何れか1項記載の画像生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022117384A JP2022160004A (ja) | 2021-04-05 | 2022-07-22 | 画像生成装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021063958 | 2021-04-05 | ||
JP2021063958 | 2021-04-05 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022117384A Division JP2022160004A (ja) | 2021-04-05 | 2022-07-22 | 画像生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7117720B1 JP7117720B1 (ja) | 2022-08-15 |
JP2022159995A true JP2022159995A (ja) | 2022-10-18 |
Family
ID=82847621
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022052099A Active JP7117720B1 (ja) | 2021-04-05 | 2022-03-28 | 画像生成装置 |
JP2022117384A Pending JP2022160004A (ja) | 2021-04-05 | 2022-07-22 | 画像生成装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022117384A Pending JP2022160004A (ja) | 2021-04-05 | 2022-07-22 | 画像生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7117720B1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018060296A (ja) * | 2016-10-03 | 2018-04-12 | グローリー株式会社 | 画像処理装置、画像処理システム及び画像処理方法 |
JP2019046007A (ja) * | 2017-08-31 | 2019-03-22 | 株式会社Pfu | 座標検出装置及び学習済みモデル |
JP2020071859A (ja) * | 2019-04-05 | 2020-05-07 | ニューラルポケット株式会社 | 情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法 |
JP2021005164A (ja) * | 2019-06-25 | 2021-01-14 | 株式会社エクサウィザーズ | 文字認識装置、撮影装置、文字認識方法、および、文字認識プログラム |
-
2022
- 2022-03-28 JP JP2022052099A patent/JP7117720B1/ja active Active
- 2022-07-22 JP JP2022117384A patent/JP2022160004A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018060296A (ja) * | 2016-10-03 | 2018-04-12 | グローリー株式会社 | 画像処理装置、画像処理システム及び画像処理方法 |
JP2019046007A (ja) * | 2017-08-31 | 2019-03-22 | 株式会社Pfu | 座標検出装置及び学習済みモデル |
JP2020071859A (ja) * | 2019-04-05 | 2020-05-07 | ニューラルポケット株式会社 | 情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法 |
JP2021005164A (ja) * | 2019-06-25 | 2021-01-14 | 株式会社エクサウィザーズ | 文字認識装置、撮影装置、文字認識方法、および、文字認識プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7117720B1 (ja) | 2022-08-15 |
JP2022160004A (ja) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10510146B2 (en) | Neural network for image processing | |
US10019631B2 (en) | Adapting to appearance variations when tracking a target object in video sequence | |
US20210081698A1 (en) | Systems and methods for physical object analysis | |
KR101834778B1 (ko) | 교통 표지판 인식장치 및 방법 | |
KR20190069457A (ko) | 이미지 기반 차량 손실 평가 방법, 장치 및 시스템, 및 전자 디바이스 | |
CN107292291A (zh) | 一种车辆识别方法和系统 | |
WO2016157499A1 (ja) | 画像処理装置、物体検知装置、画像処理方法 | |
CN111274916A (zh) | 人脸识别方法和人脸识别装置 | |
CN112862702A (zh) | 图像增强方法、装置、设备及存储介质 | |
CN110281949B (zh) | 一种自动驾驶统一分层决策方法 | |
CN109523570B (zh) | 运动参数计算方法及装置 | |
CN112132753B (zh) | 多尺度结构引导图像的红外图像超分辨率方法及系统 | |
CN113793371A (zh) | 目标分割追踪方法、装置、电子设备和存储介质 | |
WO2021131248A1 (ja) | 物体検索装置及び物体検索方法 | |
CN111652242B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113496472A (zh) | 图像去雾模型构建、道路图像去雾方法、装置及车辆 | |
JP7117720B1 (ja) | 画像生成装置 | |
KR20210007234A (ko) | 이미지 보정 방법 및 이미지 보정 시스템 | |
CN115346270A (zh) | 交警手势识别方法、装置、电子设备及存储介质 | |
CN115147450A (zh) | 基于运动帧差图像的移动目标检测方法及检测装置 | |
CN114757819A (zh) | 一种结构引导的风格偏差校正型风格迁移方法及系统 | |
CN114331791A (zh) | 模型水印生成、模型侵权鉴定方法、装置和计算机设备 | |
Wijaya et al. | Multiview attention for 3D object detection in Lidar point cloud | |
CN114072815A (zh) | 用于人工神经网络的更稳健训练 | |
CN112288806B (zh) | 物体空间关系的识别方法、装置和训练方法、装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220418 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220706 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220722 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7117720 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |