JP2019200485A - 出力装置、出力方法、出力プログラム及び出力システム - Google Patents
出力装置、出力方法、出力プログラム及び出力システム Download PDFInfo
- Publication number
- JP2019200485A JP2019200485A JP2018093284A JP2018093284A JP2019200485A JP 2019200485 A JP2019200485 A JP 2019200485A JP 2018093284 A JP2018093284 A JP 2018093284A JP 2018093284 A JP2018093284 A JP 2018093284A JP 2019200485 A JP2019200485 A JP 2019200485A
- Authority
- JP
- Japan
- Prior art keywords
- image
- output
- information
- intervention
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 94
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000013528 artificial neural network Methods 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims description 68
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 32
- 238000004364 calculation method Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 9
- 230000010365 information processing Effects 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
Description
まず、図1を用いて、実施形態に係る出力処理の一例について説明する。図1は、実施形態に係る出力処理の一例を示す図である。図1では、実施形態に係る出力装置100が、画像を出力するニューラルネットワークとして学習されたモデルに、処理対象となる画像(以下、区別のため「第1画像」と称する場合がある)を入力し、実施形態に係る出力処理により、モデルの出力層から画像(以下、区別のため「第2画像」と称する場合がある)を出力する例について説明する。
次に、図3を用いて、実施形態に係る出力システム1の構成について説明する。図3は、実施形態に係る出力システム1の構成例を示す図である。図3に示すように、出力システム1は、入力デバイス10と、出力デバイス20と、表示制御装置30と、出力装置100とを含む。出力システム1に含まれる各装置は、通信ネットワークであるネットワークN(例えば、インターネット)を介して有線または無線により通信可能に接続される。なお、図3に示す出力システム1に含まれる各装置の数は図示したものに限られない。例えば、出力システム1には、複数台の入力デバイス10が含まれてもよい。
次に、図4を用いて、実施形態に係る出力装置100の構成について説明する。図4は、実施形態に係る出力装置100の構成例を示す図である。図4に示すように、出力装置100は、通信部110と、記憶部120と、制御部130とを有する。なお、出力装置100は、出力装置100を利用する管理者等から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を出力するための出力部(例えば、液晶ディスプレイ等)を有してもよい。
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。通信部110は、ネットワークNと有線又は無線で接続され、ネットワークNを介して、入力デバイス10や、出力デバイス20や、表示制御装置30との間で情報の送受信を行う。
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部120は、モデル記憶部121と、画像記憶部122とを有する。
モデル記憶部121は、出力装置100が保持するモデルに関する情報を記憶する。ここで、図5に、実施形態に係るモデル記憶部121の一例を示す。図5は、実施形態に係るモデル記憶部121の一例を示す図である。図5に示すように、モデル記憶部121は、「モデルID」、「入力データ」、「接続係数」、「出力データ」といった項目を有する。
画像記憶部122は、モデルに入力される画像の情報を記憶する。ここで、図6に、実施形態に係る画像記憶部122の一例を示す。図6は、実施形態に係る画像記憶部122の一例を示す図である。図6に示すように、画像記憶部122は、「画像ID」、「画素数」、「色情報」といった項目を有する。
図4に戻って説明を続ける。制御部130は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、出力装置100内部の記憶装置に記憶されている各種プログラム(出力プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部130は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
取得部131は、種々の情報を取得する。例えば、取得部131は、実施形態に係る出力処理を実行するための学習済みモデルを取得する。取得部131は、取得したモデルをモデル記憶部121に格納する。
入力部132は、画像を出力するニューラルネットワークとして学習され、生成されたモデルに、処理対象である第1画像を入力する。実施形態では、入力部132は、第1画像として、ユーザの顔を撮像した顔画像をモデルに入力する。
算出部133は、入力部132によってモデルに入力された情報(すなわち、各ノード)に接続係数を乗じて、次段の中間層に対応するノードの値を算出する。例えば、算出部133は、次段の中間層のノードの値として、当該ノードに接続された前段の各ノードの値と、互いに接続されたノード間のエッジの接続係数とを乗じて、各ノードの値の合計値を算出する。さらに、算出部133は、算出した合計値を所定の活性化関数に入力し、次段のノードに対応する値を算出する。
中間出力部134は、第1画像が入力されたモデルの中間層における画像である中間画像を出力する。具体的には、中間出力部134は、中間層の各ノードの値に基づいて中間画像を生成し、生成した中間画像を出力する。
受付部135は、中間画像に対する介入処理を反映させた情報である介入情報を受け付ける。具体的には、受付部135は、中間画像に対するユーザの介入処理を受け付けた表示制御装置30を介して、当該介入処理を示す介入情報を受け付ける。
結果出力部136は、受付部135によって受け付けられた介入情報に基づいて、モデルの出力層から第2画像を出力する。具体的には、結果出力部136は、受付部135によって受け付けられた介入情報に基づく演算が算出部133により行われた結果、出力層に対応するノードの情報を取得する。そして、結果出力部136は、出力層のノードに基づいて、モデルの演算結果となる第2画像を出力する。例えば、結果出力部136は、出力デバイス20に表示可能な形式の画素数や色情報が設定された画像データとして、第2画像を出力する。
次に、図7を用いて、実施形態に係る表示制御装置30の構成について説明する。図7は、実施形態に係る表示制御装置30の構成例を示す図である。図7に示すように、表示制御装置30は、通信部31と、記憶部33と、制御部32とを有する。なお、表示制御装置30は、表示制御装置30を利用する管理者等から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を出力するための出力部(例えば、液晶ディスプレイ等)を有してもよい。
通信部31は、例えば、NIC等によって実現される。通信部31は、ネットワークNと有線又は無線で接続され、ネットワークNを介して、入力デバイス10や、出力デバイス20や、出力装置100との間で情報の送受信を行う。
記憶部33は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部33は、中間画像記憶部34と、介入情報記憶部35とを有する。
中間画像記憶部34は、出力装置100から送信された中間画像を記憶する。図8に、実施形態に係る中間画像記憶部34の一例を示す。図8は、実施形態に係る中間画像記憶部34の一例を示す図である。図8に示すように、中間画像記憶部34は、「中間画像ID」、「画素数」、「色情報」といった項目を有する。
介入情報記憶部35は、介入情報を記憶する。ここで、図9に、実施形態に係る介入情報記憶部35の一例を示す。図9は、実施形態に係る介入情報記憶部35の一例を示す図である。図9に示すように、介入情報記憶部35は、「介入情報ID」、「欠落箇所情報」といった項目を有する。
図7に戻って説明を続ける。制御部32は、コントローラであり、例えば、CPUやMPU等によって、表示制御装置30内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部32は、コントローラであり、例えば、ASICやFPGA等の集積回路により実現される。
受信部36は、各種情報を受信する。例えば、受信部36は、出力装置100から中間画像に関する情報を受信する。具体的には、受信部36は、中間画像を構成する画素に関する情報(画素数や色情報等)を受信する。受信部36は、受信した中間画像を中間画像記憶部34に格納する。
表示制御部37は、出力装置100に係る中間出力部134によって出力された中間画像を、任意の表示装置(実施形態では出力デバイス20)に表示する。
生成部38は、表示制御部37によって表示された中間画像に対する介入処理に基づいて、介入情報を生成する。具体的には、生成部38は、中間画像においてユーザから介入処理を受け付けた画素の座標情報を特定し、特定した座標情報を示した介入情報を生成する。生成部38は、生成した介入情報を介入情報記憶部35に格納する。
送信部39は、各種情報を送信する。例えば、送信部39は、生成部38が生成した介入情報を出力装置100に送信する。
次に、図15を用いて、実施形態に係る出力装置100による処理の手順について説明する。図15は、実施形態に係る処理手順を示すフローチャートである。
上述した実施形態に係る出力システム1は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、上記の出力システム1に含まれる各装置の他の実施形態について説明する。
上記実施形態では、出力装置100が、中間画像を表示制御装置30に出力し、表示制御装置30を介して介入情報を受け付ける例を示した。ここで、これらの処理は、出力装置100のみによって行われてもよい。
出力システム1に含まれる各装置は、様々な変形例により実現されてもよい。例えば、出力システム1は、ユーザを撮像するカメラ50を制御するための撮影用PCを備えてもよい。出力装置100は、モデルの出力結果である第2画像を表示するディスプレイを備えてもよい。この場合、出力装置100は、ノートPCやタブレット等、表示装置としての機能を兼ねる情報処理端末によって実現される。
上記実施形態では、介入処理として、ユーザによるタッチ操作や、カメラによって撮像される画像情報等の例を示した。しかし、介入処理は、中間画像に対して行われる種々のユーザの操作や、あるいは、ユーザの発する音声による音声データ等であってもよい。
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
また、上述してきた実施形態に係る出力装置100や、入力デバイス10や、出力デバイス20や、表示制御装置30等は、例えば図17に示すような構成のコンピュータ1000によって実現される。以下、出力装置100を例として説明する。図17は、出力装置100の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
上述してきたように、実施形態に係る出力装置100は、入力部132と、中間出力部134と、受付部135と、結果出力部136とを有する。入力部132は、画像を出力するニューラルネットワークであるモデルに、処理対象である第1画像を入力する。中間出力部134は、第1画像が入力されたモデルの中間層における画像である中間画像を出力する。受付部135は、中間画像に対する介入処理を反映させた情報である介入情報を受け付ける。結果出力部136は、受付部135によって受け付けられた介入情報に基づいて、モデルの出力層から第2画像を出力する。
10 入力デバイス
20 出力デバイス
30 表示制御装置
100 出力装置
110 通信部
120 記憶部
121 モデル記憶部
122 画像記憶部
123 中間画像記憶部
124 介入情報記憶部
130 制御部
131 取得部
132 入力部
133 算出部
134 中間出力部
135 受付部
136 結果出力部
137 表示制御部
138 生成部
Claims (10)
- 画像を出力するニューラルネットワークであるモデルに、処理対象である第1画像を入力する入力部と、
前記第1画像が入力されたモデルの中間層における画像である中間画像を出力する中間出力部と、
前記中間画像に対する介入処理を反映させた情報である介入情報を受け付ける受付部と、
前記受付部によって受け付けられた介入情報に基づいて、前記モデルの出力層から第2画像を出力する結果出力部と、
を備えたことを特徴とする出力装置。 - 前記中間出力部は、
前記第1画像が入力されたモデルの第1中間層における画像である第1中間画像を出力し、その後、前記受付部によって前記第1中間画像に対する介入処理を反映させた第1介入情報が受け付けられた場合には、当該第1介入情報が入力されたモデルの次段の中間層における画像である第2中間画像を出力する、
ことを特徴とする請求項1に記載の出力装置。 - 前記受付部は、
前記中間画像に対する介入処理によって当該中間画像の一部又は全部の情報を欠落させた情報である前記介入情報を受け付ける、
ことを特徴とする請求項1又は2に記載の出力装置。 - 前記中間出力部によって出力された中間画像を表示装置に表示する表示制御部と、
前記表示制御部によって表示された中間画像に対する介入処理に基づいて、前記介入情報を生成する生成部と、
をさらに備え、
前記受付部は、
前記生成部によって生成された前記介入情報を受け付ける、
ことを特徴とする請求項1〜3のいずれか一つに記載の出力装置。 - 前記生成部は、
前記中間画像が表示された表示装置に対するユーザの選択操作に基づいて、当該中間画像において選択された箇所の情報を欠落させた前記介入情報を生成する、
ことを特徴とする請求項4に記載の出力装置。 - 前記生成部は、
前記表示装置に設置された撮像装置を制御して生成される2値化情報と、前記表示装置に表示された中間画像とに基づいて、当該中間画像の一部又は全部の情報を欠落させた前記介入情報を生成する、
ことを特徴とする請求項4又は5に記載の出力装置。 - 前記表示制御部は、
前記生成部によって生成された前記介入情報を前記中間画像に反映させた画像である介入画像を前記表示装置に表示する、
ことを特徴とする請求項4〜6のいずれか一つに記載の出力装置。 - コンピュータが実行する出力方法であって、
画像を出力するニューラルネットワークであるモデルに、処理対象である第1画像を入力する入力工程と、
前記第1画像が入力されたモデルの中間層における画像である中間画像を出力する中間出力工程と、
前記中間画像に対する介入処理を反映させた情報である介入情報を受け付ける受付工程と、
前記受付工程によって受け付けられた介入情報に基づいて、前記モデルの出力層から第2画像を出力する結果出力工程と、
を含んだことを特徴とする出力方法。 - 画像を出力するニューラルネットワークであるモデルに、処理対象である第1画像を入力する入力手順と、
前記第1画像が入力されたモデルの中間層における画像である中間画像を出力する中間出力手順と、
前記中間画像に対する介入処理を反映させた情報である介入情報を受け付ける受付手順と、
前記受付手順によって受け付けられた介入情報に基づいて、前記モデルの出力層から第2画像を出力する結果出力手順と、
をコンピュータに実行させることを特徴とする出力プログラム。 - 出力装置と、表示制御装置とを有する出力システムであって、
前記出力装置は、
画像を出力するニューラルネットワークであるモデルに、処理対象である第1画像を入力する入力部と、
前記第1画像が入力されたモデルの中間層における画像である中間画像を出力する中間出力部と、を備え、
前記表示制御装置は、
前記中間出力部によって出力された中間画像を表示装置に表示する表示制御部と、
前記表示制御部によって表示された中間画像に対する介入処理を反映させた情報である介入情報を生成する生成部と、を備え、
前記出力装置は、さらに、
前記生成部によって生成された前記介入情報を受け付ける受付部と、
前記受付部によって受け付けられた介入情報に基づいて、前記モデルの出力層から第2画像を出力する結果出力部と、
を備えることを特徴とする出力システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018093284A JP6985977B2 (ja) | 2018-05-14 | 2018-05-14 | 出力装置、出力方法、出力プログラム及び出力システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018093284A JP6985977B2 (ja) | 2018-05-14 | 2018-05-14 | 出力装置、出力方法、出力プログラム及び出力システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019200485A true JP2019200485A (ja) | 2019-11-21 |
JP6985977B2 JP6985977B2 (ja) | 2021-12-22 |
Family
ID=68612126
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018093284A Active JP6985977B2 (ja) | 2018-05-14 | 2018-05-14 | 出力装置、出力方法、出力プログラム及び出力システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6985977B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7320809B1 (ja) * | 2022-10-18 | 2023-08-04 | 株式会社サマデイ | Aiサーバ用インターフェースシステム、及び非認知スキルブラッシュアップシステム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012108950A (ja) * | 2005-05-07 | 2012-06-07 | Stephen L Thaler | 有用な情報を自律的にブートストラッピングする装置 |
WO2017073000A1 (ja) * | 2015-10-29 | 2017-05-04 | 株式会社Preferred Networks | 情報処理装置及び情報処理方法 |
JP2017211939A (ja) * | 2016-05-27 | 2017-11-30 | ヤフー株式会社 | 生成装置、生成方法、及び生成プログラム |
-
2018
- 2018-05-14 JP JP2018093284A patent/JP6985977B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012108950A (ja) * | 2005-05-07 | 2012-06-07 | Stephen L Thaler | 有用な情報を自律的にブートストラッピングする装置 |
WO2017073000A1 (ja) * | 2015-10-29 | 2017-05-04 | 株式会社Preferred Networks | 情報処理装置及び情報処理方法 |
JP2017211939A (ja) * | 2016-05-27 | 2017-11-30 | ヤフー株式会社 | 生成装置、生成方法、及び生成プログラム |
US20170345196A1 (en) * | 2016-05-27 | 2017-11-30 | Yahoo Japan Corporation | Generating apparatus, generating method, and non-transitory computer readable storage medium |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7320809B1 (ja) * | 2022-10-18 | 2023-08-04 | 株式会社サマデイ | Aiサーバ用インターフェースシステム、及び非認知スキルブラッシュアップシステム |
JP7320810B1 (ja) * | 2022-10-18 | 2023-08-04 | 株式会社サマデイ | Aiサーバ用インターフェースシステム |
WO2024084995A1 (ja) * | 2022-10-18 | 2024-04-25 | 株式会社サマデイ | Aiサーバ用インターフェースシステム、及び非認知スキルブラッシュアップシステム |
WO2024084996A1 (ja) * | 2022-10-18 | 2024-04-25 | 株式会社サマデイ | Aiサーバ用インターフェースシステム |
Also Published As
Publication number | Publication date |
---|---|
JP6985977B2 (ja) | 2021-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111340711B (zh) | 一种超分辨率重建方法、装置、设备和存储介质 | |
KR102079091B1 (ko) | 단말기 및 그것의 이미지 처리 방법 | |
KR102538164B1 (ko) | 이미지 처리 방법 및 장치, 전자 장치 및 기억 매체 | |
JP6501501B2 (ja) | 情報処理装置、情報処理方法、情報処理システム及びプログラム | |
KR101975906B1 (ko) | 영상 표시 장치에서 응용 프로그램의 레이아웃을 스케일링하기 위한 장치 및 방법 | |
CN106682632B (zh) | 用于处理人脸图像的方法和装置 | |
KR20230004880A (ko) | Ar/vr 디지털 콘텐츠를 생성하기 위한 디지털 이미지 적합성 결정 | |
JP2021526698A (ja) | 画像生成方法および装置、電子機器、並びに記憶媒体 | |
CN108898549B (zh) | 图片处理方法、图片处理装置及终端设备 | |
CN108205581A (zh) | 生成数字媒介环境中的紧凑视频特征表示 | |
US11385526B2 (en) | Method of processing image based on artificial intelligence and image processing device performing the same | |
JP2017010475A (ja) | プログラム生成装置、プログラム生成方法および生成プログラム | |
JP2015012304A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP2021056785A (ja) | 画像認識システム、撮像装置、認識装置及び画像認識方法 | |
CN110766610B (zh) | 一种超分辨率图像的重建方法及电子设备 | |
JP6249752B2 (ja) | 画像処理装置、画像処理方法およびプログラム。 | |
JP2019200485A (ja) | 出力装置、出力方法、出力プログラム及び出力システム | |
JP2007034724A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US9922408B2 (en) | Image filter | |
JP5513960B2 (ja) | 画像処理装置 | |
JP2022046219A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、学習方法、学習装置、学習プログラム | |
JP6143199B2 (ja) | 画像補正装置、画像補正方法、及びプログラム | |
CN109949226A (zh) | 一种图像处理方法及计算设备 | |
JP6208910B1 (ja) | 動画像処理装置、動画像処理システム、動画像処理方法及び動画像処理プログラム | |
US20220335250A1 (en) | Methods and apparatuses for fine-grained style-based generative neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20180601 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191101 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191108 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200819 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210803 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211001 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211102 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211126 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6985977 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |