JP2019140459A - 表示情報作成装置、情報処理装置、撮影システムおよびプログラム - Google Patents
表示情報作成装置、情報処理装置、撮影システムおよびプログラム Download PDFInfo
- Publication number
- JP2019140459A JP2019140459A JP2018020237A JP2018020237A JP2019140459A JP 2019140459 A JP2019140459 A JP 2019140459A JP 2018020237 A JP2018020237 A JP 2018020237A JP 2018020237 A JP2018020237 A JP 2018020237A JP 2019140459 A JP2019140459 A JP 2019140459A
- Authority
- JP
- Japan
- Prior art keywords
- shooting
- range
- camera
- display information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Studio Devices (AREA)
Abstract
Description
しかしながら、複数の画像について、撮影箇所や異なる撮影角度は画像を一見しただけではわかりづらいため、ユーザは、何れの画像を選択するべきかを判断をすることが困難である場合がある。
本発明は、複数の撮影装置により複数の画像を撮影したときでも、それぞれの撮影装置の撮影箇所や撮影角度を容易に把握することができ、画像の選択がより容易になる表示情報作成装置等を提供する。
請求項2に記載の発明は、前記作成手段は、前記撮影装置の視野角を表す線をさらに表示する表示情報を作成することを特徴とする請求項1に記載の表示情報作成装置である。
請求項3に記載の発明は、前記作成手段は、複数の前記撮影装置の位置をさらに表示する表示情報を作成することを特徴とする請求項2に記載の表示情報作成装置である。
請求項4に記載の発明は、前記作成手段は、前記撮影装置が撮影した画像上に前記3次元配置を重畳させて前記表示情報を作成することを特徴とする請求項2に記載の表示情報作成装置である。
請求項5に記載の発明は、複数の前記撮影装置のうち前記表示装置で前記3次元配置を表示する撮影装置を選択する選択手段をさらに備えることを特徴とする請求項1に記載の表示情報作成装置である。
請求項6に記載の発明は、前記選択手段で選択した前記撮影装置が撮影した画像に切り換える切換手段をさらに備えることを特徴とする請求項5に記載の表示情報作成装置である。
請求項7に記載の発明は、複数の撮影装置の撮影条件を取得する撮影条件取得手段と、前記撮影条件を基に、前記撮影装置の撮影範囲を求める撮影範囲導出手段と、前記撮影装置の視野角の範囲を求める視野角範囲導出手段と、を備える情報処理装置である。
請求項8に記載の発明は、複数の撮影装置の撮影条件を取得する撮影条件取得手段と、前記撮影条件を基に、前記撮影装置の撮影範囲を求める撮影範囲導出手段と、前記撮影範囲の情報を基に、当該撮影範囲を3次元空間中で見たときの当該撮影範囲の3次元配置を求める配置導出手段と、前記3次元配置を表示する表示装置に対する表示情報を作成する作成手段と、を備える撮影システムである。
請求項9に記載の発明は、コンピュータに、複数の撮影装置について各撮影装置の撮影範囲の情報を取得する撮影範囲取得機能と、前記撮影範囲の情報を基に、当該撮影範囲を3次元空間中で見たときの当該撮影範囲の3次元配置を求める配置導出機能と、前記3次元配置を表示する表示装置に対する表示情報を作成する作成機能と、を実現させるためのプログラムである。
請求項2の発明によれば、撮影範囲についてさらに具体的に把握することができる。
請求項3の発明によれば、撮影装置と撮影範囲との関係を具体的に把握することができる。
請求項4の発明によれば、撮影装置が撮影した画像上で撮影範囲を具体的に把握することができる。
請求項5の発明によれば、複数の撮影装置が撮影した画像の中から、ユーザが見たい画像を選ぶことができる。
請求項6の発明によれば、ユーザが見たい画像を選択的に表示することができる。
請求項7の発明によれば、複数の撮影装置により複数の画像を撮影したときでも、それぞれの撮影装置の撮影箇所や撮影角度を導出する情報処理装置を提供することができる。
請求項8の発明によれば、複数の撮影装置により複数の画像を撮影したときでも、それぞれの撮影装置の撮影箇所や撮影角度を容易に把握することができ、画像の選択がより容易になる撮影システムを提供することができる。
請求項9の発明によれば、複数の撮影装置により複数の画像を撮影したときでも、それぞれの撮影装置の撮影箇所や撮影角度を容易に把握することができ、画像の選択がより容易になる機能をコンピュータにより実現できる。
図1は、本実施の形態における撮影システム1の構成例を示す図である。
図示するように本実施の形態の撮影システム1は、複数のカメラ40の撮影範囲を求めるサーバ10と、表示情報を作成する端末装置20と、端末装置20で作成された表示情報を基に画像を表示する表示装置30と、予め定められた面S上の予め定められた範囲を撮影する複数のカメラ40とを備える。
また情報処理装置10は、外部との通信を行なうための通信インタフェースや入力手段を備える。入力手段は、キーボードやマウス等で構成される。入力手段は、本実施の形態に関するアプリケーションソフトウェアの起動、終了や、ユーザが指示を入力するのに使用する。
光学系は、単一のレンズまたは複数のレンズを組み合わせて構成される。光学系は、レンズの組み合わせおよびレンズ表面に施されたコーティング等により、各種の収差が除去されている。イメージセンサは、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を配列して構成される。
端末装置20および表示装置30は、例えば、DVI(Digital Visual Interface)を介して接続されている。なお、DVIに代えて、HDMI(登録商標)(High-Definition Multimedia Interface)やDisplayPort等を介して接続するようにしてもかまわない。
またサーバ10とカメラ40とは、例えば、USB(Universal Serial Bus)を介して接続されている。なお、USBに代えて、IEEE1394やRS−232C等を介して接続されていてもよい。ただしこれに限られるものではなく、無線LAN(Local Area Network)、ブルートゥース(Bluetooth)(登録商標)等の無線接続であってもよい。
まず複数のカメラ40が、それぞれ撮影対象を撮影する。この撮影対象は、図1の例では、物を組み立てている作業の画像である。撮影した撮影情報は、サーバ10に送られ、保存される。サーバ10では、複数のカメラ40の撮影に関する情報を取得し、これによりそれぞれのカメラ40の撮影範囲を求める。そして端末装置20では、サーバ10で求められた撮影範囲を基に撮影範囲の3次元範囲を求める。さらに端末装置20は、この撮影範囲の3次元範囲を表示する表示情報を作成する。この表示情報は、表示装置30に送られ表示される。またユーザは、表示装置30に表示された画面を見て、端末装置20の入力手段を操作し、ユーザが見たい撮影範囲を撮影するカメラ40を選択することができる。これによりユーザが希望する撮影範囲で撮影された撮影対象の画像情報が、サーバ10からダウンロードされ、表示装置30に表示される。
図示するように本実施の形態のサーバ10は、カメラ40から画像情報を取得するサーバ側取得手段110と、カメラ40の撮影範囲を求める撮影範囲導出手段120と、カメラ40の視野角の範囲を求める視野角範囲導出手段130と、画像情報、撮影範囲および視野角の範囲を保存する保存手段140とを備える。
図3(a)〜(c)は、作成手段240が作成する表示情報を実際に表示装置30の表示画面30aに表示した例について示した図である。図3(a)〜(c)のそれぞれは、3台のカメラ40についての表示情報を表示装置30に表示した例を示している。
このうち図3(a)は、作成手段240が作成したカメラ40の3次元配置を表示する表示情報を基に、3台のカメラ40のうちカメラIDが1のカメラ40aについて、撮影範囲R1の3次元配置を表示した場合を示している。この撮影範囲R1は、図示するように四角形状であり、予め定められた面S上の一部である。
次に撮影システム1の動作の説明を行なう。
ここでは、まず撮影システム1のうちサーバ10の動作について説明する。なおここでは、カメラ40はN台あるものとする。
まずサーバ側取得手段110が、複数のカメラ40についての画像情報および撮影条件を取得する(ステップ101)。
そしてサーバ側取得手段110は、撮影条件を画像情報のメタデータとして関連付けをし、これらを保存手段140に保存する(ステップ102)。
そして撮影範囲導出手段120は、撮影条件を基にカメラ40の撮影範囲を求める(ステップ104)。
さらに視野角範囲導出手段130が、撮影条件を基にカメラ40の視野角の範囲を求める(ステップ105)。
この撮影範囲および視野角の範囲は、保存手段140に保存される(ステップ106)。
その結果、nがN未満であった場合(ステップ107でYes)、撮影範囲導出手段120は、nに1を加え(ステップ108)、ステップ103に戻る。
対してnがN未満でなかった場合(ステップ107でNo)、一連の処理を終了する。
ここでは、まず端末装置20の動作の第1の実施形態について説明する。第1の実施形態では、ユーザがカメラ40をまず選択し、選択したカメラ40について撮影範囲を表示する場合について説明を行なう。
まず端末側取得手段210が、サーバ10の保存手段140から、複数のカメラ40についての撮影範囲および視野角の範囲を取得する(ステップ201)。
次にユーザ指示受付手段220が、何れのカメラ40を選択するかの選択情報を取得する(ステップ202)。「選択情報」は、ユーザが選択したカメラ40を表す情報である。選択情報は、例えば、カメラIDの情報である。
そして配置導出手段230が、撮影範囲の情報を基に、撮影範囲を空間中で見たときの3次元配置を求める(ステップ203)。
この画像情報は、出力手段250が、表示装置30に送る(ステップ207)。その結果、表示装置30では、選択されたカメラ40の画像が表示される。
そして画像情報が静止画ではなく、かつ動画であってもそれが終了していない場合(ステップ208でNo)、ステップ207に戻る。
対して、画像情報が静止画であるか、動画であってもそれが終了した場合(ステップ208でYes)、一連の処理を終了する。
このうち図6(a)は、表示情報としてカメラIDが1のカメラ40aについての撮影範囲の3次元配置を表示した場合を示している。
図示するように、図3(a)と同様のカメラ40aの撮影範囲R1およびカメラ40aの視野角を表す線L1が表示されている。またここでは、付加表示情報として、カメラ40aの位置や、カメラ40aの視野角を表す線L1のみならず、背景として、共通する領域である面Sを実際に撮影した実体の画像Jとしている。そしてこのカメラ40aが撮影した画像である実体の画像J上にカメラ40aの撮影範囲R1の3次元配置を重畳させている。この実体の画像Jは、複数のカメラ40が共通で撮影する領域であり、撮影領域全体を見渡せる画像であることが好ましい。
図6(b)についても図6(a)と同様に、カメラ40bの撮影範囲R2とともに、面S、カメラ40bの位置およびカメラ40bの視野角を表す線L2が表示されている。そして実体の画像Jをカメラ40bの撮影範囲R2の3次元配置と重畳させている。
図6(c)についても図6(a)と同様に、カメラ40cの撮影範囲R3とともに、面S、カメラ40cの位置およびカメラ40cの視野角を表す線L3が表示されている。そして実体の画像Jをカメラ40cの撮影範囲R3の3次元配置と重畳させている。
次に、端末装置20の動作の第2の実施形態について説明する。第2の実施形態では、まず複数のカメラ40の撮影範囲を表示し、それからユーザがカメラ40を選択する場合について説明を行なう。
まず端末側取得手段210が、サーバ10の保存手段140から、複数のカメラ40についての撮影範囲および視野角の範囲を取得する(ステップ301)。
次に配置導出手段230が、撮影範囲の情報を基に、複数のカメラ40について、撮影範囲を空間中で見たときの3次元配置を求める(ステップ302)。つまり使用されている全てのカメラ40について撮影範囲の3次元配置を求める。
図示するように画像G1〜画像G3には、図6(a)〜図6(c)に図示した撮影範囲R1〜R3が表示される。そして画像G1〜画像G3のうち何れかをマウス等の入力手段でクリック等を行なうことにより選択すると、撮影範囲R1〜R3の何れかの画像G4が表示される。ここでは、画像G1を選択してカメラ40aを選択し、カメラ40aにより撮影した撮影範囲R1における画像を画像G4として表示した例を示している。
図9は、各々のカメラ40の撮影範囲R1〜R4を1つの画面で表示させた場合を示した図である。この場合、共通する領域である面Sに対し、各々の撮影範囲R1〜R4を重畳させて表示する。即ち、図示するように、カメラ40aの撮影範囲R1、カメラ40bの撮影範囲R2、カメラ40cの撮影範囲R3、およびカメラ40dの撮影範囲R4のそれぞれの3次元配置を1つの画面で重畳させて表示している。これによりユーザは、それぞれのカメラ40の撮影範囲の位置関係の差異についてより把握しやすくなる。
また例えば、製品の組立て工程を、種々の角度や撮影範囲からカメラ40により予め撮影して録画しておき、ユーザが、製品の組立て工程を学習や確認をしたい場合に使用することができる。この場合、ユーザは、複数のカメラ40の撮影範囲の3次元配置を見て、確認したい領域や角度等を撮影領域とするカメラ40を選択する。
ここで以上説明を行った本実施の形態におけるサーバ10が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。
Claims (9)
- 複数の撮影装置について各撮影装置の撮影範囲の情報を取得する撮影範囲取得手段と、
前記撮影範囲の情報を基に、当該撮影範囲を3次元空間中で見たときの当該撮影範囲の3次元配置を求める配置導出手段と、
前記3次元配置を表示する表示装置に対する表示情報を作成する作成手段と、
を備える表示情報作成装置。 - 前記作成手段は、前記撮影装置の視野角を表す線をさらに表示する表示情報を作成することを特徴とする請求項1に記載の表示情報作成装置。
- 前記作成手段は、複数の前記撮影装置の位置をさらに表示する表示情報を作成することを特徴とする請求項2に記載の表示情報作成装置。
- 前記作成手段は、前記撮影装置が撮影した画像上に前記3次元配置を重畳させて前記表示情報を作成することを特徴とする請求項2に記載の表示情報作成装置。
- 複数の前記撮影装置のうち前記表示装置で前記3次元配置を表示する撮影装置を選択する選択手段をさらに備えることを特徴とする請求項1に記載の表示情報作成装置。
- 前記選択手段で選択した前記撮影装置が撮影した画像に切り換える切換手段をさらに備えることを特徴とする請求項5に記載の表示情報作成装置。
- 複数の撮影装置の撮影条件を取得する撮影条件取得手段と、
前記撮影条件を基に、前記撮影装置の撮影範囲を求める撮影範囲導出手段と、
前記撮影装置の視野角の範囲を求める視野角範囲導出手段と、
を備える情報処理装置。 - 複数の撮影装置の撮影条件を取得する撮影条件取得手段と、
前記撮影条件を基に、前記撮影装置の撮影範囲を求める撮影範囲導出手段と、
前記撮影範囲の情報を基に、当該撮影範囲を3次元空間中で見たときの当該撮影範囲の3次元配置を求める配置導出手段と、
前記3次元配置を表示する表示装置に対する表示情報を作成する作成手段と、
を備える撮影システム。 - コンピュータに、
複数の撮影装置について各撮影装置の撮影範囲の情報を取得する撮影範囲取得機能と、
前記撮影範囲の情報を基に、当該撮影範囲を3次元空間中で見たときの当該撮影範囲の3次元配置を求める配置導出機能と、
前記3次元配置を表示する表示装置に対する表示情報を作成する作成機能と、
を実現させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018020237A JP7130976B2 (ja) | 2018-02-07 | 2018-02-07 | 表示情報作成装置、撮影システムおよびプログラム |
US16/261,592 US11356632B2 (en) | 2018-02-07 | 2019-01-30 | Display-information generating apparatus, information processing apparatus, and imaging system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018020237A JP7130976B2 (ja) | 2018-02-07 | 2018-02-07 | 表示情報作成装置、撮影システムおよびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019140459A true JP2019140459A (ja) | 2019-08-22 |
JP7130976B2 JP7130976B2 (ja) | 2022-09-06 |
Family
ID=67476169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018020237A Active JP7130976B2 (ja) | 2018-02-07 | 2018-02-07 | 表示情報作成装置、撮影システムおよびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11356632B2 (ja) |
JP (1) | JP7130976B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008005450A (ja) * | 2006-06-20 | 2008-01-10 | Kubo Tex Corp | 3次元仮想空間を利用したビデオカメラのリアルタイム状態把握、制御の方法 |
JP2011130234A (ja) * | 2009-12-18 | 2011-06-30 | Canon Inc | 放送用カメラシステム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4899340B2 (ja) * | 2004-08-02 | 2012-03-21 | 日産自動車株式会社 | 運転感覚調整装置及び運転感覚調整方法 |
US7944454B2 (en) | 2005-09-07 | 2011-05-17 | Fuji Xerox Co., Ltd. | System and method for user monitoring interface of 3-D video streams from multiple cameras |
JP2007101197A (ja) * | 2005-09-30 | 2007-04-19 | Nachi Fujikoshi Corp | 物体探索装置,物体探索装置を備えるロボットシステム及び物体探索方法 |
US7777783B1 (en) | 2007-03-23 | 2010-08-17 | Proximex Corporation | Multi-video navigation |
US20110109747A1 (en) | 2009-11-12 | 2011-05-12 | Siemens Industry, Inc. | System and method for annotating video with geospatially referenced data |
JP5917037B2 (ja) * | 2011-07-29 | 2016-05-11 | キヤノン株式会社 | 被検体情報取得装置および被検体情報取得方法 |
EP3252720B1 (en) * | 2015-01-26 | 2024-01-10 | Toppan Printing Co., Ltd. | Identification device, identification method, identification program, and computer-readable medium containing identification program |
JP6624945B2 (ja) * | 2016-01-21 | 2019-12-25 | キヤノン株式会社 | 画像形成方法及び装置 |
JP7122694B2 (ja) * | 2017-03-31 | 2022-08-22 | パナソニックIpマネジメント株式会社 | 撮像システムおよび校正方法 |
JP7010292B2 (ja) * | 2017-07-25 | 2022-01-26 | 富士通株式会社 | 映像生成プログラム、映像生成方法および映像生成装置 |
-
2018
- 2018-02-07 JP JP2018020237A patent/JP7130976B2/ja active Active
-
2019
- 2019-01-30 US US16/261,592 patent/US11356632B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008005450A (ja) * | 2006-06-20 | 2008-01-10 | Kubo Tex Corp | 3次元仮想空間を利用したビデオカメラのリアルタイム状態把握、制御の方法 |
JP2011130234A (ja) * | 2009-12-18 | 2011-06-30 | Canon Inc | 放送用カメラシステム |
Also Published As
Publication number | Publication date |
---|---|
US11356632B2 (en) | 2022-06-07 |
US20190246059A1 (en) | 2019-08-08 |
JP7130976B2 (ja) | 2022-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6029380B2 (ja) | 画像処理装置、画像処理装置を具備する撮像装置、画像処理方法、及びプログラム | |
JP6167703B2 (ja) | 表示制御装置、プログラム及び記録媒体 | |
JP5464955B2 (ja) | パノラマ画像表示装置 | |
JP6482696B2 (ja) | 表示制御装置、表示制御方法、およびプログラム | |
JP6223169B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6723512B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7494273B2 (ja) | 表示制御装置、表示制御方法、およびプログラム | |
JP2013162487A (ja) | 画像表示装置及び撮像装置 | |
CN101405763A (zh) | 用于获取实时视频输出的对象的多个视图的方法和系统 | |
US9172860B2 (en) | Computational camera and method for setting multiple focus planes in a captured image | |
JP5701967B2 (ja) | 画像表示装置および画像表示方法 | |
JP7130976B2 (ja) | 表示情報作成装置、撮影システムおよびプログラム | |
JP5509986B2 (ja) | 画像処理装置、画像処理システム、及び画像処理プログラム | |
JP5744642B2 (ja) | 画像処理装置および画像処理方法、プログラム。 | |
JP6263024B2 (ja) | 画像処理装置、画像処理方法および、プログラム、並びに画像再生装置 | |
JP2013255171A (ja) | 画像配信装置及び画像表示装置 | |
JP6122991B2 (ja) | 画像表示装置および画像表示方法 | |
JP4811249B2 (ja) | 遠隔指示システム | |
JP5920857B2 (ja) | 画像表示装置および画像表示方法 | |
WO2018235762A1 (ja) | 表示制御装置、表示制御方法、およびプログラム | |
KR102339825B1 (ko) | 상황인식 장치 및 이의 영상 스티칭 방법 | |
JP2017182843A (ja) | プログラム、表示制御装置及び表示制御方法 | |
JP4368748B2 (ja) | コンテンツの編集方法、文書ファイル構造、情報処理装置およびシステム並びにプログラム | |
JP2015056790A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6566765B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220726 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220808 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7130976 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |