JP2019062293A - カメラ装置、カメラ装置制御システム、及びプログラム - Google Patents
カメラ装置、カメラ装置制御システム、及びプログラム Download PDFInfo
- Publication number
- JP2019062293A JP2019062293A JP2017183821A JP2017183821A JP2019062293A JP 2019062293 A JP2019062293 A JP 2019062293A JP 2017183821 A JP2017183821 A JP 2017183821A JP 2017183821 A JP2017183821 A JP 2017183821A JP 2019062293 A JP2019062293 A JP 2019062293A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- tpr
- attention point
- operator
- position data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
- Manipulator (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
1.カメラ付き移動体
図1は、実施形態におけるカメラ付き移動体10の外観図を示す。カメラ付き移動体10は、本体と車輪部12を備え、本体は表示部14及びカメラ16を備える。
2.1 カメラの向き
図2は、TPR10に搭載されるカメラ16の視野と注目点との関係を模式的に示す。図2(a)は、TPR10を上から見た平面図であり、カメラ16の画角から定まる視野を示す。TPR10の視野内の特定の点を操作者の注目点18とする。注目点18は、例えば視野内の特定の物や人等である。
図3は、注目点18までの距離が異なる場合を模式的に示す。TPR10Aのカメラ16Aの視野内に注目点18Aが存在する場合と注目点18Bが存在する場合であり、注目点18Aは相対的に遠距離にあり、注目点18Bは相対的に近距離にある。TPR10Bのカメラ16Bの視野はTPR10Aのカメラ16Aの視野と異なっており、注目点18Aは両者の視野範囲が異なるためTPR10Bの操作者は注目点18Aを視認できない。他方で、注目点18Bは両者の視野範囲が重複する位置に存在しているためTPR10Bの操作者も注目点18Bを視認して注目し得る。
3.1 全体構成
図4は、TPR10を制御するシステムの全体構成図を示す。制御システムは、TPR10と、遠隔操作用端末(以下、端末という)20と、遠隔管理装置(以下、RMSという)30を備える。TPR10、端末20及びRMS30は、通信回線を介して互いにデータ送受信可能に接続される。通信回線は有線/無線を問わないが、遠隔操作用には無線回線が好適である。
TPR10は、車輪部12、表示部14、及びカメラ16に加え、通信部101、映像管理部102、周辺移動体位置検知部103、回転角度計算部104、アクチュエータ制御部105、及びアクチュエータ106を備える。
v=(vr+vl)/2
ω=(vr−vl)/2L
であり、これを用いて
dx/dt=vcosθ
dy/dt=vsinθ
dθ/dt=ω
を計算することで、TPRの位置(x、y)及び角度θが算出される。出発地から順次、位置を算出して積算することで、出発地に対するTPRの相対的な位置が算出され、自己位置が推定される。オドメトリ情報として、車輪の回転角及び回転角速度を用いてもよい。オドメトリを用いた移動ロボットの自己位置推定については、例えば特開2015−111336号公報に記載されている。
TPR10Aまでの距離=F・A/a
により算出される。
(1)カメラ16の撮影画像を端末20に送信する
(2)端末20からの指示に応じてアクチュエータ106を駆動する
(3)端末20からの指示に応じて同調対象のTPRを検知する
(4)端末20からの指示に応じて同調対象のTPRを遠隔操作している遠隔操作者の注目点の位置データを取得する
(5)取得した注目点の位置データを用いて同調対象のTPRへ同調処理する
(3−1)同調対象のTPRの識別
(3−2)同調対象のTPRの位置検出
が含まれる。また、(4)の処理は、詳細には、
(4−1)注目点の位置データの取得要求の送信
(4−2)注目点の位置データの受信
が含まれる。さらに、(5)の処理は、詳細には、
(5−1)同調対象のTPRの位置を用いた、同調対象のTPRを基準とする座標系の設定と当該座標系における自己位置の定位
(5−2)当該座標系と注目点の位置データを用いた回転角度の算出
(5−3)算出した回転角度を用いたカメラ16の駆動制御
が含まれる。
端末20は、TPR10の遠隔操作者が操作するパーソナルコンピュータ(PC)やタブレット、スマートフォン等の端末である。端末20は、汎用端末でもよく、TPR10を遠隔操作する専用端末であってもよい。端末20は、ユーザ注目点座標検出部201、画像表示部202、進行方向指示部203、同調対象移動体指定部204、及び通信部205を備える。
(1)カメラ16の撮影画像を表示する
(2)TPR10に対して操作指示を送信する
(3)TPR10に対して同調対象のTPRへの同調を指示する
(4)操作者の注目点の位置データを検出する
(5)検出した位置データを送信する
RMS30は、複数台のTPR10A,10B,10C,・・・及び端末20A,20B,20C,・・・を管理する。RMS30は、管理部301、ユーザ認証部302、ユーザデータベース(DB)303、及び通信部304を備える。
TPR10A:ID=1234、操作者氏名(ユーザ名)=Yamamoto、位置=会議室A
TPR10B:ID=5678、操作者氏名(ユーザ名)=Tanaka、位置=会議室A
等である。位置は、どの空間に位置しているかが分かる程度の精度でよい。TPR10A,10Bの位置情報は、TPR10A,10Bから通信部304を介して受信する。管理部301は、端末20からのリスト要求に応じ、これらの情報をリスト形式で通信部304を介して返信する。また、管理部301は、端末20に対して注目点座標データを要求し、端末20から返信された注目点座標データを受信する。管理部301は、受信した注目点座標データを適宜TPR10に送信する。具体的には、同調対象のTPR10を遠隔操作する端末20から注目点座標データを受信し、同調対象のTPR10に同調すべき他のTPRに対して注目点座標データを送信する。
図5は、端末20の画面例を示す。端末20の画面には、画像210、同調対象のTPRのリスト211、及び操作スイッチ212が表示される。
次に、実施形態におけるシステムの全体処理フローについて説明する。
図7は、端末Bの同調対象移動体指定部204で表示されるリスト211の詳細を示す。リスト211には、稼働中のTPRのTPRID、操作者名(ユーザ名)、位置が示される。リスト211にはターゲットの欄及びチェックボックスが表示され、操作者Bは、いずれかのチェックボックスにチェックを入力することで同調対象のTPRを指定する。ターゲットの欄における「Me」は、操作者Bが操作しているTPR−Bを示す。図において、同調対象であるTPR−Aは、TPRID=91011oka、ユーザ名=Hiraokaであり、TPR−AとTPR−Bは同一工場内に存在していることが分かる。
図6Bのシーケンスでは、端末Bに表示されたリスト211を用いて操作者Bが同調対象のTPR−Aを指定することをトリガとしてTPR−Aへの同調処理が開始されるが、他の方法でも同調を開始し得る。
「TPR−Aへの同調指示がありました。」
である。また、メッセージ214とともに、同調指示に従うか否かの「同調」スイッチも表示される。操作者Bは、同調指示に従う場合に「同調」スイッチを操作する。「同調」スイッチが操作されたことをトリガとしてTPR−Bの同調処理が開始される。同調スイッチが操作された場合にリスト211を表示してもよく、リスト211においてTPR−Aを強調表示してもよい。
(a)操作者Aが端末Aを操作してTPR−Aへの同調を指示する
(b)TPR−Aへの同調指示が端末Bで受信される
(c)端末BにTPR−Aへの同調指示が表示される
(d)操作者Bが端末Bを操作してTPR−Aへの同調を指示する
(e)TPR−Aへの同調指示がTPR−Bで受信される
(f)TPR−BはTPR−Aを検知する
(g)TPR−Bは注目点座標の取得要求を送信する
(h)TPR―Bは注目点座標を取得すると注目点を視野に含めるための回転角度を計算する
(i)TPR−Bを回転させてTPR−Bに同調させる
図10は、端末Bの回転角度計算部104で実行される座標系構築及び回転角度計算を模式的に示す。
L2=(Ya−Yb)2+Xb2
Cos(θb−π/2)=(Ya−Yb)/L
であり、回転角度θbは、
θb=arcCos{(Ya−Yb)/L}+π/2
により算出される。
実施形態では、操作者Aの注目点座標を検出する方法として、
・操作者Aの視線方向を検出することによる自動検出
・操作者Aの操作による手動検出
を例示したが、これらを組み合わせてもよい。具体的には、操作者Aの同調指示スイッチ216の操作をトリガとしてカメラ213により操作者Aの視線方向を検出して操作者Aの注目点を自動検出し、検出した注目点をマーク215として表示し、操作者Aが確定スイッチを操作した場合に当該注目点座標を確定してもよい。同調指示スイッチ216に代えて、操作者Aの音声認識により同調指示のトリガとしてもよい。操作者Aが「同調」と発話すると、これを音声認識し、カメラ213により操作者Aの視線方向を検出して操作者Aの注目点を自動検出し、検出した注目点をマーク215として表示する等である。
実施形態では、TPR―Bを回転駆動することでカメラ16Bの撮影範囲を回転させ、注目点が撮影範囲に含まれるように制御しているが、TPR−B自体は固定し、カメラ16Bのみを回転駆動してもよい。さらに、実施形態ではカメラ装置としてカメラ付き移動体を例示したが、車輪部12を備えず、カメラ16を固定器具に搭載してカメラ装置を構成し、カメラ16のみが任意に上下あるいは左右方向に回転駆動する場合にも適用し得る。
実施形態では、RMS30を用いて複数台のTPRを管理しているが、RMS30を用いることなく複数台のTPRを同調制御してもよい。
実施形態において、TPR−BをTPR−Aに同調させる際に、TPR−Bのカメラ16Bの視野の中心に操作者Aの注目点が位置するように回転角度を算出してもよい。また、同調制御の際には端末Bの画面に同調制御中である旨を表示するとともに、同調制御が完了した場合に端末Bの画面上で注目点を強調表示してもよい。
実施形態では、TPR10の向きを調整することで注目点がカメラ16の撮影範囲に含まれるようにカメラの向きを制御しているが、カメラの画角を調整することで注目点が撮影範囲に含まれるように制御してもよい。車輪部12を備えないカメラ装置の場合も同様である。カメラの向きと画角をともに調整してもよい。さらに、注目点が画像の中央に位置するようにカメラの向きと画角をともに調整してもよい。
Claims (19)
- 遠隔操作者に対して撮影画像を提供するカメラと、
他カメラの遠隔操作者の注目点の位置データを取得し、前記注目点の位置データを用いて前記注目点が撮影範囲に含まれるように前記カメラを制御する制御部と、
を備えるカメラ装置。 - 前記制御部は、前記カメラの遠隔操作者からの指示に応じて、前記他カメラの遠隔操作者の注目点の位置データを取得する
請求項1に記載のカメラ装置。 - 前記カメラの遠隔操作者からの指示に応じて、前記他カメラを検知する検知部と、
前記他カメラの遠隔操作者の注目点の位置データの送信を要求する送信部と、
送信された前記他カメラの遠隔操作者の注目点の位置データを受信する受信部と、
を備える請求項2に記載のカメラ装置。 - 前記制御部は、前記他カメラの遠隔操作者からの指示に応じて、前記他カメラの遠隔操作者の注目点の位置データを取得する
請求項1に記載のカメラ装置。 - 前記他カメラの遠隔操作者からの指示に応じて、前記他カメラを検知する検知部と、
前記他カメラの遠隔操作者の注目点の位置データの送信を要求する送信部と、
送信された前記他カメラの遠隔操作者の注目点の位置データを受信する受信部と、
を備える請求項4に記載のカメラ装置。 - 前記送信部は、管理装置を介して要求し、
前記受信部は、前記管理装置を介して受信する
請求項3,5のいずれかに記載のカメラ装置。 - 前記送信部は、前記他カメラに対して要求し、
前記受信部は、前記他カメラから受信する
請求項3,5のいずれかに記載のカメラ装置。 - 前記他カメラの遠隔操作者の注目点の位置データは、前記他カメラの遠隔操作者の視線方向を検出して得られる
請求項1〜7のいずれかに記載のカメラ装置。 - 前記他カメラの遠隔操作者の注目点の位置データは、前記遠隔操作者の操作により得られる
請求項1〜7のいずれかに記載のカメラ装置。 - 自己の位置を検出する位置検出部と、
前記他カメラの位置データを取得する取得部と、
を備え、
前記制御部は、前記自己の位置と、前記他カメラの位置データと、前記注目点の位置データを用いて前記カメラを制御する
請求項1〜9のいずれかに記載のカメラ装置。 - 前記カメラを移動する車輪部をさらに備える、
請求項1〜10のいずれかに記載のカメラ装置。 - 前記制御部は、前記カメラの向き、前記カメラの画角、前記車輪部の少なくともいずれかを制御する
請求項11に記載のカメラ装置。 - 第1カメラ装置及び第2カメラ装置と、
前記第1カメラ装置を遠隔操作する第1遠隔操作用端末及び前記第2カメラ装置を遠隔操作する第2遠隔操作用端末と、
を備え、
前記第1カメラ装置は、
前記第1遠隔操作用端末に対して撮影画像を提供する第1カメラと、
前記第2カメラ装置の遠隔操作者の注目点の位置データを取得し、前記注目点の位置データを用いて前記注目点が撮影範囲に含まれるように前記第1カメラを制御する第1制御部と、
を備え、
前記第2カメラ装置は、
前記第2遠隔操作用端末に対して撮影画像を提供する第2カメラと、
前記第1カメラ装置の遠隔操作者の注目点の位置データを取得し、前記注目点の位置データを用いて前記注目点が撮影範囲に含まれるように前記第2カメラを制御する第2制御部と、
を備えるカメラ装置制御システム。 - 前記第1遠隔操作用端末は、
前記第1カメラの前記撮影画像を表示する第1表示部と、
前記第1表示部における遠隔操作者の注目点の位置データを検出する検出部と、
検出した前記遠隔操作者の注目点の位置データを前記第2カメラ装置に送信する送信部と、
を備え、
前記第2遠隔操作用端末は、
前記第2カメラの前記撮影画像を表示する第2表示部と、
を備える請求項13に記載のカメラ装置制御システム。 - 前記第1遠隔操作用端末は、前記第2カメラ装置に対して前記第1カメラ装置への同調を指示するための操作部
を備える請求項14に記載のカメラ装置制御システム。 - 前記第2遠隔操作用端末は、前記第2カメラ装置に対して前記第1カメラ装置への同調を指示するための操作部
を備える請求項14に記載のカメラ装置制御システム。 - 前記第2遠隔操作用端末は、前記第2制御部が前記第2カメラを制御する場合に、前記第1カメラ装置へ同調していることを表示する第3表示部と、
を備える請求項14に記載のカメラ装置制御システム。 - 前記第2遠隔操作用端末の前記第2表示部は、前記撮影画像に前記注目点の位置を示すマークを重畳表示する
請求項16,17のいずれかに記載のカメラ装置制御システム。 - カメラ装置を制御するためのプログラムであり、前記カメラ装置を制御するプロセッサに、
前記カメラ装置の遠隔操作者に対して撮影画像を提供するステップと、
他のカメラ装置の遠隔操作者の注目点の位置データを取得するステップと、
前記注目点の位置データを用いて前記注目点が撮影範囲に含まれるように前記カメラ装置を制御するステップと、
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017183821A JP7187768B2 (ja) | 2017-09-25 | 2017-09-25 | カメラ装置、カメラ装置制御システム、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017183821A JP7187768B2 (ja) | 2017-09-25 | 2017-09-25 | カメラ装置、カメラ装置制御システム、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019062293A true JP2019062293A (ja) | 2019-04-18 |
JP7187768B2 JP7187768B2 (ja) | 2022-12-13 |
Family
ID=66177690
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017183821A Active JP7187768B2 (ja) | 2017-09-25 | 2017-09-25 | カメラ装置、カメラ装置制御システム、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7187768B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110933378A (zh) * | 2019-12-12 | 2020-03-27 | 西安冉科信息技术有限公司 | 一种基于局域网的网络摄像机接入和控制方法 |
WO2022085588A1 (ja) * | 2020-10-20 | 2022-04-28 | avatarin株式会社 | システム、端末及びプログラム |
EP4002836A1 (en) | 2020-11-13 | 2022-05-25 | Honda Motor Co., Ltd. | Remote display system, robot, and display terminal |
EP4002046A1 (en) | 2020-11-13 | 2022-05-25 | Honda Motor Co., Ltd. | Remote operation system comprising a robot and an operation terminal |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08181902A (ja) * | 1994-12-22 | 1996-07-12 | Canon Inc | カメラ制御システム |
JPH1195313A (ja) * | 1997-09-17 | 1999-04-09 | Fuji Photo Optical Co Ltd | リモコン雲台システム |
JP2000209576A (ja) * | 1999-01-14 | 2000-07-28 | Minolta Co Ltd | アクセス制御装置およびアクセス制御プログラムを記録した記録媒体 |
JP2003158664A (ja) * | 2001-11-21 | 2003-05-30 | Matsushita Electric Ind Co Ltd | カメラ制御装置 |
JP2003348428A (ja) * | 2002-05-24 | 2003-12-05 | Sharp Corp | 撮影システム、撮影方法、撮影プログラムおよび撮影プログラムを記録したコンピュ−タ読取可能な記録媒体 |
JP2007225809A (ja) * | 2006-02-22 | 2007-09-06 | Nippon Hoso Kyokai <Nhk> | カメラ雲台付き移動台車 |
JP2012114593A (ja) * | 2010-11-22 | 2012-06-14 | Nippon Hoso Kyokai <Nhk> | 多視点ロボットカメラシステム、多視点ロボットカメラ制御装置及びプログラム |
JP2013051552A (ja) * | 2011-08-31 | 2013-03-14 | Nippon Hoso Kyokai <Nhk> | 視聴管理装置、視聴装置、視聴管理プログラム、及び視聴プログラム |
WO2016002445A1 (ja) * | 2014-07-03 | 2016-01-07 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2017144182A (ja) * | 2016-02-19 | 2017-08-24 | 株式会社ソニー・インタラクティブエンタテインメント | 制御装置、提供方法及びプログラム |
-
2017
- 2017-09-25 JP JP2017183821A patent/JP7187768B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08181902A (ja) * | 1994-12-22 | 1996-07-12 | Canon Inc | カメラ制御システム |
JPH1195313A (ja) * | 1997-09-17 | 1999-04-09 | Fuji Photo Optical Co Ltd | リモコン雲台システム |
JP2000209576A (ja) * | 1999-01-14 | 2000-07-28 | Minolta Co Ltd | アクセス制御装置およびアクセス制御プログラムを記録した記録媒体 |
JP2003158664A (ja) * | 2001-11-21 | 2003-05-30 | Matsushita Electric Ind Co Ltd | カメラ制御装置 |
JP2003348428A (ja) * | 2002-05-24 | 2003-12-05 | Sharp Corp | 撮影システム、撮影方法、撮影プログラムおよび撮影プログラムを記録したコンピュ−タ読取可能な記録媒体 |
JP2007225809A (ja) * | 2006-02-22 | 2007-09-06 | Nippon Hoso Kyokai <Nhk> | カメラ雲台付き移動台車 |
JP2012114593A (ja) * | 2010-11-22 | 2012-06-14 | Nippon Hoso Kyokai <Nhk> | 多視点ロボットカメラシステム、多視点ロボットカメラ制御装置及びプログラム |
JP2013051552A (ja) * | 2011-08-31 | 2013-03-14 | Nippon Hoso Kyokai <Nhk> | 視聴管理装置、視聴装置、視聴管理プログラム、及び視聴プログラム |
WO2016002445A1 (ja) * | 2014-07-03 | 2016-01-07 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2017144182A (ja) * | 2016-02-19 | 2017-08-24 | 株式会社ソニー・インタラクティブエンタテインメント | 制御装置、提供方法及びプログラム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110933378A (zh) * | 2019-12-12 | 2020-03-27 | 西安冉科信息技术有限公司 | 一种基于局域网的网络摄像机接入和控制方法 |
WO2022085588A1 (ja) * | 2020-10-20 | 2022-04-28 | avatarin株式会社 | システム、端末及びプログラム |
JP2022067459A (ja) * | 2020-10-20 | 2022-05-06 | avatarin株式会社 | システム、端末及びプログラム |
EP4002836A1 (en) | 2020-11-13 | 2022-05-25 | Honda Motor Co., Ltd. | Remote display system, robot, and display terminal |
EP4002046A1 (en) | 2020-11-13 | 2022-05-25 | Honda Motor Co., Ltd. | Remote operation system comprising a robot and an operation terminal |
US11637952B2 (en) | 2020-11-13 | 2023-04-25 | Honda Motor Co., Ltd. | Remote display system, robot, and display terminal |
Also Published As
Publication number | Publication date |
---|---|
JP7187768B2 (ja) | 2022-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10322804B2 (en) | Device that controls flight altitude of unmanned aerial vehicle | |
JP2019062293A (ja) | カメラ装置、カメラ装置制御システム、及びプログラム | |
CN105302131B (zh) | 借助可自主运行的设备清洁或处理空间的方法 | |
US10917560B2 (en) | Control apparatus, movable apparatus, and remote-control system | |
US20150116502A1 (en) | Apparatus and method for dynamically selecting multiple cameras to track target object | |
JPWO2019012817A1 (ja) | 画像処理装置、画像処理装置の画像処理方法、プログラム | |
JP7180063B2 (ja) | カメラ付き移動体、カメラ付き移動体制御システム、及びプログラム | |
US20180332213A1 (en) | Methods and apparatus for continuing a zoom of a stationary camera utilizing a drone | |
US10924691B2 (en) | Control device of movable type imaging device and control method of movable type imaging device | |
JP2015192697A5 (ja) | 手術用制御装置および手術用制御方法、並びに手術システム | |
WO2018076895A1 (zh) | 基于主无人机的从无人机飞行控制方法、装置及系统 | |
JP6788845B2 (ja) | 遠隔通信方法、遠隔通信システム及び自律移動装置 | |
US20190286286A1 (en) | Information processing device and method, and program | |
US20180077356A1 (en) | System and method for remotely assisted camera orientation | |
JP2017138947A (ja) | 飛行高度制御装置、無人飛行体、飛行高度制御方法及び飛行高度制御プログラム | |
JP2022141639A (ja) | 情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラム | |
JP2019004399A (ja) | 作業機械の周囲監視システム | |
US20180082119A1 (en) | System and method for remotely assisted user-orientation | |
JP2006139525A (ja) | 自律移動型ロボット | |
US11212485B2 (en) | Transparency system for commonplace camera | |
TWI471825B (zh) | 天台安全監控系統及方法 | |
JP2023068121A (ja) | 映像伝送システム、映像伝送装置、および、映像伝送プログラム | |
JP2004291186A (ja) | ロボット制御方法、ロボット制御システム、これらに用いて好適なロボット及び制御装置 | |
JP7078231B2 (ja) | 3dツアーの比較表示システム及び方法 | |
KR20190091870A (ko) | 모션센서와 vr을 활용한 로봇 제어 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200831 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210928 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220623 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221114 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7187768 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |