JP2020184779A - 制御装置、制御方法およびプログラム - Google Patents
制御装置、制御方法およびプログラム Download PDFInfo
- Publication number
- JP2020184779A JP2020184779A JP2020116771A JP2020116771A JP2020184779A JP 2020184779 A JP2020184779 A JP 2020184779A JP 2020116771 A JP2020116771 A JP 2020116771A JP 2020116771 A JP2020116771 A JP 2020116771A JP 2020184779 A JP2020184779 A JP 2020184779A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- unit
- face
- shooting direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
- G03B15/03—Combinations of cameras with lighting apparatus; Flash units
- G03B15/04—Combinations of cameras with non-electronic flash apparatus; Non-electronic flash units
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Robotics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Accessories Of Cameras (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
ウェアラブル端末におけるカメラの撮影方向の調整について図面を用いて説明する。図1は、第1の実施形態によるウェアラブル端末のカメラの撮影方向を調整する一例を示す図である。
第1の実施形態では、画像処理部12の特徴抽出部125が、撮影画像S11を座標算出部127に通知する例を用いて説明したが、これに限られない。例えば、撮影画像S11が、カメラ部11から画像処理部12の特徴抽出部125及び座標算出部127の2つに通知されるようにしてもよい。この場合、画像処理部12の特徴抽出部125から座標算出部127への撮影画像S11の通知は不要となる。
次に、第2の実施形態について、図面を用いて説明する。第2の実施形態は、カメラの撮影方向の調整のための被写体に着用者を用いる例である。図6は、第2の実施形態によるウェアラブル端末のカメラの撮影方向を調整する一例を示す図である。図6に示すように、ウェアラブル端末20の着用者2を被写体とするために、着用者2が鏡4の前に立ち、着用者2に装着されたウェアラブル端末20で鏡4に映る着用者2の鏡像2’を撮影する。第2の実施形態では、撮影画像内における設定画像として、着用者2の鏡像2’の顔画像が用いられる。なお、鏡像2’の撮影条件は、撮影画像及び基準画像で同様とする。例えば、撮影画像及び基準画像を取得するための被写体6の撮影位置、あるいは、カメラのレンズの焦点距離等を同じにする。
第2の実施形態では、画像処理部22の顔検出部121が、撮影画像S11を顔座標算出部124に通知する例を用いて説明したが、これに限られない。例えば、撮影画像S11が、カメラ部11から画像処理部22の顔検出部121及び顔座標算出部124の2つに通知されるようにしてもよい。この場合、画像処理部22の顔検出部121から顔座標算出部124への撮影画像S11の通知は不要となる。
次に、第3の実施形態について、図面を用いて説明する。第3の実施形態は、カメラの撮影方向の調整のための被写体に二次元バーコードを用いる例である。なお、第3の実施形態の説明において、第1の実施形態と同じ構成については、同一の符号を附して詳細な説明は省略する。
次に、第4の実施形態について、図面を用いて説明する。なお、第4の実施形態の説明において、第1の実施形態と同じ構成については、同一の符号を附して詳細な説明は省略する。
次に、第5の実施形態について、図面を用いて説明する。第5の実施形態は、ウェアラブル端末が2つのカメラ部を制御する例である。図15Aは、ウェアラブル端末の正面カメラ部及び背面カメラ部の装着例を示す上面概略図である。図15Bは、ウェアラブル端末の正面カメラ部の装着例を示す正面概略図である。図15Cは、ウェアラブル端末の正面カメラ部及び背面カメラ部の着用例を示す背面概略図である。
図17は、第1〜5の実施形態におけるウェアラブル端末10、20、30、40、50の各制御部、又は、各処理部をコンピュータ装置で実現したハードウエア構成を示す図である。
2’ 鏡像
3A 設定画像
3B 設定画像
4 鏡
5 二次元バーコード
10 ウェアラブル端末
11 カメラ部
12 画像処理部
13 姿勢検出部
14 カメラ制御部
15 センサ部
16 正面カメラ部
17 背面カメラ部
18 カメラ制御部
20 ウェアラブル端末
22 画像処理部
23 姿勢検出部
30 ウェアラブル端末
32 画像処理部
40 ウェアラブル端末
50 ウェアラブル端末
121 顔検出部
122 顔照合部
123 データベース
124 顔座標算出部
125 特徴抽出部
126 特徴照合部
127 座標算出部
128 情報抽出部
129 座標算出部
131 カメラ姿勢算出部
132 カメラ姿勢データベース
901 CPU
902 通信I/F(通信インターフェース)
903 メモリ
904 記憶装置
905 入力装置
906 出力装置
907 システムバス
S11 撮影画像
S12 照合画像情報
S13 姿勢差分情報
S14 移動量情報
S22 照合画像情報
S32 画像情報
Claims (10)
- 撮影方向の調整対象となるカメラで被写体を撮影した撮影画像を取得するカメラ手段と、
前記撮影画像内における前記被写体を表す第1設定画像の位置を算出する画像処理手段と、
予め登録された基準画像内における前記被写体を表す第2設定画像の位置と、前記第1設定画像の位置との差分を検出する姿勢検出手段と、
前記差分に基づき、前記カメラの撮影方向を移動させるカメラ制御手段と、
を備える方向制御装置。 - 前記画像処理手段は、
前記撮影画像から特徴量を抽出する特徴抽出手段と、
前記設定画像を保存するデータベースと、
前記データベースに保存された前記設定画像と、前記特徴抽出手段で抽出した前記画像特徴とを照合し、前記撮影画像の特徴量を特定する特徴照合手段と、
前記照合された設定画像の位置を算出する座標算出手段と、
を備える、請求項1に記載の方向制御装置。 - 前記画像処理手段は、
前記撮影画像から顔を検出する顔検出手段と、
前記設定画像である所定顔画像を保存するデータベースと、
前記データベースに保存された前記所定顔画像と、前記顔検出手段で検出した顔画像とを照合し、前記撮影画像の顔画像を特定する顔照合手段と、
前記照合された顔画像の位置を算出する顔座標算出手段と、
を備える、請求項1に記載の方向制御装置。 - 前記画像処理手段は、
前記撮影画像から二次元バーコードを検出する画像検出手段と、
前記二次元バーコードの情報を抽出する情報抽出手段と、
前記二次元バーコードの情報に、前記二次元バーコードの設置高さ情報と、前記二次元バーコードのサイズ情報を含み、
前記情報抽出手段で抽出した情報から、前記撮影画像内の前記二次元バーコードの位置を算出する座標算出手段と、
を備える、請求項1に記載の方向制御装置。 - 前記カメラ手段は、前記カメラの姿勢を検出するセンサを備え、
前記センサは、カメラの撮影方向の位置ずれが無い状態をセンサの指す方向として記憶し、
前記カメラ制御手段は、前記センサの指す方向を用いて、カメラの撮影方向を制御する
請求項1から請求項4のいずれか1つに記載の方向制御装置。 - 前記センサは、3軸ジャイロセンサ、又は、6軸センサである、
請求項5に記載の方向制御装置。 - 前記カメラ手段は、正面カメラ手段と背面カメラ手段を有し、
前記正面カメラ手段のカメラの撮影方向と前記背面カメラ手段のカメラの撮影方向が、それぞれの仰角が水平に対して対称であるときに、
前記カメラ制御手段は、前記背面カメラ手段のカメラの撮影方向を、前記正面カメラ手段のカメラの撮影方向と逆向きに制御する、
請求項1から6のいずれか1つに記載の方向制御装置。 - 請求項1〜7のいずれか1つに記載の方向制御装置を備えるウェアラブル端末。
- 撮影方向の調整対象となるカメラで被写体を撮影した撮影画像を取得し、
前記撮影画像内における前記被写体を表す第1設定画像の位置を算出し、
予め登録された基準画像内における前記被写体を表す第2設定画像の位置と、前記第1設定画像の位置との差分を検出し、
前記差分に基づき、前記カメラの撮影方向を移動させる、方向制御方法。 - コンピュータに、
撮影方向の調整対象となるカメラで被写体を撮影した撮影画像を取得し、
前記撮影画像内における前記被写体を表す第1設定画像の位置を算出し、
予め登録された基準画像内における前記被写体を表す第2設定画像の位置と、前記第1設定画像の位置との差分を検出し、
前記差分に基づき、前記カメラの撮影方向を移動させる、
ことを実行させる方向制御プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014245098 | 2014-12-03 | ||
JP2014245098 | 2014-12-03 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016562304A Division JP6737183B2 (ja) | 2014-12-03 | 2015-12-02 | 方向制御装置、方向制御方法および方向制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020184779A true JP2020184779A (ja) | 2020-11-12 |
JP7140160B2 JP7140160B2 (ja) | 2022-09-21 |
Family
ID=56091330
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016562304A Active JP6737183B2 (ja) | 2014-12-03 | 2015-12-02 | 方向制御装置、方向制御方法および方向制御プログラム |
JP2020116771A Active JP7140160B2 (ja) | 2014-12-03 | 2020-07-07 | 制御装置、制御方法およびプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016562304A Active JP6737183B2 (ja) | 2014-12-03 | 2015-12-02 | 方向制御装置、方向制御方法および方向制御プログラム |
Country Status (4)
Country | Link |
---|---|
US (3) | US20170272623A1 (ja) |
JP (2) | JP6737183B2 (ja) |
SG (2) | SG11201704378QA (ja) |
WO (1) | WO2016088368A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102360306B1 (ko) * | 2018-11-23 | 2022-02-10 | 주식회사 엔텍로직 | 짐벌카메라와 지향제어장치의 캘리브레이션 검사 방법 및 장치 |
CN109639979B (zh) * | 2018-12-28 | 2020-11-24 | 北京阿法龙科技有限公司 | 一种基于usb的可穿戴设备传输方法 |
JP7275759B2 (ja) * | 2019-03-28 | 2023-05-18 | セイコーエプソン株式会社 | 物体検出方法、物体検出装置およびロボットシステム |
US11134079B2 (en) * | 2019-05-21 | 2021-09-28 | International Business Machines Corporation | Cognitive behavioral and environmental access |
CN113542575A (zh) * | 2020-04-15 | 2021-10-22 | 荣耀终端有限公司 | 设备位姿调整方法和图像拍摄方法及电子设备 |
JP7099597B2 (ja) * | 2020-09-30 | 2022-07-12 | 株式会社リコー | 情報処理装置、移動体、撮影システム、撮影制御方法およびプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007019776A (ja) * | 2005-07-07 | 2007-01-25 | Matsushita Electric Ind Co Ltd | 撮像システム |
JP2010130069A (ja) * | 2008-11-25 | 2010-06-10 | Nikon Corp | デジタルカメラおよび画像処理装置並びに画像処理プログラム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH063726A (ja) * | 1992-06-17 | 1994-01-14 | Canon Inc | 撮影装置 |
JP4767052B2 (ja) * | 2006-03-22 | 2011-09-07 | ダイハツ工業株式会社 | 光軸ずれ検出装置 |
JP4932368B2 (ja) * | 2006-07-26 | 2012-05-16 | Necカシオモバイルコミュニケーションズ株式会社 | 携帯端末装置及びプログラム |
US7839431B2 (en) * | 2006-10-19 | 2010-11-23 | Robert Bosch Gmbh | Image processing system and method for improving repeatability |
US8154616B2 (en) | 2007-01-16 | 2012-04-10 | Panasonic Corporation | Data processing apparatus and method, and recording medium |
JP4260215B1 (ja) | 2007-08-29 | 2009-04-30 | 任天堂株式会社 | 撮像装置 |
JP4743283B2 (ja) | 2009-01-28 | 2011-08-10 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、システム及び撮像対象生成装置 |
JP4875117B2 (ja) * | 2009-03-13 | 2012-02-15 | 株式会社東芝 | 画像処理装置 |
JP5291605B2 (ja) * | 2009-12-04 | 2013-09-18 | 日本放送協会 | カメラ姿勢推定装置およびカメラ姿勢推定プログラム |
JP5857747B2 (ja) | 2012-01-05 | 2016-02-10 | 富士通株式会社 | 撮像装置を搭載したロボットの動作設定法。 |
CN102547209B (zh) * | 2012-02-06 | 2015-07-22 | 华为技术有限公司 | 视讯设备控制方法、装置及视讯系统 |
JP2013232722A (ja) * | 2012-04-27 | 2013-11-14 | Nikon Corp | 電子機器および撮像モジュール |
JP2014212473A (ja) * | 2013-04-19 | 2014-11-13 | 株式会社ニコン | 通信装置、及び頭部装着表示装置 |
US9253410B2 (en) * | 2013-04-25 | 2016-02-02 | Canon Kabushiki Kaisha | Object detection apparatus, control method therefor, image capturing apparatus, and storage medium |
JP5651221B2 (ja) * | 2013-09-30 | 2015-01-07 | 株式会社キングジム | シンボル片、画像処理プログラム、及び画像処理方法 |
US9412205B2 (en) * | 2014-08-25 | 2016-08-09 | Daqri, Llc | Extracting sensor data for augmented reality content |
-
2015
- 2015-12-02 WO PCT/JP2015/005983 patent/WO2016088368A1/ja active Application Filing
- 2015-12-02 SG SG11201704378QA patent/SG11201704378QA/en unknown
- 2015-12-02 US US15/532,157 patent/US20170272623A1/en not_active Abandoned
- 2015-12-02 SG SG10201810925RA patent/SG10201810925RA/en unknown
- 2015-12-02 JP JP2016562304A patent/JP6737183B2/ja active Active
-
2019
- 2019-04-10 US US16/379,977 patent/US11102382B2/en active Active
-
2020
- 2020-07-07 JP JP2020116771A patent/JP7140160B2/ja active Active
-
2021
- 2021-04-21 US US17/236,394 patent/US20210243339A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007019776A (ja) * | 2005-07-07 | 2007-01-25 | Matsushita Electric Ind Co Ltd | 撮像システム |
JP2010130069A (ja) * | 2008-11-25 | 2010-06-10 | Nikon Corp | デジタルカメラおよび画像処理装置並びに画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
SG11201704378QA (en) | 2017-06-29 |
US20190238727A1 (en) | 2019-08-01 |
SG10201810925RA (en) | 2019-01-30 |
US11102382B2 (en) | 2021-08-24 |
US20170272623A1 (en) | 2017-09-21 |
WO2016088368A1 (ja) | 2016-06-09 |
JP7140160B2 (ja) | 2022-09-21 |
JPWO2016088368A1 (ja) | 2017-11-02 |
JP6737183B2 (ja) | 2020-08-05 |
US20210243339A1 (en) | 2021-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020184779A (ja) | 制御装置、制御方法およびプログラム | |
KR101603017B1 (ko) | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 | |
US20200265633A1 (en) | Image processing apparatus, image processing method, and storage medium | |
US10603794B2 (en) | Robotic camera system | |
CN108156441A (zh) | 视觉视频稳定 | |
US20180241938A1 (en) | Robotic Camera System | |
JP6365671B2 (ja) | 顔認証装置、顔認証方法および顔認証プログラム | |
EP3062286B1 (en) | Optical distortion compensation | |
EP3537704B1 (en) | Electronic device | |
CN112154436A (zh) | 在电子装置中识别对象的设备和方法 | |
CN109155055B (zh) | 关注区域图像生成装置 | |
JP6631694B2 (ja) | 捜索支援装置、捜索支援システム、捜索支援方法及びプログラム | |
US10419670B2 (en) | Omnidirectional image capturing method and apparatus performing the method | |
EP3136724B1 (en) | Wearable display apparatus, information processing apparatus, and control method therefor | |
JP2019163172A (ja) | システム、情報処理装置、情報処理方法、プログラム及び記録媒体 | |
JP6783618B2 (ja) | 情報表示装置、及びその処理制御方法 | |
US11956530B2 (en) | Electronic device comprising multi-camera, and photographing method | |
CN110869878A (zh) | 用户信号处理方法及执行该方法的装置 | |
CN109804408B (zh) | 一致的球面照片和视频朝向校正 | |
CN110892705A (zh) | 通过判断最佳状况来进行拍摄的方法及执行该方法的装置 | |
JP6689492B2 (ja) | 端末装置、データ処理システム及びプログラム | |
US12058433B2 (en) | Image processing method | |
JP4027294B2 (ja) | 移動体検出装置、移動体検出方法及び移動体検出プログラム | |
JP7321459B2 (ja) | 携帯端末、操作方法、及びプログラム | |
JP6917756B2 (ja) | 測位システム、装置、方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200716 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200716 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210624 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211004 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20211021 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220822 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7140160 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |