JP2020078031A - 画像処理装置、画像処理方法 - Google Patents
画像処理装置、画像処理方法 Download PDFInfo
- Publication number
- JP2020078031A JP2020078031A JP2018211699A JP2018211699A JP2020078031A JP 2020078031 A JP2020078031 A JP 2020078031A JP 2018211699 A JP2018211699 A JP 2018211699A JP 2018211699 A JP2018211699 A JP 2018211699A JP 2020078031 A JP2020078031 A JP 2020078031A
- Authority
- JP
- Japan
- Prior art keywords
- image
- specific object
- roi
- image processing
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 51
- 238000003672 processing method Methods 0.000 title claims 2
- 238000001514 detection method Methods 0.000 claims abstract description 53
- 238000003384 imaging method Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 71
- 230000006835 compression Effects 0.000 abstract description 40
- 238000007906 compression Methods 0.000 abstract description 40
- 230000008569 process Effects 0.000 description 29
- 210000000746 body region Anatomy 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000013139 quantization Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000005484 gravity Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000271566 Aves Species 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241001137251 Corvidae Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- OWZREIFADZCYQD-NSHGMRRFSA-N deltamethrin Chemical compound CC1(C)[C@@H](C=C(Br)Br)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 OWZREIFADZCYQD-NSHGMRRFSA-N 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本実施形態では、動画像におけるフレーム画像から特定物体を検出すると、該検出の結果(検出結果)に基づいて、フレーム画像に対して注目領域(ROI)を設定する。つまり、フレーム画像に対し、特定物体に基づくROIを、ユーザによる操作を介さずに設定する。
フレーム間差分法を用いる場合は、第2検出部214は、次のように動作する。つまり、動体検出対象のフレーム(例えば現在のフレーム)の撮像画像の画素値と、そのフレームとは異なるタイミングに撮像されたフレーム(例えば1つ前のフレーム(基準のフレーム))の撮像画像の画素値と、の差分値を算出する。そして、該差分値が閾値以上である部分領域を動体の領域(動体領域)として検出する。なお、画素値は一例であって、フレーム画像における他の特徴量を用いてもよい。
背景差分法を用いる場合は、まず、第2検出部214は、動体が存在しないと想定される時に撮像されたフレーム(基準のフレーム)の撮像画像を背景画像とする。そして第2検出部214は、背景画像の画素値と、動体検出対象のフレーム(例えば現在のフレーム)の撮像画像の画素値と、の差分値を算出する。なお、画素値は一例であって、フレーム画像における他の特徴量を用いてもよい。そして第2検出部214は、差分値が閾値以上である部分領域を動体領域として検出する。なお、第2検出部214は、差分値が閾値以上となる画素の位置に基づいて、差分値が閾値よりも小さい画素から成る領域を動体領域として検出してもよい。例えば、差分値が閾値よりも小さい画素の周りが、差分値が閾値以上の画素によって囲まれている場合は、第2検出部214は、差分値が閾値よりも小さい画素も動体領域として検出してもよい。
本実施形態を含む以下の各実施形態では第1の実施形態との差分について説明し、以下で特に触れない限りは第1の実施形態と同様であるものとする。第1の実施形態では、駐車場のシーンを想定し、特定物体が車であるケースについて説明したが、特定物体はユースケースに応じて様々なものが考えられる。例えば駐輪場における自転車や空港シーンでのスーツケース、海上での船舶、車両基地の電車や飛行機、店頭や倉庫に保管される商品などがある。検出対象とする特定物体が異なると、検出結果に応じて特定物体ROIを生成する方法が異なる場合がある。このような場合の処理の手順について説明する。
路上駐車などを取り締まりたい場合に、路上に駐車された車に対して特定物体ROIを設定し、運転者が戻ったときに該特定物体ROIを高画質化したい場合を想定する。このとき、特定物体ROIは駐車禁止エリアに止められた車のみであり、信号待ちで止まっている車や、駐車可能エリアに止められている車は対象外としたい。
第1〜3の実施形態では、動体の種別に関係なく処理を行っていたが、フレーム画像内の動体のうち特定の種別の動体のみを対象とするようにしても良い。例えば、動体検出の対象を人などに限定するようにしても良い。このような制限を加えることにより、フレーム画像内に犬や猫などの小動物、カラスなどの鳥類が現れた場合であっても、これらが動体として検出されて高画質化のトリガとなることがなくなり、より無駄の少ない高画質化が可能となる。
第1〜4の実施形態では、動体を含む特定物体ROI全体を高画質化するものとして説明したが、状況によっては、動体を含む特定物体ROIの部分領域のみを高画質化するようにしても良い。
第1〜5の実施形態では、監視目的の撮像を例に説明したが、放送目的等、種々の目的の撮像技術に適用することも可能である。また、第1〜5の実施形態では、撮像装置100はネットワーク300に接続されているものとして説明したが、ネットワーク300に接続されていなくても良い。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (16)
- 動画像におけるフレーム画像から特定物体を検出する検出手段と、
前記検出手段による検出結果に基づいて、前記フレーム画像に対して注目領域を設定する設定手段と、
前記フレーム画像から検出された動体の領域の少なくとも一部と重なっている注目領域が、その他の画像領域よりも相対的に高画質で符号化されるように、前記フレーム画像を符号化する符号化手段と
を備えることを特徴とする画像処理装置。 - 前記設定手段は、特定物体が規定時間以上検出されていない注目領域を削除することを特徴とする請求項1に記載の画像処理装置。
- 前記設定手段は、特定物体の領域を拡大した領域を注目領域として設定することを特徴とする請求項1または2に記載の画像処理装置。
- 前記設定手段は、特定物体の属性に応じて前記拡大の率を制御することを特徴とする請求項3に記載の画像処理装置。
- 前記設定手段は、注目領域に含まれていない静止物体として判定された特定物体の検出結果に基づいて注目領域を設定することを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。
- 注目領域に含まれていない静止物体として判定された特定物体は、ユーザにより指定された範囲内の特定物体であることを特徴とする請求項5に記載の画像処理装置。
- 前記符号化手段は、動体の領域の少なくとも一部と重なっている注目領域が一定時間、その他の画像領域よりも相対的に高画質で符号化されるように、前記フレーム画像を符号化することを特徴とする請求項1乃至6の何れか1項に記載の画像処理装置。
- 前記符号化手段は、前記設定手段が設定した注目領域の中に、動体の領域の少なくとも一部と重なっている注目領域がない場合には、注目領域とその他の領域とが同じ画質で符号化されるように、前記フレーム画像を符号化することを特徴とする請求項1乃至7の何れか1項に記載の画像処理装置。
- 前記符号化手段は、注目領域内の特定物体の属性に応じて該注目領域の画質を制御することを特徴とする請求項1乃至8の何れか1項に記載の画像処理装置。
- 前記符号化手段は、動体の領域の少なくとも一部と重なっている注目領域の一部が、その他の画像領域よりも相対的に高画質で符号化されるように、前記フレーム画像を符号化することを特徴とする請求項1乃至9の何れか1項に記載の画像処理装置。
- 更に、
動画像におけるフレーム画像を撮像により取得する手段を備えることを特徴とする請求項1乃至10の何れか1項に記載の画像処理装置。 - 更に、
動画像におけるフレーム画像を外部の装置から取得する手段を備えることを特徴とする請求項1乃至10の何れか1項に記載の画像処理装置。 - 前記特定物体は、検出する対象として予め指定された物体であることを特徴とする請求項1乃至12の何れか1項に記載の画像処理装置。
- 前記動体は、検出する対象として予め指定された物体であることを特徴とする請求項1乃至13の何れか1項に記載の画像処理装置。
- 画像処理装置が行う画像処理方法であって、
前記画像処理装置の検出手段が、動画像におけるフレーム画像から特定物体を検出する検出工程と、
前記画像処理装置の設定手段が、前記検出工程による検出結果に基づいて、前記フレーム画像に対して注目領域を設定する設定工程と、
前記画像処理装置の符号化手段が、前記フレーム画像から検出された動体の領域の少なくとも一部と重なっている注目領域が、その他の画像領域よりも相対的に高画質で符号化されるように、前記フレーム画像を符号化する符号化工程と
を備えることを特徴とする画像処理方法。 - コンピュータを、請求項1乃至14の何れか1項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018211699A JP7213662B2 (ja) | 2018-11-09 | 2018-11-09 | 画像処理装置、画像処理方法 |
US16/670,008 US11281927B2 (en) | 2018-11-09 | 2019-10-31 | Image processing apparatus, image processing method, and non-transitory computer-readable recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018211699A JP7213662B2 (ja) | 2018-11-09 | 2018-11-09 | 画像処理装置、画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020078031A true JP2020078031A (ja) | 2020-05-21 |
JP2020078031A5 JP2020078031A5 (ja) | 2021-12-09 |
JP7213662B2 JP7213662B2 (ja) | 2023-01-27 |
Family
ID=70552175
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018211699A Active JP7213662B2 (ja) | 2018-11-09 | 2018-11-09 | 画像処理装置、画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11281927B2 (ja) |
JP (1) | JP7213662B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102420821B1 (ko) * | 2021-09-02 | 2022-07-15 | 렉스젠(주) | 해상도 변환을 이용한 영상 분석 시스템 및 그에 관한 방법 |
KR102492679B1 (ko) * | 2022-07-07 | 2023-01-27 | 주식회사 디케이앤트 | 객체 분석에 기반한 자동 감시 영상 생성 방법 및 그 장치 및 방법 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11295541B2 (en) * | 2019-02-13 | 2022-04-05 | Tencent America LLC | Method and apparatus of 360 degree camera video processing with targeted view |
US11277626B2 (en) * | 2020-02-21 | 2022-03-15 | Alibaba Group Holding Limited | Region of interest quality controllable video coding techniques |
DE102021207643A1 (de) * | 2021-07-16 | 2023-01-19 | Robert Bosch Gesellschaft mit beschränkter Haftung | Überwachungsanordnung und Verfahren zur Überwachung |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008048243A (ja) * | 2006-08-18 | 2008-02-28 | Sony Corp | 画像処理装置、画像処理方法および監視カメラ |
US20100119157A1 (en) * | 2007-07-20 | 2010-05-13 | Fujifilm Corporation | Image processing apparatus, image processing method and computer readable medium |
US20130208784A1 (en) * | 2012-02-10 | 2013-08-15 | Google Inc. | Adaptive region of interest |
JP2013187769A (ja) * | 2012-03-08 | 2013-09-19 | Panasonic Corp | 符号化装置 |
JP2017126896A (ja) * | 2016-01-14 | 2017-07-20 | 株式会社東芝 | 監視システム、監視装置、および再生装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7092552B2 (en) | 2003-07-30 | 2006-08-15 | Xerox Corporation | System and method for measuring and quantizing document quality |
US7542613B2 (en) * | 2004-09-21 | 2009-06-02 | Sanyo Electric Co., Ltd. | Image processing apparatus |
JP4390671B2 (ja) | 2004-09-21 | 2009-12-24 | 三洋電機株式会社 | 画像処理装置 |
US9224062B2 (en) | 2013-08-09 | 2015-12-29 | Xerox Corporation | Hybrid method and system of video and vision based access control for parking stall occupancy determination |
US10157476B1 (en) * | 2017-06-15 | 2018-12-18 | Satori Worldwide, Llc | Self-learning spatial recognition system |
US10349060B2 (en) * | 2017-06-30 | 2019-07-09 | Intel Corporation | Encoding video frames using generated region of interest maps |
US10582196B2 (en) * | 2017-06-30 | 2020-03-03 | Intel Corporation | Generating heat maps using dynamic vision sensor events |
WO2019021853A1 (ja) * | 2017-07-28 | 2019-01-31 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置および方法 |
US11023761B2 (en) * | 2017-11-06 | 2021-06-01 | EagleSens Systems Corporation | Accurate ROI extraction aided by object tracking |
KR101949676B1 (ko) * | 2017-12-20 | 2019-02-19 | 이노뎁 주식회사 | 압축영상에 대한 신택스 기반의 객체 침입 감지 방법 |
JP7050509B2 (ja) | 2018-01-31 | 2022-04-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN108986526A (zh) * | 2018-07-04 | 2018-12-11 | 深圳技术大学(筹) | 一种基于视觉传感跟踪车辆的智能停车方法及系统 |
IL260438B (en) * | 2018-07-05 | 2021-06-30 | Agent Video Intelligence Ltd | A method and system for identifying objects in video |
CN110830757B (zh) * | 2018-08-07 | 2021-04-20 | 浙江宇视科技有限公司 | 图像码率处理方法、装置及计算机可读存储介质 |
EP3808086A1 (en) * | 2018-08-14 | 2021-04-21 | Huawei Technologies Co., Ltd. | Machine-learning-based adaptation of coding parameters for video encoding using motion and object detection |
-
2018
- 2018-11-09 JP JP2018211699A patent/JP7213662B2/ja active Active
-
2019
- 2019-10-31 US US16/670,008 patent/US11281927B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008048243A (ja) * | 2006-08-18 | 2008-02-28 | Sony Corp | 画像処理装置、画像処理方法および監視カメラ |
US20100119157A1 (en) * | 2007-07-20 | 2010-05-13 | Fujifilm Corporation | Image processing apparatus, image processing method and computer readable medium |
US20130208784A1 (en) * | 2012-02-10 | 2013-08-15 | Google Inc. | Adaptive region of interest |
JP2013187769A (ja) * | 2012-03-08 | 2013-09-19 | Panasonic Corp | 符号化装置 |
JP2017126896A (ja) * | 2016-01-14 | 2017-07-20 | 株式会社東芝 | 監視システム、監視装置、および再生装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102420821B1 (ko) * | 2021-09-02 | 2022-07-15 | 렉스젠(주) | 해상도 변환을 이용한 영상 분석 시스템 및 그에 관한 방법 |
KR102492679B1 (ko) * | 2022-07-07 | 2023-01-27 | 주식회사 디케이앤트 | 객체 분석에 기반한 자동 감시 영상 생성 방법 및 그 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
US11281927B2 (en) | 2022-03-22 |
US20200151487A1 (en) | 2020-05-14 |
JP7213662B2 (ja) | 2023-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7213662B2 (ja) | 画像処理装置、画像処理方法 | |
US10582196B2 (en) | Generating heat maps using dynamic vision sensor events | |
US10349060B2 (en) | Encoding video frames using generated region of interest maps | |
US20220312021A1 (en) | Analytics-modulated coding of surveillance video | |
CN109587480B (zh) | 图像处理设备、图像处理方法和记录介质 | |
US9582722B2 (en) | Video-based vehicle speed estimation from motion vectors in video streams | |
WO2016173277A9 (zh) | 视频编码方法、解码方法及其装置 | |
JP2010136032A (ja) | 映像監視システム | |
US10972663B2 (en) | Methods for automatically switching video capturing and playing back frame rate | |
KR102127276B1 (ko) | 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법 | |
JP2010204860A (ja) | 映像監視システム | |
JP7050509B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN114157870A (zh) | 编码方法、介质及电子设备 | |
KR102372164B1 (ko) | 촬영 장치, 그의 오브젝트 감지 방법 및 비일시적 컴퓨터 판독가능 기록매체 | |
JP2021013146A (ja) | 画像処理装置、画像処理方法 | |
JP5235746B2 (ja) | 画像送信装置、およびそれを搭載した撮像装置 | |
CN111542858B (zh) | 动态图像解析装置、系统、方法、以及存储介质 | |
JP2013090004A (ja) | 画像受信装置 | |
US20210329285A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP7143263B2 (ja) | 符号化パラメータを用いて対象識別位置を決定する対象識別方法、装置及びプログラム | |
Rodriguez-Benitez et al. | An IoT approach for efficient overtake detection of vehicles using H264/AVC video data | |
EP4195166A1 (en) | Apparatus and method for transmitting images and apparatus and method for receiving images | |
US20200252637A1 (en) | Moving image processor, moving image processing system, and moving image processing method | |
Zhou et al. | A multilevel region-of-interest based rate control scheme for video communication |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211029 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211029 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230117 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7213662 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |