JP2013232181A - 画像処理装置、画像処理方法 - Google Patents
画像処理装置、画像処理方法 Download PDFInfo
- Publication number
- JP2013232181A JP2013232181A JP2013017636A JP2013017636A JP2013232181A JP 2013232181 A JP2013232181 A JP 2013232181A JP 2013017636 A JP2013017636 A JP 2013017636A JP 2013017636 A JP2013017636 A JP 2013017636A JP 2013232181 A JP2013232181 A JP 2013232181A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- situation
- detected
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Abstract
【解決手段】 撮像装置から出力される各フレームの画像を順次取得する。画像中に写っている状況を該画像に対する認識処理によって認識し、該認識した状況が規定の状況であれば、該画像及び該画像を含む各フレームの画像から、該規定の状況に関連する種別のオブジェクトを検出する。それぞれのオブジェクトの画像からの検出位置を用いて、オブジェクト同士が現実空間中で接触しているのか否かを判断する。
【選択図】 図2
Description
<本実施形態の概要>
先ず、本実施形態の概要について説明する。本実施形態では、サッカーの試合中のスライディング行為が反則であったか否かを、該サッカーの試合を撮像している1台の撮像装置から得られる各フレームの画像から判定する。
次に、画像処理装置として機能する本実施形態に係る行動認識装置の機能構成例について、図2のブロック図を用いて説明する。
David Lowe, “Distinctive Image Features from Scale-Invariant Keypoints”, International Journal of Computer Vision, 60, 2, pp. 91-110, 2004.
次に、Fiの要素である特徴ベクトルと、予め用意されたK個の特徴ベクトル{g1,g2,…,gK}それぞれとの距離dを計算し、最も距離が近いベクトルgjを探す。すなわち、下記の式を計算する。
Paul Viola and Michael J. Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features,” IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'01)
人体部位の検出に関しては例えば、下記の文献3に記載の方法にあるように、人物画像とその3次元の姿勢データが対になったデータセットから、姿勢データが類似した特定の部位の画像のみを訓練サンプルとして学習を行った検出器を用いることが可能である。
Lubomir Bourdev and Jitendra Malik, ”Poselets: Body Part Detectors Trained Using 3D Human Pose Annotations,” ICCV 2009
図4(a)に示す如く、フレーム1の画像からイベントとして「スライディング」が検出された場合、該画像から「足」の領域321、「ボール」の領域311が検出される。また、図4(b)に示す如く、フレーム2の画像からイベントとして「スライディング」が検出された場合、該画像から「足」の領域322、「ボール」の領域312が検出される。また、図4(c)に示す如く、フレーム3の画像からイベントとして「スライディング」が検出された場合、該画像から「足」の領域323、「ボール」の領域313が検出される。
第1の実施形態では、1台の撮像装置によって撮像されたフレームの画像を処理対象としたが、本実施形態では、それぞれ視点が異なる複数台の撮像装置によってスポーツの試合を撮像する。行動認識装置200は、それぞれの撮像装置のうち、最も接触判定に適した画像を撮像する撮像装置を選択し、選択した撮像装置による撮像画像を用いて第1の実施形態と同様の動作を行う。以下では、第1の実施形態との差分のみについて説明し、以下で特に触れない限りは、第1の実施形態と同様である。
本実施形態では、ボクシング競技における、パンチの当たり判定を行う。図11は、ボクシングの試合中に人物410と人物420が互いにパンチを打っている状況を撮像した画像を示している。また、図12は、図11の状況を上部から見た模式図である。411は人物410の頭部、412は人物410の左拳である。また、421は人物420の頭部、422は人物420の右拳である。人物410と人物420の周囲には、カメラ431、カメラ432、カメラ433が配置されている。各カメラから延びる点線は、各カメラの画角を示す。図11は、カメラ432から撮った画像である。図11の画像では、頭部411と右拳422には重複が見られる。また、カメラ433から得られる画像においても同様に頭部411と右拳422に重複が見られる。しかしながら、カメラ431の視点からは、頭部411と右拳422には重複が生じず、接触をしていないことがわかる。本実施形態に係る行動認識装置は、以上の現象を利用して対象物体同士の接触状態の判定を行う。
図2に示した各部はハードウェアで構成しても良いが、映像記憶部202及びルール記憶部204をハードディスクドライブ装置などのメモリ装置で構成し、その他の各部をコンピュータプログラムで構成しても良い。この場合、行動認識装置200には、一般のPC(パーソナルコンピュータ)等のコンピュータを適用することができる。
本実施形態では、監視カメラにおいて、物体の置き去りを検知し、さらに置き去りをした人物の特定を行う例について説明する。監視カメラの中には、映像認識機能により、物体の置き去りや持ち去りの検知機構を備えているものがある。物体の置き去りとは、監視しているシーン中に、鞄などの物体が置かれる状態を指し、テロ防止の観点からこれを検知する認識機能が開発されてきた。物体の持ち去りとは、監視しているシーン中から、絵などの物体が持ち去られる状態を指し、盗難防止の観点からこれを検知する認識機能が開発されてきた。
N.Dalal and B.Triggs, “Histograms of Oriented Gradients for Human Detection,” CVPR 2005
図14中の611および612は、ステップS504で検出された領域をバウンディングボックスで示したものである。ステップS505では、物体検出部205は、人が写っている領域から人の手を検出する。手の検出を行う理由は、物体の置き去りが専ら手によってなされるからである。手の検出は、第1の実施形態と同様に、例えば文献3に示される検出器を用いた方法によってなされる。
P. F. Felzenszwalb, et al., “Object Detection with Discriminatively Trained Part Based Models,” PAMI 2009
ステップS506では、接触判定部206は、ステップS505で検出した手が、置き去り物体と接触しているか否かを判定する。この判定は、置き去り物体のバウンディングボックスと、検出された手のバウンディングボックスと、がそれぞれ重なりあう領域を持つかどうかをチェックすることによってなされる。例えば、図14において、検出された手613のバウンディングボックスと、置き去り物体607のバウンディングボックスと、は重なっているため、手と置き去り物体は接触しているものとして判定する。
本実施形態では、小売店舗のレジ近辺を撮影するよう配置された監視カメラにおいて、従業員に対する暴力行為を検知する例について記述する。図16は、本実施形態において、監視カメラが撮影した映像中の1フレームを例示したものである。図16(a)は客が従業員に対して代金を払っている瞬間を撮影した画像を示し、図16(b)は客が従業員に対して暴力を振るっている瞬間を撮影した画像を示す。
第1の実施形態では、スライディング動作を検知し、スライディング動作のルール違反の判定のために検出する対象として足とボールとを選択している。これにより、ルールの判定に必要な物体のみを検出対象とし、計算コストを低減する効果がある。
上記の各実施形態で用いた「イベント」とは、スポーツ中の特定のプレイ、特定の動作など、スポーツにおける行為や状況であればどのようなものであってもよく、上記の実施形態で説明したものに限らない。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (8)
- 撮像装置から出力される各フレームの画像を順次取得する手段と、
前記画像中に写っている状況を該画像に対する認識処理によって認識し、該認識した状況が規定の状況であれば、該画像及び該画像を含む各フレームの画像から、該規定の状況に関連する種別のオブジェクトを検出する検出手段と、
前記検出手段が検出したそれぞれのオブジェクトの画像からの検出位置を用いて、オブジェクト同士が現実空間中で接触しているのか否かを判断する判断手段と
を備えることを特徴とする画像処理装置。 - 前記判断手段は、
前記各フレームの画像のうち、前記規定の状況を構成する第1のオブジェクト及び第2のオブジェクトのそれぞれの該画像上の検出位置の間の距離が閾値以下となる画像を対象画像とし、
前記第1のオブジェクトの前記対象画像上の加速度の大きさが閾値以上且つ、該加速度を表すベクトルと、前記第2のオブジェクトの前記対象画像上の速度を表すベクトルと、のなす角が閾値よりも小さい場合には、前記第1のオブジェクトと前記第2のオブジェクトとが現実空間中で接触していると判断することを特徴とする請求項1に記載の画像処理装置。 - 前記検出手段は、
複数台の撮像装置のそれぞれから出力された画像中に写っている状況を該画像に対する認識処理によって認識し、該認識した状況が規定の状況であれば、前記複数台の撮像装置のそれぞれから出力された画像のうち該認識の際に計算した状況生起確率が最も大きい画像及び該画像を含む各フレームの画像から、該規定の状況に関連する種別のオブジェクトを検出することを特徴とする請求項1に記載の画像処理装置。 - 前記検出手段は、物体の置き去り若しくは持ち去りを行った人物、を検出することを特徴とする請求項1に記載の画像処理装置。
- 前記判断手段は、暴力行為があったか否かを判断することを特徴とする請求項1に記載の画像処理装置。
- 更に、
前記判断手段が接触していると判断した結果に対応する情報を通報する通報手段を備えることを特徴とする請求項1に記載の画像処理装置。 - 画像処理装置が行う画像処理方法であって、
前記画像処理装置の取得手段が、撮像装置から出力される各フレームの画像を順次取得する工程と、
前記画像処理装置の検出手段が、前記画像中に写っている状況を該画像に対する認識処理によって認識し、該認識した状況が規定の状況であれば、該画像及び該画像を含む各フレームの画像から、該規定の状況に関連する種別のオブジェクトを検出する検出工程と、
前記画像処理装置の判断手段が、前記検出工程で検出したそれぞれのオブジェクトの画像からの検出位置を用いて、オブジェクト同士が現実空間中で接触しているのか否かを判断する判断工程と
を備えることを特徴とする画像処理方法。 - コンピュータを、請求項1乃至6の何れか1項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013017636A JP6148480B2 (ja) | 2012-04-06 | 2013-01-31 | 画像処理装置、画像処理方法 |
US13/854,479 US9699419B2 (en) | 2012-04-06 | 2013-04-01 | Image processing apparatus and image processing method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012087934 | 2012-04-06 | ||
JP2012087934 | 2012-04-06 | ||
JP2013017636A JP6148480B2 (ja) | 2012-04-06 | 2013-01-31 | 画像処理装置、画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013232181A true JP2013232181A (ja) | 2013-11-14 |
JP2013232181A5 JP2013232181A5 (ja) | 2016-03-10 |
JP6148480B2 JP6148480B2 (ja) | 2017-06-14 |
Family
ID=49291993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013017636A Active JP6148480B2 (ja) | 2012-04-06 | 2013-01-31 | 画像処理装置、画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9699419B2 (ja) |
JP (1) | JP6148480B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111385640A (zh) * | 2018-12-28 | 2020-07-07 | 广州市百果园信息技术有限公司 | 视频封面的确定方法、装置、设备及存储介质 |
WO2020149242A1 (ja) * | 2019-01-17 | 2020-07-23 | Arithmer株式会社 | 作業支援装置、作業支援方法、プログラム、及び対象物検知モデル。 |
EP3689236A1 (en) | 2019-01-31 | 2020-08-05 | Konica Minolta, Inc. | Posture estimation device, behavior estimation device, posture estimation program, and posture estimation method |
JP2020166526A (ja) * | 2019-03-29 | 2020-10-08 | Arithmer株式会社 | 作業支援装置、作業支援方法、プログラム、及び対象物検知モデル。 |
JP2020201863A (ja) * | 2019-06-13 | 2020-12-17 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2022196213A1 (ja) * | 2021-03-18 | 2022-09-22 | 矢崎総業株式会社 | 見守りシステム |
EP4071727A1 (en) | 2021-04-06 | 2022-10-12 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
WO2023112214A1 (ja) * | 2021-12-15 | 2023-06-22 | 日本電信電話株式会社 | 注目映像検出装置、方法およびプログラム |
JP7465773B2 (ja) | 2020-09-17 | 2024-04-11 | 京セラ株式会社 | システム、電子機器、電子機器の制御方法、及びプログラム |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101937272B1 (ko) * | 2012-09-25 | 2019-04-09 | 에스케이 텔레콤주식회사 | 복수 개의 촬영영상으로부터 이벤트를 검출하는 장치 및 방법 |
US9646387B2 (en) * | 2014-10-15 | 2017-05-09 | Comcast Cable Communications, Llc | Generation of event video frames for content |
DE102016201987A1 (de) * | 2015-02-16 | 2016-08-18 | Robert Bosch Engineering and Business Solutions Ltd. | Ein Verfahren zum Testen einer durch eine Displayeinrichtung angezeigten Grafik |
JP6241796B2 (ja) | 2015-12-25 | 2017-12-06 | パナソニックIpマネジメント株式会社 | 置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法 |
CN106709461B (zh) * | 2016-12-28 | 2019-09-17 | 中国科学院深圳先进技术研究院 | 基于视频的行为识别方法及装置 |
US11205273B2 (en) * | 2019-03-11 | 2021-12-21 | Velo Software, Llc | Methods and systems of tracking velocity |
US11164007B2 (en) * | 2019-07-23 | 2021-11-02 | Conduent Business Services, Llc | Method and system for detecting the owner of an abandoned object from a surveillance video |
DE102019214707A1 (de) * | 2019-09-26 | 2021-04-01 | Siemens Mobility GmbH | Verfahren, Vorrichtung und Schienenfahrzeug |
GB2589904A (en) * | 2019-12-12 | 2021-06-16 | Sony Corp | A device, computer program and method |
CN114842372A (zh) * | 2022-03-31 | 2022-08-02 | 北京的卢深视科技有限公司 | 接触式犯规检测方法、装置、电子设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008307658A (ja) * | 2007-06-15 | 2008-12-25 | Toyota Motor Corp | 自律移動装置 |
JP2009519510A (ja) * | 2005-11-28 | 2009-05-14 | ハネウェル・インターナショナル・インコーポレーテッド | 異常な群集の行動の検出 |
WO2011106888A1 (en) * | 2010-03-05 | 2011-09-09 | Interactive Sports Technologies Inc. | Apparatus and method for measuring golf club shaft flex and golf simulation system incorporating the same |
JP2012048691A (ja) * | 2010-08-30 | 2012-03-08 | Secom Co Ltd | 画像監視装置 |
WO2012029518A1 (ja) * | 2010-08-31 | 2012-03-08 | オムロン株式会社 | 挙動解析装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH113499A (ja) * | 1997-06-10 | 1999-01-06 | Hitachi Ltd | 移動体管理システム,移動体載装置,基地局備装置および移動体管理方法 |
US6162123A (en) * | 1997-11-25 | 2000-12-19 | Woolston; Thomas G. | Interactive electronic sword game |
WO2003022369A2 (en) * | 2001-09-12 | 2003-03-20 | Pillar Vision Corporation | Trajectory detection and feedback system |
US20050134685A1 (en) * | 2003-12-22 | 2005-06-23 | Objectvideo, Inc. | Master-slave automated video-based surveillance system |
EP1617374A4 (en) | 2003-04-11 | 2008-08-13 | Nat Inst Inf & Comm Tech | PICTURE IDENTIFIER AND PICTURE IDENTIFICATION PROGRAM |
WO2007052285A2 (en) * | 2005-07-22 | 2007-05-10 | Yogesh Chunilal Rathod | Universal knowledge management and desktop search system |
EP2150057A3 (en) * | 2008-07-29 | 2013-12-11 | Gerald Curry | Camera-based tracking and position determination for sporting events |
US8228381B2 (en) * | 2008-09-03 | 2012-07-24 | Walter Accurso | Video and data capturing system and method |
US8477046B2 (en) * | 2009-05-05 | 2013-07-02 | Advanced Technologies Group, LLC | Sports telemetry system for collecting performance metrics and data |
US9053562B1 (en) * | 2010-06-24 | 2015-06-09 | Gregory S. Rabin | Two dimensional to three dimensional moving image converter |
JP5848551B2 (ja) | 2011-08-26 | 2016-01-27 | キヤノン株式会社 | 学習装置、学習装置の制御方法、検出装置、検出装置の制御方法、およびプログラム |
GB2496591B (en) * | 2011-11-11 | 2017-12-27 | Sony Corp | Camera Movement Correction |
US9999825B2 (en) * | 2012-02-23 | 2018-06-19 | Playsight Interactive Ltd. | Smart-court system and method for providing real-time debriefing and training services of sport games |
-
2013
- 2013-01-31 JP JP2013017636A patent/JP6148480B2/ja active Active
- 2013-04-01 US US13/854,479 patent/US9699419B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009519510A (ja) * | 2005-11-28 | 2009-05-14 | ハネウェル・インターナショナル・インコーポレーテッド | 異常な群集の行動の検出 |
JP2008307658A (ja) * | 2007-06-15 | 2008-12-25 | Toyota Motor Corp | 自律移動装置 |
WO2011106888A1 (en) * | 2010-03-05 | 2011-09-09 | Interactive Sports Technologies Inc. | Apparatus and method for measuring golf club shaft flex and golf simulation system incorporating the same |
JP2012048691A (ja) * | 2010-08-30 | 2012-03-08 | Secom Co Ltd | 画像監視装置 |
WO2012029518A1 (ja) * | 2010-08-31 | 2012-03-08 | オムロン株式会社 | 挙動解析装置 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111385640A (zh) * | 2018-12-28 | 2020-07-07 | 广州市百果园信息技术有限公司 | 视频封面的确定方法、装置、设备及存储介质 |
WO2020149242A1 (ja) * | 2019-01-17 | 2020-07-23 | Arithmer株式会社 | 作業支援装置、作業支援方法、プログラム、及び対象物検知モデル。 |
EP3689236A1 (en) | 2019-01-31 | 2020-08-05 | Konica Minolta, Inc. | Posture estimation device, behavior estimation device, posture estimation program, and posture estimation method |
US11298050B2 (en) | 2019-01-31 | 2022-04-12 | Konica Minolta, Inc. | Posture estimation device, behavior estimation device, storage medium storing posture estimation program, and posture estimation method |
JP2020166526A (ja) * | 2019-03-29 | 2020-10-08 | Arithmer株式会社 | 作業支援装置、作業支援方法、プログラム、及び対象物検知モデル。 |
JP2020201863A (ja) * | 2019-06-13 | 2020-12-17 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP7401199B2 (ja) | 2019-06-13 | 2023-12-19 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP7465773B2 (ja) | 2020-09-17 | 2024-04-11 | 京セラ株式会社 | システム、電子機器、電子機器の制御方法、及びプログラム |
WO2022196213A1 (ja) * | 2021-03-18 | 2022-09-22 | 矢崎総業株式会社 | 見守りシステム |
JP7326363B2 (ja) | 2021-03-18 | 2023-08-15 | 矢崎総業株式会社 | 見守りシステム |
EP4071727A1 (en) | 2021-04-06 | 2022-10-12 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
WO2023112214A1 (ja) * | 2021-12-15 | 2023-06-22 | 日本電信電話株式会社 | 注目映像検出装置、方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US9699419B2 (en) | 2017-07-04 |
JP6148480B2 (ja) | 2017-06-14 |
US20130265434A1 (en) | 2013-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6148480B2 (ja) | 画像処理装置、画像処理方法 | |
JP6013241B2 (ja) | 人物認識装置、及び方法 | |
Shao et al. | Crowdhuman: A benchmark for detecting human in a crowd | |
US10965886B2 (en) | System and method of generating a composite frame | |
JP6525453B2 (ja) | オブジェクト位置推定システム、及びそのプログラム | |
CN110648352B (zh) | 一种异常事件的检测方法、装置及电子设备 | |
EP3324307B1 (en) | Retrieval device, retrieval method, and computer-readable medium | |
TW201005656A (en) | Object matching for tracking, indexing, and search | |
CN113574866A (zh) | 校准捕捉广播视频的移动相机的系统及方法 | |
US10037467B2 (en) | Information processing system | |
CN107305693B (zh) | 信息处理装置、信息处理方法及存储介质 | |
Nambiar et al. | A multi-camera video dataset for research on high-definition surveillance | |
JP4886707B2 (ja) | オブジェクト軌道識別装置、オブジェクト軌道識別方法、及びオブジェクト軌道識別プログラム | |
CN111814510A (zh) | 一种遗留物主体检测方法及装置 | |
JP4465150B2 (ja) | 基準点に対する物体の相対位置を測定するシステムおよび方法 | |
US20190005331A1 (en) | Apparatus and method for detecting event based on deterministic finite automata in soccer video | |
Soman et al. | Detection of anomalous behavior in an examination hall towards automated proctoring | |
CN114581990A (zh) | 一种跑步智能测试方法以及装置 | |
Taha et al. | Exploring behavior analysis in video surveillance applications | |
Hsu et al. | 2D Histogram-based player localization in broadcast volleyball videos | |
Yu | Automatic basketball tracking in broadcast basketball video | |
Aljarrah | A computer vision system to detect diving cases in soccer | |
US20240013427A1 (en) | Video analysis apparatus, video analysis method, and a non-transitory storage medium | |
WO2022038702A1 (en) | Causal interaction detection apparatus, control method, and computer-readable storage medium | |
Chen et al. | Recognizing jump patterns with physics-based validation in human moving trajectory |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160122 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170424 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170519 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6148480 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |