JP2015137857A - 検出制御装置、プログラム及び検出システム - Google Patents
検出制御装置、プログラム及び検出システム Download PDFInfo
- Publication number
- JP2015137857A JP2015137857A JP2014007774A JP2014007774A JP2015137857A JP 2015137857 A JP2015137857 A JP 2015137857A JP 2014007774 A JP2014007774 A JP 2014007774A JP 2014007774 A JP2014007774 A JP 2014007774A JP 2015137857 A JP2015137857 A JP 2015137857A
- Authority
- JP
- Japan
- Prior art keywords
- processing
- target
- detection
- detection control
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
【解決手段】検出制御装置10は、標的細胞を検出する対象の検体を撮像した撮像画像を取得する検出対象画像取得部16と、撮像画像の中に複数の処理対象領域を設定する処理対象領域設定部18と、画像領域から標的細胞を検出する複数の処理装置のそれぞれに対するデータの振り分け量に応じて、複数の処理対象領域を複数の処理装置に振り分ける処理対象領域振分部と、複数の処理装置のそれぞれから、複数の処理装置にそれぞれ振り分けられた処理対象領域から標的細胞を検出した処理の結果を取得する検出結果取得部24と、を有する。
【選択図】図2
Description
図1には、本実施形態に係る標的細胞検出システム1のシステム構成図を示した。図1に示されるように標的細胞検出システム1は、光学顕微鏡2、検出制御装置10、入力装置7、表示装置6、演算リソースRを含む。演算リソースRは、複数の処理装置50−1〜50−N(Nは2以上の整数)を含み、各処理装置50−i(iは1〜Nの整数)は検出制御装置10と通信可能に接続されている。また、検出制御装置10は、光学顕微鏡2、入力装置7及び表示装置6ともデータ通信可能に接続されている。なお、本実施形態では、検出制御装置10の外部に演算リソースRが設けられている例について説明するが、演算リソースRは検出制御装置10の内部に設けられていることとしても構わない。
次に、図2及び図3を参照しながら、本実施形態に係る検出制御装置10と処理装置に備えられる機能の一例について説明する。
まず、図2に示した検出制御装置10の機能ブロック図に基づいて、検出制御装置10に備えられる機能の一例について説明する。
(1)処理対象領域61の面積=W2・H2
(2)処理対象領域61の隣り合う二辺の和=W2+H2
(3)処理対象領域61のデータサイズ(RGBとして)=W2・H2・3
(4)核候補領域60の面積=W1・H1
(5)核候補領域60の隣り合う二辺の和=W1+H1
(6)核候補領域60のデータサイズ(RGBとして)=W1・H1・3
(7)核候補領域60内の黒画素数
(8)核候補領域60内の黒画素の外周の長さ
次に、図3に示した処理装置50−i(iは1〜Nの整数)の機能ブロック図に基づいて、処理装置50−iに備えられる機能の一例について説明する。
次に、図8〜図11に基づき、本実施形態に係る標的細胞検出システム1において実行される処理の一例について詳細に説明する。
図8には、標的細胞検出システム1において実行される標的細胞の検出処理の全体の流れを示すシーケンス図を示した。図8に示されるように、検出制御装置10は、光学顕微鏡から検体(母体血)を撮像した撮像画像(検出対象画像)を取得する(S101)。そして、検出制御装置10は、S101で取得した撮像画像から核候補領域抽出部17により核候補領域を抽出するとともに(S102)、S102で抽出したそれぞれの核候補領域について処理対象領域設定部18により処理対象領域を設定する(S103)。本シーケンスの例では、処理対象領域はM(Mは2以上の整数)個設定されたとして、それぞれの処理対象領域をA1〜AMと表記することとする。
図9に示されるように、検出制御装置10は、S103で設定した処理対象領域A1〜AMのそれぞれの負荷指標値L1〜LMを取得し(S201)、取得した負荷指標値L1〜LMの総和SLを算出する(S202)。負荷指標値は、処理対象領域に設定する識別対象領域の数、処理対象領域の面積、処理対象領域内の核候補領域の面積等としてよい。
図10に示されるように、検出制御装置10は、まず処理対象領域A1〜AMのそれぞれの振分済みフラグ(真偽値であり、振分済み(真:T)、未振分(偽:F)とする)を、未振分(偽:F)に設定する(S301)。
図11に示されるように、処理装置50−i(iは1〜Nのいずれかの整数)は、識別パラメータ取得部54により検出制御装置10から標的細胞の画像特徴を学習した識別器の識別パラメータを取得する(S401)。
Claims (9)
- 標的細胞を検出する対象の検体を撮像した撮像画像を取得する撮像画像取得手段と、
前記撮像画像の中に複数の処理対象領域を設定する設定手段と、
画像領域から前記標的細胞を検出する複数の処理部のそれぞれに対するデータの振り分け量に応じて、前記複数の処理対象領域を前記複数の処理部に振り分ける振分手段と、
前記複数の処理部のそれぞれから、該複数の処理部にそれぞれ振り分けられた処理対象領域から前記標的細胞を検出した処理の結果を取得する処理結果取得手段と、
を含む検出制御装置。 - 前記複数の処理部のそれぞれに対するデータの振り分け量は、該複数の処理部のそれぞれの性能値が大きいほど大きく設定される
請求項1に記載の検出制御装置。 - 前記複数の処理部のそれぞれに対するデータの振り分け量は、該複数の処理部のそれぞれの性能値に比例して設定される
請求項2に記載の検出制御装置。 - 前記複数の処理対象領域のそれぞれに対して、前記標的細胞を検出する処理の負荷の大きさに対応した負荷指標値を決定する第1決定手段と、
前記複数の処理部のそれぞれに振り分ける負荷指標値の和を、前記複数の処理対象領域の負荷指標値の総和と、前記複数の処理部のそれぞれの性能値に基づいて決定する第2決定手段と、
前記振分手段は、前記複数の処理部のそれぞれに対して前記第2決定手段により決定した負荷指標値の和に基づいて、前記複数の処理対象領域の中から選択した1以上の処理対象領域を振り分ける
請求項2又は3に記載の検出制御装置。 - 前記第1決定手段は、前記処理対象領域に設定される前記標的細胞を検出する対象となる予め定められたサイズの画像領域の数に基づいて前記負荷指標値を決定する
請求項4に記載の検出制御装置。 - 前記処理結果取得手段により前記複数の処理部のそれぞれから処理の結果を取得した後に、該取得した処理の結果に基づく検出結果を出力する手段をさらに含む
請求項1乃至5のいずれかに記載の検出制御装置。 - 前記撮像画像から核の候補となる画像領域である核候補領域を抽出する抽出手段を含み、
前記設定手段は、前記抽出手段により抽出された複数の核候補領域のそれぞれに対して、前記複数の処理対象領域を設定する
請求項1乃至6のいずれかに記載の検出制御装置。 - 標的細胞を検出する対象の検体を撮像した撮像画像を取得する撮像画像取得手段と、
前記撮像画像の中に複数の処理対象領域を設定する設定手段と、
画像領域から前記標的細胞を検出する複数の処理部のそれぞれに対するデータの振り分け量に応じて、前記複数の処理対象領域を前記複数の処理部に振り分ける振分手段と、
前記複数の処理部のそれぞれから、該複数の処理部にそれぞれ振り分けられた処理対象領域から前記標的細胞を検出した処理の結果を取得する処理結果取得手段
としてコンピュータを機能させるためのプログラム。 - 検出制御装置と、複数の処理装置を含み、
前記検出制御装置は、
標的細胞を検出する対象の検体を撮像した撮像画像を取得する撮像画像取得手段と、
前記撮像画像の中に複数の処理対象領域を設定する設定手段と、
画像領域から前記標的細胞を検出する複数の処理部のそれぞれに対するデータの振り分け量に応じて、前記複数の処理対象領域を前記複数の処理部に振り分ける振分手段と、を含み、
前記複数の処理装置はそれぞれ、
前記振り分け手段により振り分けられた処理対象領域のそれぞれから前記標的細胞を検出する検出手段と、
前記検出手段による結果を前記検出対象装置に提供する手段と、を含む
検出システム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014007774A JP6197659B2 (ja) | 2014-01-20 | 2014-01-20 | 検出制御装置、プログラム及び検出システム |
EP14878747.6A EP3098591A4 (en) | 2014-01-20 | 2014-09-08 | Detection control device, program, detection system, storage medium and detection control method |
CN201480055250.3A CN105637343B (zh) | 2014-01-20 | 2014-09-08 | 检测控制装置、检测系统、存储介质和检测控制方法 |
PCT/JP2014/073632 WO2015107722A1 (ja) | 2014-01-20 | 2014-09-08 | 検出制御装置、プログラム、検出システム、記憶媒体及び検出制御方法 |
US15/070,521 US10007834B2 (en) | 2014-01-20 | 2016-03-15 | Detection control device, detection system, non-transitory storage medium, and detection control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014007774A JP6197659B2 (ja) | 2014-01-20 | 2014-01-20 | 検出制御装置、プログラム及び検出システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015137857A true JP2015137857A (ja) | 2015-07-30 |
JP6197659B2 JP6197659B2 (ja) | 2017-09-20 |
Family
ID=53542634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014007774A Expired - Fee Related JP6197659B2 (ja) | 2014-01-20 | 2014-01-20 | 検出制御装置、プログラム及び検出システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10007834B2 (ja) |
EP (1) | EP3098591A4 (ja) |
JP (1) | JP6197659B2 (ja) |
CN (1) | CN105637343B (ja) |
WO (1) | WO2015107722A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017061155A1 (ja) * | 2015-10-08 | 2017-04-13 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理システム |
JP6329651B1 (ja) * | 2017-01-16 | 2018-05-23 | エルピクセル株式会社 | 画像処理装置及び画像処理方法 |
WO2019044579A1 (ja) * | 2017-08-31 | 2019-03-07 | 国立大学法人大阪大学 | 病理診断装置、画像処理方法及びプログラム |
JP2019529882A (ja) * | 2016-08-22 | 2019-10-17 | アイリス インターナショナル, インコーポレイテッド | 生体粒子の分類のシステム及び方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016120418A1 (en) * | 2015-01-31 | 2016-08-04 | Ventana Medical Systems, Inc. | Quality control of automated whole-slide analysis |
CN107644210B (zh) * | 2017-09-22 | 2020-05-12 | 哈尔滨工业大学(威海) | 基于图像处理的微生物数量估算方法 |
CN111382296B (zh) * | 2018-12-28 | 2023-05-12 | 深圳云天励飞技术有限公司 | 数据处理方法、装置、终端及存储介质 |
US20200381121A1 (en) * | 2019-05-29 | 2020-12-03 | New York University | System and method for tumor characterization |
JP7311142B2 (ja) * | 2019-08-23 | 2023-07-19 | ライトタッチテクノロジー株式会社 | 生体組織識別装置および生体組織識別プログラム |
LU101763B1 (en) * | 2020-05-04 | 2021-11-05 | Microsoft Technology Licensing Llc | Microsegment secure speech transcription |
CN112651394B (zh) * | 2020-12-31 | 2023-11-14 | 北京一起教育科技有限责任公司 | 一种图像检测方法、装置及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11327120A (ja) * | 1998-05-19 | 1999-11-26 | Toppan Printing Co Ltd | 光強度シミュレーション装置および光強度シミュレーション方法並びに光強度シミュレーションプログラムを記録した記録媒体 |
JP2008065815A (ja) * | 2006-08-08 | 2008-03-21 | Juki Corp | 画像処理装置 |
US20090007127A1 (en) * | 2007-06-26 | 2009-01-01 | David Roberts | System and method for optimizing data analysis |
WO2012169088A1 (ja) * | 2011-06-09 | 2012-12-13 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法及び画像処理システム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0830787A (ja) * | 1994-05-10 | 1996-02-02 | Fuji Xerox Co Ltd | 画像領域分割方法及び画像領域統合方法 |
US5850475A (en) * | 1994-05-10 | 1998-12-15 | Fuji Xerox Co., Ltd. | Method and apparatus for dividing image area |
AU2003270687B2 (en) * | 2002-09-13 | 2008-05-08 | Life Technologies Corporation | Interactive and automated tissue image analysis with global training database and variable-abstraction processing in cytological specimen classification and laser capture microdissection applications |
JP4346923B2 (ja) | 2003-02-21 | 2009-10-21 | 晴夫 高林 | 標的細胞自動探索システム |
JP4408794B2 (ja) * | 2004-11-18 | 2010-02-03 | ザイオソフト株式会社 | 画像処理プログラム |
KR100592105B1 (ko) * | 2005-03-25 | 2006-06-21 | 엠텍비젼 주식회사 | 공유 메모리의 분할 영역의 다중 억세스 제어 방법 및 공유메모리를 가지는 휴대형 단말기 |
JP5466825B2 (ja) * | 2008-01-23 | 2014-04-09 | シスメックス株式会社 | 細胞画像処理システム、細胞画像表示システムおよび細胞画像表示方法 |
JP5149840B2 (ja) * | 2009-03-03 | 2013-02-20 | 株式会社日立製作所 | ストリームデータ処理方法、ストリームデータ処理プログラム、および、ストリームデータ処理装置 |
JP5618670B2 (ja) * | 2010-07-21 | 2014-11-05 | キヤノン株式会社 | データ処理装置及びその制御方法 |
US9715413B2 (en) * | 2012-01-18 | 2017-07-25 | Nvidia Corporation | Execution state analysis for assigning tasks to streaming multiprocessors |
JP5804194B2 (ja) * | 2012-03-30 | 2015-11-04 | コニカミノルタ株式会社 | 医用画像処理装置及びプログラム |
-
2014
- 2014-01-20 JP JP2014007774A patent/JP6197659B2/ja not_active Expired - Fee Related
- 2014-09-08 CN CN201480055250.3A patent/CN105637343B/zh not_active Expired - Fee Related
- 2014-09-08 EP EP14878747.6A patent/EP3098591A4/en not_active Withdrawn
- 2014-09-08 WO PCT/JP2014/073632 patent/WO2015107722A1/ja active Application Filing
-
2016
- 2016-03-15 US US15/070,521 patent/US10007834B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11327120A (ja) * | 1998-05-19 | 1999-11-26 | Toppan Printing Co Ltd | 光強度シミュレーション装置および光強度シミュレーション方法並びに光強度シミュレーションプログラムを記録した記録媒体 |
JP2008065815A (ja) * | 2006-08-08 | 2008-03-21 | Juki Corp | 画像処理装置 |
US20090007127A1 (en) * | 2007-06-26 | 2009-01-01 | David Roberts | System and method for optimizing data analysis |
WO2012169088A1 (ja) * | 2011-06-09 | 2012-12-13 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法及び画像処理システム |
Non-Patent Citations (3)
Title |
---|
KIM, J. -Y. 他: ""An attention controlled multi-core architecture for energy efficient object recognition"", SIGNAL PROCESSING: IMAGE COMMUNICATION, vol. Volume 25, Issue 5, JPN6014041420, 12 March 2010 (2010-03-12), pages 363 - 376, ISSN: 0003605726 * |
KYO, S. 他: ""Mapping schemes of image recognition tasks onto highly parallel SIMD/MIMD processors"", THIRD ACM/IEEE INTERNATIONAL CONFERENCE ON DISTRIBUTED SMART CAMERAS 2009 [ICDSC 2009], JPN6014041418, 20 October 2009 (2009-10-20), pages 6 Pages, ISSN: 0003478575 * |
PRESTON, K. JR.: ""ARCHITECTURES FOR IMAGE PROCESSING IN BIOMEDICAL MICROSCOPY"", IEEE COMPUTER SOCIETY WORKSHOP ON COMPUTER ARCHITECTURE FOR PATTERN ANALYSIS AND IMAGE DATABASE MANA, JPN6014041422, 1981, pages 318 - 322, XP008184065, ISSN: 0003605727 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017061155A1 (ja) * | 2015-10-08 | 2017-04-13 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理システム |
JPWO2017061155A1 (ja) * | 2015-10-08 | 2018-08-02 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理システム |
JP2019529882A (ja) * | 2016-08-22 | 2019-10-17 | アイリス インターナショナル, インコーポレイテッド | 生体粒子の分類のシステム及び方法 |
JP7104691B2 (ja) | 2016-08-22 | 2022-07-21 | アイリス インターナショナル, インコーポレイテッド | 生体粒子の分類のシステム及び方法 |
US11403751B2 (en) | 2016-08-22 | 2022-08-02 | Iris International, Inc. | System and method of classification of biological particles |
JP6329651B1 (ja) * | 2017-01-16 | 2018-05-23 | エルピクセル株式会社 | 画像処理装置及び画像処理方法 |
WO2018131723A1 (ja) * | 2017-01-16 | 2018-07-19 | エルピクセル株式会社 | 画像処理装置及び画像処理方法 |
JP2018116376A (ja) * | 2017-01-16 | 2018-07-26 | エルピクセル株式会社 | 画像処理装置及び画像処理方法 |
WO2019044579A1 (ja) * | 2017-08-31 | 2019-03-07 | 国立大学法人大阪大学 | 病理診断装置、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN105637343B (zh) | 2019-03-01 |
WO2015107722A1 (ja) | 2015-07-23 |
US10007834B2 (en) | 2018-06-26 |
EP3098591A4 (en) | 2017-06-07 |
JP6197659B2 (ja) | 2017-09-20 |
CN105637343A (zh) | 2016-06-01 |
EP3098591A1 (en) | 2016-11-30 |
US20160196464A1 (en) | 2016-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6197659B2 (ja) | 検出制御装置、プログラム及び検出システム | |
JP5464244B2 (ja) | 画像処理装置、プログラム及び画像処理システム | |
JP5333635B1 (ja) | 画像処理装置、プログラム及び画像処理システム | |
JP5376024B1 (ja) | 画像処理装置、プログラム及び画像処理システム | |
US10169861B2 (en) | Image processing apparatus, non-transitory computer readable medium, and image processing method | |
WO2019104780A1 (zh) | 激光雷达点云数据分类方法、装置、设备及存储介质 | |
CN108960266A (zh) | 图像目标检测方法及装置 | |
JP5413501B1 (ja) | 画像処理装置、画像処理システム及びプログラム | |
CN105190400A (zh) | 对血细胞进行成像 | |
CN114550169A (zh) | 细胞分类模型的训练方法、装置、设备及介质 | |
US10146042B2 (en) | Image processing apparatus, storage medium, and image processing method | |
CN112668365A (zh) | 一种物料入库识别方法、装置、设备及存储介质 | |
JP2012003358A (ja) | 背景判別装置、方法及びプログラム | |
CN113887455A (zh) | 一种基于改进fcos的人脸口罩检测系统及方法 | |
WO2022136603A1 (en) | Blood analyser with out-of-focus image plane analysis and related methods | |
Aotake et al. | Automated Dynamic Cellular Analysis in Time-Lapse Microscopy | |
CN116309204A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN116958720A (zh) | 目标检测模型的训练方法、目标检测方法、装置及设备 | |
CN115359346A (zh) | 基于街景图片的小微空间识别方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170807 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6197659 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |