JP2020085535A - 情報処理装置、測定システム、及びプログラム - Google Patents

情報処理装置、測定システム、及びプログラム Download PDF

Info

Publication number
JP2020085535A
JP2020085535A JP2018216665A JP2018216665A JP2020085535A JP 2020085535 A JP2020085535 A JP 2020085535A JP 2018216665 A JP2018216665 A JP 2018216665A JP 2018216665 A JP2018216665 A JP 2018216665A JP 2020085535 A JP2020085535 A JP 2020085535A
Authority
JP
Japan
Prior art keywords
image
image list
information processing
classification
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018216665A
Other languages
English (en)
Other versions
JP7510742B2 (ja
Inventor
浩司 藤本
Koji Fujimoto
浩司 藤本
中嶋 真也
Shinya Nakajima
真也 中嶋
顕一 長尾
Kenichi Nagao
顕一 長尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Life Welfare And Culture Found
Arkray Inc
Original Assignee
Sumitomo Life Welfare And Culture Found
Arkray Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Life Welfare And Culture Found, Arkray Inc filed Critical Sumitomo Life Welfare And Culture Found
Priority to JP2018216665A priority Critical patent/JP7510742B2/ja
Priority to EP19207547.1A priority patent/EP3654237A1/en
Priority to CN201911076191.9A priority patent/CN111199181A/zh
Priority to EP21198954.6A priority patent/EP3958172A1/en
Priority to US16/677,896 priority patent/US11281933B2/en
Publication of JP2020085535A publication Critical patent/JP2020085535A/ja
Priority to JP2023091726A priority patent/JP7518240B2/ja
Application granted granted Critical
Priority to JP2024108359A priority patent/JP2024133618A/ja
Publication of JP7510742B2 publication Critical patent/JP7510742B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/08Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a stream of discrete samples flowing along a tube system, e.g. flow injection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)

Abstract

【課題】フロー方式による画像撮影により所定の分類毎に分類された有形成分画像を再分類する場合に、分類作業における誤操作の発生を抑制することができる情報処理装置を提供する。【解決手段】情報処理装置10は、複数種類の有形成分を含み、かつ、フローセルを流れる検体流体を撮影して得られる複数の画像から、有形成分として認識した有形成分画像を切り出し、切り出した有形成分画像を所定の分類毎に検出成分として分類する分類部30と、分類部30により検出成分として分類された有形成分画像を、異なる分類に再分類する場合に、検出成分の第1画像リストを表示させた状態で、移動先の分類の選択を受け付け、更に、第1画像リスト及び移動先の第2画像リストを同時に表示させた状態で、第1画像リストから選択された有形成分画像を、第2画像リストに移動させる制御を行う表示制御部32と、を備える。【選択図】図4

Description

本発明は、情報処理装置、測定システム、及びプログラムに関する。
例えば、特許文献1には、粒子を含む流体試料から粒子を分析する方法が記載されている。この方法は、フローセル中に液体試料を流して、粒子が他の粒子と実質的に重なることなく拡大区域にわたって粒子を分布させる段階と、各光学画像が区域の異なる部分を表わすように区域にわたって流体試料の複数の光学的静止画像を形成させる段階と、を含む。また、この方法は、光学的静止画像の各々を粒子の画像を含む電子画像に変換する段階と、粒子の画像を抽出して電子画像を合成する段階と、目視識別特性の階級に応じてある順序で配列した粒子の画像を表示する段階と、を含む。
特公平6−43948号公報
上記特許文献1に記載の技術によれば、粒子画像は大きさ順に表示され、ユーザは特定階級に属さない粒子画像を削除することができる。しかし、削除された粒子画像を、別の特定階級に分類することはしていないため、分類精度の向上が望まれていた。
フロー方式による画像撮影では、フローセル中を流れる試料の画像を撮影し、撮影画像から切り出した有形成分画像を有形成分の種類毎に分類して検査を行う。このとき、自動的に分類された有形成分画像を、検査技師等のユーザが確認し、手動で再分類を行う場合がある。しかしながら、手動での再分類を行う場合であっても、再分類処理に適した表示がなされておらず、ユーザの誤操作によって誤って再分類されてしまう場合があった。
本発明は、上記の点に鑑みてなされたものであり、フロー方式による画像撮影により所定の分類毎に分類された有形成分画像を再分類する場合に、分類作業における誤操作の発生を抑制することができる情報処理装置、測定システム、及びプログラムを提供することを目的とする。
上記目的を達成するために、本発明の第1の態様に係る情報処理装置は、複数種類の有形成分を含み、かつ、フローセルを流れる検体流体を撮影して得られる複数の画像から、有形成分として認識した有形成分画像を切り出し、切り出した有形成分画像を所定の分類毎に検出成分として分類する分類部と、前記分類部により前記検出成分として分類された有形成分画像を、異なる分類に再分類する場合に、前記検出成分の分類に含まれる有形成分画像の第1画像リストを表示部に表示させた状態で、移動先の分類の選択を受け付け、更に、前記第1画像リスト及び前記移動先の分類に含まれる有形成分画像の第2画像リストを前記表示部に同時に表示させた状態で、前記第1画像リストから選択された有形成分画像を、前記第2画像リストに移動させる制御を行う制御部と、を備えている。
また、本発明の第2の態様に係る情報処理装置は、第1の態様において、前記制御部が、前記第1画像リストから前記第2画像リストに移動させた有形成分画像を強調して表示させる制御を更に行う。
また、本発明の第3の態様に係る情報処理装置は、第2の態様において、前記強調して表示させる制御が、前記有形成分画像を前記第2画像リストの先頭に表示させる制御であるとされている。
また、本発明の第4の態様に係る情報処理装置は、第1〜第3のいずれか1の態様において、前記分類が、大項目及び前記大項目を細分化した小項目の少なくとも一方に仕分けられており、前記制御部が、前記移動先の分類を選択する際に、前記大項目が選択された場合、前記有形成分画像を、前記大項目に含まれる有形成分画像の画像リストに表示させ、前記小項目が選択された場合、前記有形成分画像を、前記小項目に含まれる有形成分画像の画像リストに表示させる制御を更に行う。
また、本発明の第5の態様に係る情報処理装置は、第4の態様において、前記小項目が、前記大項目が選択された後に選択可能とされている。
また、本発明の第6の態様に係る情報処理装置は、第1〜第5のいずれか1の態様において、前記制御部が、前記第1画像リストの各有形成分画像に対して、前記フローセルの深さ方向における焦点位置の異なる複数の前記有形成分画像を切り替えて表示させる制御を更に行う。
また、本発明の第7の態様に係る情報処理装置は、第1〜第6のいずれか1の態様において、前記制御部が、前記分類毎に対応する項目を色分けして表示させる制御を更に行う。
また、本発明の第8の態様に係る情報処理装置は、第1〜第7のいずれか1の態様において、前記分類部が、前記有形成分画像の分類結果についての適合度を更に算出し、前記制御部が、前記第1画像リストの有形成分画像を、前記適合度に従って適合順あるいは不適合順に並べて表示させる制御を更に行う。
また、本発明の第9の態様に係る情報処理装置は、第1〜第8のいずれか1の態様において、前記制御部が、前記分類毎に測定結果を一覧表示させ、前記一覧表示された分類のうち、前記第1画像リストを表示させて有形成分画像の確認を行った分類に対して、確認済みを示すマークを付与する制御を更に行う。
また、本発明の第10の態様に係る情報処理装置は、第1〜第9のいずれか1の態様において、前記制御部が、前記第1画像リストを表示させている際に、前記有形成分画像の拡大率を設定する制御を更に行う。
また、本発明の第11の態様に係る情報処理装置は、第1〜第10のいずれか1の態様において、前記制御部が、前記第1画像リストを表示させている際に、前記有形成分画像の輝度及びコントラスト比の少なくとも一方を設定する制御を更に行う。
また、本発明の第12の態様に係る情報処理装置は、第1〜第11のいずれか1の態様において、前記分類部によって分類された有形成分画像及び前記有形成分画像の見本画像を記憶する記憶部を更に備え、前記制御部が、前記分類部により前記検出成分として分類された有形成分画像を、同一の分類の前記見本画像として追加する場合に、前記検出成分の分類に含まれる有形成分画像の有形成分画像リストを前記表示部に表示させた状態で、前記見本画像の表示の指示を受け付け、更に、前記有形成分画像リスト及び前記見本画像の見本画像リストを前記表示部に同時に表示させた状態で、前記有形成分画像リストから選択された有形成分画像を、前記見本画像リストに複写する制御を更に行う。
また、本発明の第13の態様に係る情報処理装置は、複数種類の有形成分を含み、かつ、フローセルを流れる検体流体を撮影して得られる複数の画像から、有形成分として認識した有形成分画像を切り出し、切り出した有形成分画像を所定の分類毎に検出成分として分類する分類部と、前記分類部によって分類された有形成分画像及び前記有形成分画像の見本画像を記憶する記憶部と、前記分類部により前記検出成分として分類された有形成分画像を、同一の分類の前記見本画像として追加する場合に、前記検出成分の分類に含まれる有形成分画像の有形成分画像リストを表示部に表示させた状態で、前記見本画像の表示の指示を受け付け、更に、前記有形成分画像リスト及び前記見本画像の見本画像リストを前記表示部に同時に表示させた状態で、前記有形成分画像リストから選択された有形成分画像を、前記見本画像リストに複写する制御を行う制御部と、を備えている。
また、本発明の第14の態様に係る情報処理装置は、第13の態様において、前記制御部が、前記有形成分画像リストから前記見本画像リストに複写した有形成分画像を強調して表示させる制御を更に行う。
また、本発明の第15の態様に係る情報処理装置は、第14の態様において、前記強調して表示させる制御が、前記有形成分画像を前記見本画像リストの先頭に表示させる制御であるとされている。
また、本発明の第16の態様に係る情報処理装置は、第13〜第15のいずれか1の態様において、前記分類が、大項目及び前記大項目を細分化した小項目の少なくとも一方に仕分けられており、前記制御部が、前記検出成分の分類を選択する際に、前記大項目が選択された場合、前記有形成分画像を、前記大項目に含まれる有形成分画像の画像リストに表示させ、前記小項目が選択された場合、前記有形成分画像を、前記小項目に含まれる有形成分画像の画像リストに表示させる制御を更に行う。
また、本発明の第17の態様に係る情報処理装置は、第13〜第16のいずれか1の態様において、前記制御部が、前記有形成分画像リストの各有形成分画像に対して、前記フローセルの深さ方向における焦点位置の異なる複数の前記有形成分画像を切り替えて表示させる制御を更に行う。
また、本発明の第18の態様に係る情報処理装置は、第13〜第17のいずれか1の態様において、前記制御部が、前記分類毎に対応する項目を色分けして表示させる制御を更に行う。
また、本発明の第19の態様に係る情報処理装置は、第13〜第18のいずれか1の態様において、前記分類部が、前記有形成分画像の分類結果についての適合度を更に算出し、前記制御部が、前記有形成分画像リストの有形成分画像を、前記適合度に従って適合順あるいは不適合順に並べて表示させる制御を更に行う。
また、本発明の第20の態様に係る情報処理装置は、第13〜第19のいずれか1の態様において、前記制御部が、前記有形成分画像リストを表示させている際に、前記有形成分画像の拡大率を設定する制御を更に行う。
また、本発明の第21の態様に係る情報処理装置は、第13〜第20のいずれか1の態様において、前記制御部が、前記有形成分画像リストを表示させている際に、前記有形成分画像の輝度及びコントラスト比の少なくとも一方を設定する制御を更に行う。
一方、上記目的を達成するために、本発明の第22の態様に係る測定システムは、複数種類の有形成分を含む検体流体及びシース流体が流れるフローセルと、前記フローセルを流れる検体流体を撮影する撮影部と、前記撮影部により撮影して得られた複数の画像を制御する、第1〜第21のいずれか1の態様における情報処理装置と、を備えている。
更に、上記目的を達成するために、本発明の第23の態様に係るプログラムは、コンピュータを、第1〜第21のいずれか1の態様に係る情報処理装置が備える各部として機能させる。
以上説明したように、フロー方式による画像撮影により所定の分類毎に分類された有形成分画像を再分類する場合に、分類作業における誤操作の発生を抑制することができる、という効果が得られる。
第1の実施形態に係る測定システムの構成の一部を示す斜視図である。 第1の実施形態に係る測定システムの構成の一例を示す模式図である。 第1の実施形態に係る情報処理装置の電気的な構成の一例を示すブロック図である。 第1の実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。 第1の実施形態に係る画像分類処理プログラムによる処理の流れの一例を示すフローチャートである。 第1の実施形態に係る測定結果画面の一例を示す正面図である。 第1の実施形態に係る有形成分画像リスト画面の一例を示す正面図である。 第1の実施形態に係る再分類作業画面の一例を示す正面図である。 (A)は、第1の実施形態に係る焦点位置が上層の場合の再分類作業画面の一例を示す正面図である。(B)は、第1の実施形態に係る焦点位置が中層の場合の再分類作業画面の一例を示す正面図である。(C)は、第1の実施形態に係る焦点位置が下層の場合の再分類作業画面の一例を示す正面図である。 第1の実施形態に係る画質調整の前後における再分類作業画面の一例を示す正面図である。 第1の実施形態に係る画像拡大の前後における再分類作業画面の一例を示す正面図である。 第2の実施形態に係る画像分類処理プログラムによる処理の流れの一例を示すフローチャートである。 第2の実施形態に係る見本作業画面の一例を示す正面図である。 第2の実施形態に係る見本作業画面の他の例を示す正面図である。
以下、図面を参照して、本発明を実施するための形態の一例について詳細に説明する。
[第1の実施形態]
図1は、第1の実施形態に係る測定システム70の構成の一部を示す斜視図である。
図1に示すように、本実施形態に係る測定システム70は、フローセル40と、筐体72と、カメラ74と、光源76と、を備えている。なお、図1に示す矢印UPは、測定システム70の上下方向の上側を示している。
本実施形態に係るフローセル40は、例えば、シース流体と共に、検体流体の一例である尿検体を導入することで、尿検体中の有形成分をカメラ74により撮影し、撮影された画像の有形成分の形状等から各種の分析を行う尿中有形成分検査(尿沈渣検査)に適用するものである。このカメラ74は、撮影部の一例である。尿検体中には、複数種類の有形成分が含まれている。この有形成分の種類としては、一例として、赤血球、白血球、上皮細胞、円柱、細菌等が挙げられる。なお、本実施形態においては、検体流体の一例として、尿検体を用いて、尿中有形成分検査を行う場合について説明するが、血液、細胞、体液等を対象とした有形成分検査に使用することも可能である。
測定システム70は、フローセル40が配置される筐体72を備えている。筐体72には、フローセル40が挿入される凹部72Aが形成されており、筐体72の凹部72Aを含む位置は、透明な部材(一例としてガラス等)で形成されている。筐体72の内部には、フローセル40と対向する位置にカメラ74が設けられている。筐体72の上側には、カメラ74とフローセル40を挟んで対向する位置に光源76が設けられている。カメラ74は、フローセル40を流れる検体流体を撮影可能な位置に配置されている。
測定システム70は、フローセル40内の検体流路(図示省略)の検体取入口42に検体流体を供給する第1供給装置78を備えている。第1供給装置78は、検体取入口42に一端部が接続される供給管80と、供給管80の途中に設けられたポンプ82と、供給管80の他端部に接続されると共に検体流体が貯留される検体貯留部84と、を備えている。
測定システム70は、フローセル40内のシース流路(図示省略)のシース取入口44にシース流体を供給する第2供給装置86を備えている。第2供給装置86は、シース取入口44に一端部が接続される供給管88と、供給管88の途中に設けられたポンプ90と、供給管88の他端部に接続されると共にシース流体が貯留されるタンク92と、を備えている。
また、フローセル40には、検体取入口42とシース取入口44との間に排出口46が設けられている。排出口46には、排出管(図示省略)の一端部が接続されており、この排出管の他端部が廃棄タンク(図示省略)に接続されている。フローセル40は、検体取入口42から導入された検体と、シース取入口44から導入されたシース液とを合流させる合流部(図示省略)を備え、合流した流体が流路内を流れる。流路内には流路の高さが徐々に小さくなるテーパー部が形成されている。そのため、検体がシース液と合流した後であっても、検体はシース液中に拡散することなく、扁平状に局在化して流れる。局在化した検体流中の有形成分をカメラ74で撮影する。
図2は、第1の実施形態に係る測定システム70の構成の一例を示す模式図である。
図2に示すように、本実施形態に係る測定システム70は、情報処理装置10を備えている。なお、図2に示す矢印UPは、図1と同様に、測定システム70の上下方向の上側を示している。
情報処理装置10は、カメラ74、光源76と電気的に接続された光源作動部77、ポンプ82、及びポンプ90の動作をそれぞれ制御する制御装置としての機能を有している。情報処理装置10は、パルス信号を光源作動部77に与えることで光源76を所定の間隔で発光させる。また、情報処理装置10は、ポンプ82を駆動させて、検体流体の流量を制御すると共に、ポンプ90を駆動させて、シース流体の流量を制御する。図示は省略しているが、複数のカメラ74と、各々のカメラ74に光を導く光学系を備えていてもよい。各光学系は各カメラ74がフローセル40中において異なる位置(深さ)に焦点が合うように調整されている。言い換えると、複数のカメラ74によって、水平面では同じ位置で、異なる深さ位置に焦点があった複数の画像を同時に撮影している。同時に撮影した撮影画像は、対応付けて記憶部14に記憶される。ここでいう深さ方向とは、検体流体の流れる方向に対して垂直な方向であり、図2でいう上下方向を意味する。各焦点とフローセル40のカメラ74に近い側の壁面までの距離が異なる。
図3は、第1の実施形態に係る情報処理装置10の電気的な構成の一例を示すブロック図である。
図3に示すように、本実施形態に係る情報処理装置10は、制御部12と、記憶部14と、表示部16と、操作部18と、通信部20と、を備えている。
本実施形態に係る情報処理装置10には、例えば、パーソナルコンピュータ(PC:Personal Computer)等の汎用的なコンピュータ装置が適用される。なお、情報処理装置10には、スマートフォン、タブレット端末等の携帯可能なコンピュータ装置を適用してもよい。また、情報処理装置10は、複数のユニットに分かれていてもよい。例えば、カメラ74、光源76、ポンプ82、ポンプ90などの測定系を制御するユニットと、カメラ74で撮影した画像の処理及び解析を行うユニットとを含んで構成されていてもよい。また、情報処理装置10は、測定システム70に外部接続されてもよい。
制御部12は、CPU(Central Processing Unit)12A、ROM(Read Only Memory)12B、RAM(Random Access Memory)12C、及び入出力インターフェース(I/O)12Dを備えており、これら各部がバスを介して各々接続されている。
I/O12Dには、記憶部14と、表示部16と、操作部18と、通信部20と、を含む各機能部が接続されている。これらの各機能部は、I/O12Dを介して、CPU12Aと相互に通信可能とされる。
制御部12は、情報処理装置10の一部の動作を制御するサブ制御部として構成されてもよいし、情報処理装置10の全体の動作を制御するメイン制御部の一部として構成されてもよい。制御部12の各ブロックの一部又は全部には、例えば、LSI(Large Scale Integration)等の集積回路又はIC(Integrated Circuit)チップセットが用いられる。上記各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。上記各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、上記各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。制御部12の集積化には、LSIに限らず、専用回路又は汎用プロセッサを用いてもよい。
記憶部14としては、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ等が用いられる。記憶部14には、本実施形態に係る画像分類処理を行うための画像分類処理プログラム14Aが記憶される。なお、この画像分類処理プログラム14Aは、ROM12Bに記憶されていてもよい。また、記憶部14には、画像分類処理に用いる有形成分画像群14Bが記憶されている。なお、記憶部14は、メモリが外付けされたり、後から増設されたりしてもよい。
画像分類処理プログラム14Aは、例えば、情報処理装置10に予めインストールされていてもよい。画像分類処理プログラム14Aは、不揮発性の記憶媒体に記憶して、又はネットワークを介して配布して、情報処理装置10に適宜インストールしたり、アップグレードしたりすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、CD-ROM(Compact Disc Read Only Memory)、光磁気ディスク、HDD、DVD-ROM(Digital Versatile Disc Read Only Memory)、フラッシュメモリ、メモリカード等が想定される。
表示部16には、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等が用いられる。表示部16は、タッチパネルを一体的に有していてもよい。操作部18には、例えば、キーボードやマウス等の操作入力用のデバイスが設けられている。表示部16及び操作部18は、情報処理装置10のユーザから各種の指示を受け付ける。表示部16は、ユーザから受け付けた指示に応じて実行された処理の結果や、処理に対する通知等の各種の情報を表示する。
通信部20は、インターネットや、LAN(Local Area Network)、WAN(Wide Area Network)等のネットワークに接続されており、画像形成装置や他のPC等の外部機器との間でネットワークを介して通信が可能とされる。
本実施形態に係る情報処理装置10のCPU12Aは、記憶部14に記憶されている画像分類処理プログラム14AをRAM12Cに書き込んで実行することにより、図4に示す各部として機能する。
図4は、第1の実施形態に係る情報処理装置10の機能的な構成の一例を示すブロック図である。
図4に示すように、本実施形態に係る情報処理装置10のCPU12Aは、分類部30及び表示制御部32として機能する。なお、表示制御部32は、制御部の一例である。
本実施形態に係る分類部30は、カメラ74によりフローセル40を流れる検体流体を撮影して得られる複数の画像(一例として、300枚、1000枚)から、検体流体に含まれる複数種類の有形成分を有形成分画像として切り出し、切り出した有形成分画像を所定の分類(例えば、有形成分の種類、大きさ、形状、核の有無等)毎に分類する。分類部30により所定の分類毎に分類された有形成分画像は、有形成分画像群14Bとして検体毎に分けて記憶部14に記憶される。なお、画像から有形成分を認識する方法としては、一例として、機械学習を用いた方法や、パターンマッチングを用いた方法等、各種の公知の技術が適用される。また、有形成分画像群14Bは、有形成分画像群14Bを個々の有形成分画像として説明する場合には、有形成分画像14Bとも称する。
本実施形態に係る表示制御部32は、分類部30により検出成分として分類された有形成分画像を有形成分個別画像として表示部16に表示させる制御を行う。検査技師等の操作者が有形成分個別画像を目視でチェックした際に、分類を手動で変更することができる。このため、表示制御部32は、操作者が有形成分画像を再分類する場合に、一例として、後述の図8に示すように、検出成分の第1種類に含まれる有形成分画像の第1画像リスト、及び、移動先の第2種類に含まれる有形成分画像の第2画像リストを1つの画面に表示させる制御を行う。第2画像リストに移動した有形成分画像は、第2種類の分類に再分類され、保存される。なお、検出成分とは、カメラ74により撮影された画像から、有形成分画像として切り出されたいずれかの有形成分である。
本実施形態においては、第1種類と第2種類とは別の分類であり、有形成分画像の分類変更が行われる。この場合、表示制御部32は、第1種類に分類された第1画像リストを表示させた状態で、移動先の分類の選択を受け付け、更に、第1画像リスト及び移動先である第2種類に分類された第2画像リストを同時に表示させた状態で、第1画像リストから選択された有形成分画像を、第2画像リストに移動させる制御を行う。つまり、この場合、第1画像リストから選択された有形成分画像は、第1画像リストから削除され、第2画像リストに表示される。なお、具体的な画面例については後述する。
次に、図5を参照して、第1の実施形態に係る情報処理装置10の作用を説明する。
図5は、第1の実施形態に係る画像分類処理プログラム14Aによる処理の流れの一例を示すフローチャートである。
まず、情報処理装置10が測定結果画面の表示の指示を受け付けると、以下に示す各ステップが実行される。なお、本実施形態においては、分類部30による自動分類の結果として、有形成分画像群14Bが記憶部14に記憶されている。上記の測定結果画面は、分類部30による自動分類後に表示される画面である。
図5のステップ100では、表示制御部32が、一例として、後述の図6に示す測定結果画面50を表示させる制御を行う。
ステップ102では、表示制御部32が、ステップ100で表示された、後述の図6に示す測定結果画面50から、操作者からの指示に従って、検出成分についての有形成分名を示す分類項目の選択を受け付けたか否かを判定する。分類項目の選択を受け付けたと判定した場合(肯定判定の場合)、ステップ104に移行し、分類項目の選択を受け付けていないと判定した場合(否定判定の場合)、ステップ102で待機となる。
ステップ104では、表示制御部32が、ステップ102で選択を受け付けた分類項目に応じて、一例として、後述の図7に示す有形成分画像リスト画面51を表示させる制御を行う。
ステップ106では、表示制御部32が、ステップ104で表示された、後述の図7に示す有形成分画像リスト画面51から、操作者からの指示に従って、移動先の有形成分名を示す分類項目の選択を受け付けたか否かを判定する。移動先の有形成分名の選択を受け付けたと判定した場合(肯定判定の場合)、ステップ108に移行し、移動先の有形成分名の選択を受け付けていないと判定した場合(否定判定の場合)、ステップ106で待機となる。
ステップ108では、表示制御部32が、一例として、後述の図8に示す再分類作業画面53を表示させる制御を行う。この再分類作業画面53では、検出成分の第1種類に含まれる有形成分画像の第1画像リスト、及び、移動先の第2種類に含まれる有形成分画像の第2画像リストが1つの画面に表示される。本実施形態では、第1画像リストと第2画像リストとが同一検体の測定から取得され、切り出された有形成分画像から構成されるが、第1種類と第2種類とは別の分類の有形成分である。
ステップ110では、表示制御部32が、操作者からの指示に従って、ステップ108で表示されている第1画像リストから、分類変更の対象とする、1つの有形成分画像の選択を受け付ける。
ステップ112では、表示制御部32が、ステップ110で選択された有形成分画像を第1画像リストから削除し、ステップ108で表示されている第2画像リストに表示させる制御、すなわち、第1画像リストから選択された有形成分画像を第2画像リストに移動させる制御を行う。
ステップ114では、表示制御部32が、ステップ108で表示されている第1画像リストについての分類変更の確認が終了したか否かを判定する。分類変更の確認が終了していないと判定した場合(否定判定の場合)、ステップ110に戻り処理を繰り返す。一方、分類変更の確認が終了したと判定した場合(肯定判定の場合)、本画像分類処理プログラム14Aによる一連の処理を終了する。
次に、図6〜図11を参照して、本実施形態に係る画像再分類処理における具体的な画面例を説明する。
図6は、第1の実施形態に係る測定結果画面50の一例を示す正面図である。
図6に示すように、本実施形態に係る測定結果画面50は、項目毎の測定結果の一覧を表示している。測定結果としては、有形成分名と、その成分の含有量又は含有個数や、含有量の指標となる定性表示等が示される。また、測定結果画面50には、有形成分名50A及び有形成分ボタン50Bが設けられている。
図6に示す項目のうち、主要な項目として、例えば、RBCは赤血球、WBCは白血球、NSEは非扁平上皮細胞、SQECは扁平上皮細胞、NHCはその他円柱、BACTは細菌を各々示している。また、CRYSは結晶、YSTは酵母、HYSTは硝子円柱、MUCSは粘液糸、SPRMは精子、WBCCは白血球塊を各々示している。
ここで、表示制御部32は、測定結果画面50において、分類項目の中から選択した分類の第1画像リストを表示させて有形成分画像の確認を行った分類に対して、確認済みを示すマークを付与する制御を行う。図6に示す測定結果画面50では、分類項目のうち、第1画像リストの確認を行った項目に対して、確認済みを示すマーク50Cが付与されている。なお、再分類(分類変更)が行われた場合には、その結果が反映された測定結果が表示される。
このように、一度有形成分画像を確認した項目にはマークが付与されるため、確認漏れの発生を抑制することができる。
図6に示す測定結果画面50において、有形成分名50A又は有形成分ボタン50Bがクリック操作等により選択されると、選択された分類項目の有形成分個別画像が、一例として、図7に示す有形成分画像リスト画面51として表示される。
図7は、第1の実施形態に係る有形成分画像リスト画面51の一例を示す正面図である。
図7に示すように、本実施形態に係る有形成分画像リスト画面51は、画像を確認したい有形成分として選択された有形成分画像リスト51Aを表示している。この有形成分画像リスト画面51は、表示部16に表示される。
図7に示す有形成分画像リスト画面51は、検出成分の第1項目ボタン群52と、移動先の第2項目ボタン群53と、を含んでいる。検出成分の第1項目ボタン群52は、検出成分の種類毎に設けられている。同様に、移動先の第2項目ボタン群53は、移動先の分類項目毎に設けられている。一例として、上述したように、「RBC」は赤血球を示し、「WBC」は白血球を示し、「SQEC」は扁平上皮細胞を示している。なお、図7に示す例では、検出成分の第1項目ボタン群52の「SQEC」が選択された状態であるため、有形成分画像リスト画面51には、扁平上皮細胞の画像のリストが表示されている。
また、図7に示す有形成分画像リスト画面51は、複数の操作ボタンB1〜B6を操作可能に表示している。操作ボタンB1は、有形成分画像を拡大表示すると共に、画像の拡大に合わせてスケール(長さ)を表示するためのボタンである。図7に示す例では、スケールが10μm/画素として表示されている。また、操作ボタンB2は、焦点位置の異なる有形成分画像を切り替えて表示させるためのボタンである。図7に示す例では、フローセル40中の深さ方向における焦点位置を上層、中層、及び下層の3つの層に対応して切り替え可能とされている。また、操作ボタンB3は、検出成分の有形成分画像を移動先に移動させるためのボタンである。また、操作ボタンB4は、画像分類の編集作業を1つ前に戻すためのボタンである。また、操作ボタンB5は、後述する「見本」となる有形成分画像を表示させるためのボタンである。また、操作ボタンB6は、有形成分画像の拡大率を設定したり、有形成分画像の輝度やコントラスト比等を設定したりするウィンドウを表示させるためのボタンである。
図7に示す複数の操作ボタンB1〜B6を操作することにより、有形成分画像の表示態様を変更することができるため、有形成分の判別が行いやすくなる。なお、各操作ボタンは、タッチパネルである表示部16に表示されていてもよいし、操作部18として設けられていてもよい。
図7に示す有形成分画像リスト画面51において、移動先の第2項目ボタン群53のうちのいずれかの項目ボタンがクリック操作等により選択されると、一例として、図8の上図に示す再分類作業画面54が表示される。この再分類作業画面54では、検出成分の第1画像リストと、移動先の第2画像リストとが1つの画面に表示される。
図8は、第1の実施形態に係る再分類作業画面54の一例を示す正面図である。
図8に示すように、本実施形態に係る再分類作業画面54は、検出成分の第1項目ボタン群52、第1画像リスト54A、移動先の第2項目ボタン群53、及び第2画像リスト54Bを表示している。この再分類作業画面54は、表示部16に表示される。
図8の上図に示すように、本実施形態に係る再分類作業画面54では、第1項目ボタン群52の「CAOX」の項目ボタンが選択操作された結果、「CAOX」に含まれる有形成分画像の第1画像リスト54Aが上段に表示されている。また、第2項目ボタン群53の「TP04」の項目ボタンが選択操作された結果、「TP04」に含まれる有形成分画像の第2画像リスト54Bが下段に表示されている。
図8の上図において、操作者が、第1画像リスト54Aに含まれる有形成分画像55の分類変更を行うために、有形成分画像55を選択して操作ボタンB3を操作すると、図8の下図に示す再分類作業画面54に遷移する。なお、選択した有形成分画像55を第2画像リスト54Bにドラッグアンドドロップする操作を行ってもよい。
図8の下図に示す再分類作業画面54では、上記で選択された有形成分画像55が第1画像リスト54Aから削除されると共に、第2画像リスト54Bに表示されている。
ここで、表示制御部32は、第1画像リスト54Aから選択された有形成分画像55を、第2画像リスト54Bに強調して表示させることが望ましい。一例として、図8の下図に示すように、有形成分画像55を第2画像リスト54Bの先頭に表示させる。あるいは、有形成分画像55に予め定められたマーク(一例として、星印や丸印等。)を付与するようにしてもよい。更には、有形成分画像55の外枠を太くしたり、所定の色(一例として、赤色や青色等。)に変更したり、他の画像よりもサイズを大きくして表示してもよい。これにより、移動先に移動した画像を容易に特定することができる。
また、検出成分の第1項目ボタン群52の各項目ボタン、及び、移動先の第2項目ボタン群53の各項目ボタンには、各項目について固有のイメージカラーが付与されている。なお、図8に示す例では、イメージカラーの違いをハッチングの違いで示している。具体的には、一例として、「RBC」の項目ボタンは赤色、「WBC」の項目ボタンは青色、「SQEC」の項目ボタンは緑色で表示される。
このように、各項目について固有のイメージカラーを付与することにより、各項目を視覚的に分かり易く表示することができる。このため、項目の見間違いの発生を抑制することができる。また、検出成分と移動先との関係性が分かりやすくなる、大分類と小分類などのグルーピングが分かりやすくなる、あるいは、検査する上で重要な項目を重点的に表現することができる等の観点からも、見間違いや、誤操作の発生を効果的に抑制することができる。
また、移動先の第2項目ボタン群53の少なくとも一部の項目については、大項目及び大項目を細分化した小項目の少なくとも一方に仕分けられている。この場合、表示制御部32は、大項目が選択された場合、有形成分画像55を、大項目に含まれる有形成分画像の画像リストに表示させ、小項目が選択された場合、有形成分画像55を、小項目に含まれる有形成分画像の画像リストに表示させる。このように、大項目に対して小項目を設けて、移動先を視覚的に分かり易くすることで操作性を向上させることができる。なお、大項目の有形成分画像に、当該大項目に含まれる小項目の有形成分画像も同時に表示させるようにしてもよい。
図8の上図及び下図に示す例では、1行に2つのボタンが表示されている第2項目ボタン群53のうち、左側に表示されている「CRYS」から「UNCL」の10個の項目ボタンが大項目であり、大項目の右側に並んで配置された「CAOX」から「UNCX」の10個の項目ボタンが小項目である。ここでは、一例として、大項目に複数の小項目が含まれる場合であっても、表示スペースを小さくするために、1つの小項目だけが表示されている。このとき、小項目は、大項目が選択された後に選択されることが望ましい。図8の上図及び下図に示す例では、一例として、小項目である「CAOX」は、大項目である「CRYS」が選択された後に選択可能に表示される。これにより、コンパクトな表示を可能としつつ、選択の間違いを防止することができる。なお、大項目に複数の小項目が含まれる場合には、大項目が選択された後に、大項目に含まれる複数の小項目が展開表示され、選択可能にしてもよい。また、第1項目ボタン群52について、大項目及び小項目に対応するボタンが表示され、上記と同様の処理が行われてもよい。
また、分類部30は、有形成分画像を分類する際に、使用している画像認識方法(一例として、パターンマッチング法等)に基づいて適合度を算出する。そして、表示制御部32は、第1画像リスト54Aの有形成分画像を、適合度に従って適合順あるいは不適合順に並べて表示させる。ここでいう適合度とは、認識結果の画像についての分類確度を示し、各分類項目の画像について、正解画像又は予め定めた特徴点と一致する割合が高いほど高い値が付与される。正解画像又は特徴点と完全に一致する場合、適合度は100%となる。適合順の場合、適合度が高い順に有形成分画像が表示され、不適合順の場合、適合度が低い順に有形成分画像が表示される。すなわち、適合度が比較的低い有形成分画像は、再分類が必要な画像である。有形成分画像を不適合順に並べた場合には、再分類される可能性が高い画像が前に表示されるため、操作者の注目を集めやすくなる。
このように、再分類の必要な有形成分画像をまとめて優先的に表示させることにより、再分類作業における操作性が向上し、確認の負荷を軽減することができる。また、適合度の数値を示したり、適合度が高い(例えば、80%以上)こと、適合度が低い(例えば、50%以下)ことを示すマークを付けたり、色分け表示などを行うようにしてもよい。
また、表示制御部32は、一例として、図9(A)〜図9(C)に示すように、第1画像リストの各有形成分画像に対して、複数の異なる焦点位置で同時に撮影している場合には、得られた複数の画像を切り替えて表示させてもよい。
図9(A)は、第1の実施形態に係る焦点位置が上層の場合の再分類作業画面56の一例を示す正面図である。図9(B)は、第1の実施形態に係る焦点位置が中層の場合の再分類作業画面56の一例を示す正面図である。図9(C)は、第1の実施形態に係る焦点位置が下層の場合の再分類作業画面56の一例を示す正面図である。
図9(A)〜図9(C)に示すように、本実施形態に係る再分類作業画面56は、第1画像リスト56A及び第2画像リスト56Bを表示している。この再分類作業画面56は、表示部16に表示される。
図9(A)において、第1画像リスト56Aに含まれる3枚の有形成分画像57Aは、上層の焦点位置で撮影された画像である。図9(B)において、第1画像リスト56Aに含まれる3枚の有形成分画像57Bは、中層の焦点位置で撮影された画像である。図9(C)において、第1画像リスト56Aに含まれる3枚の有形成分画像57Cは、下層の焦点位置で撮影された画像である。なお、上層は焦点とフローセル40のカメラ74に近い側の壁面までの距離が最も短い場合を表し、下層は焦点とフローセル40のカメラ74に近い側の壁面までの距離が最も長い場合を表し、中層は焦点とフローセル40のカメラ74に近い側の壁面までの距離が上層と下層との間にある場合を表している。また、この焦点位置の異なる画像の切り替えは、操作ボタンB2を操作することで行われる。なお、デフォルトでは、中層の焦点位置で撮影された画像が表示される。第1画像リスト56Aに含まれる全ての有形成分画像について、または選択した有形成分画像だけについて、焦点位置を切り替えて表示してもよい。
このように、操作者が第1画像リスト56Aに含まれる有形成分画像の焦点位置を切り替えて、焦点位置の異なる有形成分画像を表示させながら、第2画像リスト56Bに含まれる有形成分画像と見比べて確認することができる。このため、例えば、核等の内部構造を有する有形成分に対して視認性が向上し、分類の精度が向上する。
また、表示制御部32は、一例として、図10に示すように、検出成分の種類毎に有形成分画像の輝度及びコントラスト比の少なくとも一方を設定する制御を行う。
図10は、第1の実施形態に係る画質調整の前後における再分類作業画面58の一例を示す正面図である。図10には、一例として、硝子円柱「HYAL」の第1画像リストを示している。
図10の上図に示す再分類作業画面58は、画質調整前の第1画像リスト58Aを表示している。一方、図10の下図に示す再分類作業画面58は、画質調整後の第1画像リスト58Aを表示している。この再分類作業画面58は、表示部16に表示される。
図10に示す操作ボタンB6を操作すると、有形成分画像の画質に係る各種パラメータを設定し、かつ、有形成分画像の拡大率を設定するためのウィンドウ(図示省略)が開く。この画質に係る各種パラメータには、一例として、輝度及びコントラスト比の少なくとも一方が含まれている。この操作ボタンB6の操作に応じて表示されるウィンドウで設定された画質に係る各種パラメータは、対応する項目に含まれる全ての有形成分画像に適用される。
一例として、図10の上図に示すように、項目によっては有形成分の構造に起因して画像が見難い場合がある。これに対して、項目毎に有形成分画像の画質を調整することにより、有形成分画像の視認性が向上し、再分類作業の効率化を図ることができる。例えば、硝子円柱や粘液糸、一部の赤血球等のように、凹凸が少なくコントラスト比が低い項目については、他の項目よりもコントラスト比を高くすることで、視認性が向上する。
また、表示制御部32は、一例として、図11に示すように、検出成分の種類毎に有形成分画像の拡大率を設定する制御を行う。
図11は、第1の実施形態に係る画像拡大の前後における再分類作業画面59の一例を示す正面図である。図11には、一例として、細菌「BACT」の第1画像リストを示している。
図11の上図に示す再分類作業画面59は、画像拡大前の第1画像リスト59Aを表示している。一方、図11の下図に示す再分類作業画面59は、画像拡大後の第1画像リスト59Aを表示している。この再分類作業画面59は、表示部16に表示される。
図11に示す操作ボタンB6を操作すると、上述したように、有形成分画像の拡大率を設定するためのウィンドウが開く。この操作ボタンB6の操作に応じて表示されるウィンドウで設定される拡大率は、対応する項目に含まれる全ての有形成分画像に適用される。
一例として、図11の上図に示すように、項目によっては有形成分画像が小さく見難い上に、操作性が良くない場合がある。これに対して、項目毎に有形成分画像の拡大率を設定することにより、有形成分画像の視認性や操作性が向上し、誤操作が減少し、再分類作業の効率化を図ることができる。なお、各操作ボタンB1〜B6は、上段の第1画像リストの下部に設けられている例を示したが、この位置に限定されるものではない。例えば、任意の操作ボタンを、第2画像リストの下部にも設けるようにして、第2画像リストに含まれる有形成分画像の画質調整を行うようにしてもよい。
以上説明したように本実施形態によれば、フロー方式による画像撮影により所定の分類毎に分類された有形成分画像の分類を変更する場合に、検出成分の有形成分画像と移動先の有形成分画像とが同時に表示され、操作を受け付けることができる。このため、誤操作の発生を抑制することができる。
[第2の実施形態]
上記第1の実施形態では、再分類の一例として、有形成分画像の分類変更を行う形態について説明した。本実施形態では、再分類とは異なる例として、有形成分画像の見本追加を行う形態について説明する。ここでいう「見本」とは、検査技師等の操作者が有形成分画像の分類変更を行う際に、参考となる有形成分画像を種類毎に集めた画像集(以下、「見本画像リスト」という。)を意味する。見本画像として、多数の検体の測定により取得した有形成分画像の中から、参考になる画像が選抜されている。操作者は、必要に応じて、この見本画像リストを見ながら、有形成分画像の分類変更を行うことがある。また、操作者は、有形成分画像の中に見本として適切な画像があれば、見本画像リストに追加することがある。しかし、検体別に保存された有形成分画像と見本画像リストとは別々に管理されており、有形成分画像の観察と、見本画像リストへの画像の追加とは別々に行われていた。本実施形態では、有形成分画像の観察や再分類の作業の一環として、現在観察している有形成分画像が見本として見本画像リストに追加される。
記憶部14には、有形成分画像及び有形成分画像の見本画像が記憶されている。表示制御部32は、検出成分として分類された有形成分画像を、同一の分類の見本画像として追加する場合に、一例として、後述の図13に示すように、検出成分の有形成分画像リスト、及び、見本画像リストを1つの画面に表示させる制御を行う。なお、上記第1の実施形態で説明した移動先の画像リストと見本画像リストとの混同を避けるために、例えば、どちらか一方の画像リストの背景に透かしを入れたり、背景色を変えたりして表示してもよい。
本実施形態においては、有形成分画像の見本画像リストへの見本追加が行われる。この場合、表示制御部32は、有形成分画像リストを表示させた状態で、見本画像の表示の指示を受け付け、更に、有形成分画像リスト及び見本画像リストを同時に表示させた状態で、有形成分画像リストから選択された有形成分画像を、見本画像リストに複写する制御を行う。つまり、この場合、有形成分画像リストから選択された有形成分画像は、有形成分画像リストに残したまま、見本画像リストに表示される。見本追加の場合には、複写元の分類(第1種類)と複写先の分類(第2種類)とは同一である。なお、具体的な画面例については後述する。
次に、図12を参照して、第2の実施形態に係る情報処理装置10の作用を説明する。
図12は、第2の実施形態に係る画像分類処理プログラム14Aによる処理の流れの一例を示すフローチャートである。
まず、上記第1の実施形態と同様に、情報処理装置10が測定結果画面の表示の指示を受け付けると、以下に示す各ステップが実行される。
図12のステップ120では、表示制御部32が、一例として、上述の図6に示す測定結果画面50を表示させる制御を行う。
ステップ122では、表示制御部32が、ステップ120で表示された、上述の図6に示す測定結果画面50から、操作者からの指示に従って、検出成分についての有形成分名を示す分類項目の選択を受け付けたか否かを判定する。分類項目の選択を受け付けたと判定した場合(肯定判定の場合)、ステップ124に移行し、分類項目の選択を受け付けていないと判定した場合(否定判定の場合)、ステップ122で待機となる。
ステップ124では、表示制御部32が、ステップ122で選択を受け付けた分類項目に応じて、一例として、上述の図7に示す有形成分画像リスト画面51を表示させる制御を行う。
ステップ126では、表示制御部32が、ステップ124で表示された、上述の図7に示す有形成分画像リスト画面51から、操作者からの指示に従って、見本画像の表示の指示を受け付けたか否かを判定する。見本画像の表示の指示を受け付けたと判定した場合(肯定判定の場合)、ステップ128に移行し、見本画像の表示の指示を受け付けていないと判定した場合(否定判定の場合)、ステップ126で待機となる。
ステップ128では、表示制御部32が、一例として、後述の図13に示す見本作業画面60を表示させる制御を行う。この見本作業画面60では、検出成分の有形成分画像リスト、及び、複写先の見本画像リストが1つの画面に表示される。本実施形態では、第1種類と第2種類とは同一の分類であるため、見本追加の操作指示に応じて自動的に、図13の上段に表示されている有形成分と同じ種類の見本画像が下段に表示される。
ステップ130では、表示制御部32が、操作者からの指示に従って、ステップ128で表示されている有形成分画像リストから、見本追加の対象とする、1つの有形成分画像の選択を受け付ける。
ステップ132では、表示制御部32が、ステップ130で選択された有形成分画像を有形成分画像リストに残したまま、ステップ128で表示されている見本画像リストに表示させる制御を行う。つまり、一例として、後述の図14に示すように、選択された有形成分画像が見本画像リストに複写される。
ステップ134では、表示制御部32が、ステップ128で表示されている有形成分画像リストについての見本追加の確認が終了したか否かを判定する。見本追加の確認が終了していないと判定した場合(否定判定の場合)、ステップ130に戻り処理を繰り返す。一方、見本追加の確認が終了したと判定した場合(肯定判定の場合)、本画像分類処理プログラム14Aによる一連の処理を終了する。
次に、図13及び図14を参照して、本実施形態に係る見本追加処理における具体的な画面例を説明する。実際には、第1項目ボタン群51、第2項目ボタン群52、及び操作ボタンB1〜B6を用いて操作が行われるが、簡略化のために、図13及び図14に示す例では、図7及び図8に示す第1項目ボタン群51及び第2項目ボタン群52の図示を省略する。
上述の図7に示す有形成分画像リスト画面51において、操作ボタンB5(見本追加ボタン)がクリック操作等により選択されると、一例として、図13に示す見本作業画面60が表示される。この見本作業画面60では、検出成分の有形成分画像リストと、複写先の見本画像リストとが1つの画面に表示される。
図13及び図14は、第2の実施形態に係る見本作業画面60の一例を示す正面図である。
図13に示すように、本実施形態に係る見本作業画面60は、検出成分の有形成分画像リスト60A及び複写先の見本画像リスト60Bを表示している。この見本作業画面60は、表示部16に表示される。
図13に示すように、本実施形態に係る見本作業画面60では、第1項目ボタン群52(図7参照)の扁平上皮細胞「SQEC」の項目ボタンが選択操作され、「SQEC」に含まれる有形成分画像の有形成分画像リスト60Aが上段に表示されている。また、操作ボタンB5が操作され、同一の項目である「SQEC」に含まれる有形成分画像の見本画像リスト60Bが下段に表示されている。
図13において、操作者が、有形成分画像リスト60Aに含まれる有形成分画像61を見本として追加するために、有形成分画像61を選択して操作ボタンB3をクリック操作等により選択すると、図14に示す見本作業画面60に遷移する。なお、選択した有形成分画像61を見本画像リスト60Bにドラッグアンドドロップする操作を行ってもよい。
上述した操作ボタンB3の操作が行われると、図14に示すように、有形成分画像リスト60Aから選択された有形成分画像61が有形成分画像リスト60Aに残されたまま、見本画像リスト60Bに表示される。
ここで、表示制御部32は、上記第1の実施形態と同様に、有形成分画像リスト60Aから選択された有形成分画像61を、見本画像リスト60Bに強調して表示させることが望ましい。一例として、有形成分画像61を見本画像リスト60Bの先頭に表示させる。あるいは、有形成分画像61に予め定められたマーク(一例として、星印や丸印等。)を付与するようにしてもよい。更には、有形成分画像61の外枠を太くしたり、所定の色(一例として、赤色や青色等。)に変更したり、他の画像よりもサイズを大きくして表示してもよい。これにより、見本として複写した画像を容易に特定することができる。
なお、本実施形態においては、上述の分類項目が、大項目及び大項目を細分化した小項目の少なくとも一方に仕分けられていてもよい。検出成分の分類を選択する際に、大項目が選択された場合、有形成分画像は、大項目に含まれる有形成分画像の画像リストに表示され、小項目が選択された場合、有形成分画像は、小項目に含まれる有形成分画像の画像リストに表示される。
また、本実施形態においても、上記第1の実施形態と同様に、分類毎に対応する項目を色分けして表示させる制御を行うようにしてもよい。また、有形成分画像リストの各有形成分画像に対して、複数の異なる焦点位置で撮影して得られた複数の画像を切り替えて表示させる制御を行うようにしてもよい。また、有形成分画像リストの有形成分画像を、上述の適合度に従って適合順あるいは不適合順に並べて表示させる制御を行うようにしてもよい。また、分類毎に有形成分画像の拡大率を設定する制御を更に行うようにしてもよい。また、分類毎に有形成分画像の輝度及びコントラスト比の少なくとも一方を設定する制御を行うようにしてもよい。
以上説明したように本実施形態によれば、フロー方式による画像撮影により所定の分類毎に分類された有形成分画像を観察した状態で、選択した画像を見本として見本画像リストに追加することができる。このため、誤操作の発生を抑制することができる。
以上、実施形態に係る情報処理装置を例示して説明した。実施形態は、情報処理装置が備える各部の機能をコンピュータに実行させるためのプログラムの形態としてもよい。実施形態は、このプログラムを記憶したコンピュータが読み取り可能な記憶媒体の形態としてもよい。
その他、上記実施形態で説明した情報処理装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。有形成分画像の表示は、上記の実施形態には限定されず、例えば左右に横並びで表示してもよい。各ボタンの表示位置も適宜変更可能である。
また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。
10 情報処理装置
12 制御部
12A CPU
12B ROM
12C RAM
12D I/O
14 記憶部
14A 画像分類処理プログラム
14B 有形成分画像群
16 表示部
18 操作部
20 通信部
30 分類部
32 表示制御部
40 フローセル
42 検体取入口
44 シース取入口
46 排出口
50 測定結果画面
50A 有形成分名
50B 有形成分ボタン
50C マーク
51 有形成分画像リスト画面
52 第1項目ボタン群
53 第2項目ボタン群
54、56、58、59 再分類作業画面
54A、56A、58A、59A 第1画像リスト
54B、56B 第2画像リスト
55、57A、57B、57C、61 有形成分画像
60 見本作業画面
60A 有形成分画像リスト
60B 見本画像リスト
70 測定システム
72 筐体
74 カメラ
76 光源
78 第1供給装置
86 第2供給装置

Claims (23)

  1. 複数種類の有形成分を含み、かつ、フローセルを流れる検体流体を撮影して得られる複数の画像から、有形成分として認識した有形成分画像を切り出し、切り出した有形成分画像を所定の分類毎に検出成分として分類する分類部と、
    前記分類部により前記検出成分として分類された有形成分画像を、異なる分類に再分類する場合に、前記検出成分の分類に含まれる有形成分画像の第1画像リストを表示部に表示させた状態で、移動先の分類の選択を受け付け、更に、前記第1画像リスト及び前記移動先の分類に含まれる有形成分画像の第2画像リストを前記表示部に同時に表示させた状態で、前記第1画像リストから選択された有形成分画像を、前記第2画像リストに移動させる制御を行う制御部と、
    を備えた情報処理装置。
  2. 前記制御部は、前記第1画像リストから前記第2画像リストに移動させた有形成分画像を強調して表示させる制御を更に行う請求項1に記載の情報処理装置。
  3. 前記強調して表示させる制御は、前記有形成分画像を前記第2画像リストの先頭に表示させる制御である請求項2に記載の情報処理装置。
  4. 前記分類は、大項目及び前記大項目を細分化した小項目の少なくとも一方に仕分けられており、
    前記制御部は、前記移動先の分類を選択する際に、前記大項目が選択された場合、前記有形成分画像を、前記大項目に含まれる有形成分画像の画像リストに表示させ、前記小項目が選択された場合、前記有形成分画像を、前記小項目に含まれる有形成分画像の画像リストに表示させる制御を更に行う請求項1〜3のいずれか1項に記載の情報処理装置。
  5. 前記小項目は、前記大項目が選択された後に選択可能とされる請求項4に記載の情報処理装置。
  6. 前記制御部は、前記第1画像リストの各有形成分画像に対して、前記フローセルの深さ方向における焦点位置の異なる複数の前記有形成分画像を切り替えて表示させる制御を更に行う請求項1〜5のいずれか1項に記載の情報処理装置。
  7. 前記制御部は、前記分類毎に対応する項目を色分けして表示させる制御を更に行う請求項1〜6のいずれか1項に記載の情報処理装置。
  8. 前記分類部は、前記有形成分画像の分類結果についての適合度を更に算出し、
    前記制御部は、前記第1画像リストの有形成分画像を、前記適合度に従って適合順あるいは不適合順に並べて表示させる制御を更に行う請求項1〜7のいずれか1項に記載の情報処理装置。
  9. 前記制御部は、前記分類毎に測定結果を一覧表示させ、前記一覧表示された分類のうち、前記第1画像リストを表示させて有形成分画像の確認を行った分類に対して、確認済みを示すマークを付与する制御を更に行う請求項1〜8のいずれか1項に記載の情報処理装置。
  10. 前記制御部は、前記第1画像リストを表示させている際に、前記有形成分画像の拡大率を設定する制御を更に行う請求項1〜9のいずれか1項に記載の情報処理装置。
  11. 前記制御部は、前記第1画像リストを表示させている際に、前記有形成分画像の輝度及びコントラスト比の少なくとも一方を設定する制御を更に行う請求項1〜10のいずれか1項に記載の情報処理装置。
  12. 前記分類部によって分類された有形成分画像及び前記有形成分画像の見本画像を記憶する記憶部を更に備え、
    前記制御部は、前記分類部により前記検出成分として分類された有形成分画像を、同一の分類の前記見本画像として追加する場合に、前記検出成分の分類に含まれる有形成分画像の有形成分画像リストを前記表示部に表示させた状態で、前記見本画像の表示の指示を受け付け、更に、前記有形成分画像リスト及び前記見本画像の見本画像リストを前記表示部に同時に表示させた状態で、前記有形成分画像リストから選択された有形成分画像を、前記見本画像リストに複写する制御を更に行う請求項1〜11のいずれか1項に記載の情報処理装置。
  13. 複数種類の有形成分を含み、かつ、フローセルを流れる検体流体を撮影して得られる複数の画像から、有形成分として認識した有形成分画像を切り出し、切り出した有形成分画像を所定の分類毎に検出成分として分類する分類部と、
    前記分類部によって分類された有形成分画像及び前記有形成分画像の見本画像を記憶する記憶部と、
    前記分類部により前記検出成分として分類された有形成分画像を、同一の分類の前記見本画像として追加する場合に、前記検出成分の分類に含まれる有形成分画像の有形成分画像リストを表示部に表示させた状態で、前記見本画像の表示の指示を受け付け、更に、前記有形成分画像リスト及び前記見本画像の見本画像リストを前記表示部に同時に表示させた状態で、前記有形成分画像リストから選択された有形成分画像を、前記見本画像リストに複写する制御を行う制御部と、
    を備えた情報処理装置。
  14. 前記制御部は、前記有形成分画像リストから前記見本画像リストに複写した有形成分画像を強調して表示させる制御を更に行う請求項13に記載の情報処理装置。
  15. 前記強調して表示させる制御は、前記有形成分画像を前記見本画像リストの先頭に表示させる制御である請求項14に記載の情報処理装置。
  16. 前記分類は、大項目及び前記大項目を細分化した小項目の少なくとも一方に仕分けられており、
    前記制御部は、前記検出成分の分類を選択する際に、前記大項目が選択された場合、前記有形成分画像を、前記大項目に含まれる有形成分画像の画像リストに表示させ、前記小項目が選択された場合、前記有形成分画像を、前記小項目に含まれる有形成分画像の画像リストに表示させる制御を更に行う請求項13〜15のいずれか1項に記載の情報処理装置。
  17. 前記制御部は、前記有形成分画像リストの各有形成分画像に対して、前記フローセルの深さ方向における焦点位置の異なる複数の前記有形成分画像を切り替えて表示させる制御を更に行う請求項13〜16のいずれか1項に記載の情報処理装置。
  18. 前記制御部は、前記分類毎に対応する項目を色分けして表示させる制御を更に行う請求項13〜17のいずれか1項に記載の情報処理装置。
  19. 前記分類部は、前記有形成分画像の分類結果についての適合度を更に算出し、
    前記制御部は、前記有形成分画像リストの有形成分画像を、前記適合度に従って適合順あるいは不適合順に並べて表示させる制御を更に行う請求項13〜18のいずれか1項に記載の情報処理装置。
  20. 前記制御部は、前記有形成分画像リストを表示させている際に、前記有形成分画像の拡大率を設定する制御を更に行う請求項13〜19のいずれか1項に記載の情報処理装置。
  21. 前記制御部は、前記有形成分画像リストを表示させている際に、前記有形成分画像の輝度及びコントラスト比の少なくとも一方を設定する制御を更に行う請求項13〜20のいずれか1項に記載の情報処理装置。
  22. 複数種類の有形成分を含む検体流体及びシース流体が流れるフローセルと、
    前記フローセルを流れる検体流体を撮影する撮影部と、
    前記撮影部により撮影して得られた複数の画像を制御する、請求項1〜21のいずれか1項に記載の情報処理装置と、
    を備えた測定システム。
  23. コンピュータを、請求項1〜21のいずれか1項に記載の情報処理装置が備える各部として機能させるためのプログラム。
JP2018216665A 2018-11-19 2018-11-19 情報処理装置、測定システム、及びプログラム Active JP7510742B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2018216665A JP7510742B2 (ja) 2018-11-19 2018-11-19 情報処理装置、測定システム、及びプログラム
CN201911076191.9A CN111199181A (zh) 2018-11-19 2019-11-06 信息处理装置、测定系统及非临时性存储介质
EP21198954.6A EP3958172A1 (en) 2018-11-19 2019-11-06 Information processing device, measurement system, and non-transitory storage medium
EP19207547.1A EP3654237A1 (en) 2018-11-19 2019-11-06 Information processing device, measurement system, and non-transitory storage medium
US16/677,896 US11281933B2 (en) 2018-11-19 2019-11-08 Information processing device, measurement system, and non-transitory storage medium
JP2023091726A JP7518240B2 (ja) 2018-11-19 2023-06-02 測定システム
JP2024108359A JP2024133618A (ja) 2018-11-19 2024-07-04 測定システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018216665A JP7510742B2 (ja) 2018-11-19 2018-11-19 情報処理装置、測定システム、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023091726A Division JP7518240B2 (ja) 2018-11-19 2023-06-02 測定システム

Publications (2)

Publication Number Publication Date
JP2020085535A true JP2020085535A (ja) 2020-06-04
JP7510742B2 JP7510742B2 (ja) 2024-07-04

Family

ID=68502807

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018216665A Active JP7510742B2 (ja) 2018-11-19 2018-11-19 情報処理装置、測定システム、及びプログラム
JP2023091726A Active JP7518240B2 (ja) 2018-11-19 2023-06-02 測定システム
JP2024108359A Pending JP2024133618A (ja) 2018-11-19 2024-07-04 測定システム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2023091726A Active JP7518240B2 (ja) 2018-11-19 2023-06-02 測定システム
JP2024108359A Pending JP2024133618A (ja) 2018-11-19 2024-07-04 測定システム

Country Status (4)

Country Link
US (1) US11281933B2 (ja)
EP (2) EP3958172A1 (ja)
JP (3) JP7510742B2 (ja)
CN (1) CN111199181A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023017641A1 (ja) * 2021-08-13 2023-02-16 ソニーグループ株式会社 生体粒子分取装置、生体粒子分取システム、及び情報処理装置
EP4261794A1 (en) 2022-04-13 2023-10-18 ARKRAY, Inc. Image processing device, data management device, image processing system, image processing method, and non-transitory storage medium
EP4312182A1 (en) 2022-07-29 2024-01-31 ARKRAY, Inc. Information processing device, measurement system, image processing method, and non-transitory storage medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902238B2 (en) * 2018-11-28 2021-01-26 Toyota Research Institute, Inc. Systems and methods for predicting semantics of a particle using semantic segmentation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010085197A (ja) * 2008-09-30 2010-04-15 Hitachi High-Technologies Corp 粒子自動分析装置の画面表示方法
JP2010151523A (ja) * 2008-12-24 2010-07-08 Hitachi High-Technologies Corp 粒子画像解析方法および装置
JP2016517515A (ja) * 2013-03-15 2016-06-16 ホロジック, インコーポレイテッドHologic, Inc. 細胞診標本を観察および解析するためのシステムおよび方法
WO2016157982A1 (ja) * 2015-03-31 2016-10-06 シスメックス株式会社 尿分析システム、撮像装置、細胞撮像装置、尿分析方法、管理装置および情報処理方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4612614A (en) 1980-09-12 1986-09-16 International Remote Imaging Systems, Inc. Method of analyzing particles in a fluid sample
JP3050046B2 (ja) 1994-07-18 2000-06-05 株式会社日立製作所 粒子自動分類システム
JPH0991430A (ja) 1995-09-27 1997-04-04 Hitachi Ltd パターン認識装置
WO1999013317A1 (fr) 1997-09-08 1999-03-18 Hitachi, Ltd. Systeme d'inspection des urines
WO1999013316A1 (fr) 1997-09-08 1999-03-18 Hitachi, Ltd. Systeme d'examen des urines
JPH11132932A (ja) 1997-10-29 1999-05-21 Hitachi Ltd 生体に関する粒子画像分類システムおよび粒子の再分類方法
US7324694B2 (en) * 2003-05-23 2008-01-29 International Remote Imaging Systems, Inc. Fluid sample analysis using class weights
US7925070B2 (en) * 2004-03-30 2011-04-12 Sysmex Corporation Method for displaying virtual slide and terminal device for displaying virtual slide
US20050251347A1 (en) * 2004-05-05 2005-11-10 Pietro Perona Automatic visual recognition of biological particles
US20060159325A1 (en) * 2005-01-18 2006-07-20 Trestle Corporation System and method for review in studies including toxicity and risk assessment studies
JP4839010B2 (ja) * 2005-03-29 2011-12-14 シスメックス株式会社 分析システム、データ処理装置、及びアプリケーションプログラム
TWI405135B (zh) * 2005-05-17 2013-08-11 Ibm 系統,方法及記錄媒體
US9927352B2 (en) * 2007-08-06 2018-03-27 The Regents Of The University Of California Rapid and label-free procedure for microbial community screening and profiling
JP5466825B2 (ja) * 2008-01-23 2014-04-09 シスメックス株式会社 細胞画像処理システム、細胞画像表示システムおよび細胞画像表示方法
JP5380026B2 (ja) * 2008-09-24 2014-01-08 シスメックス株式会社 標本撮像装置
US8842900B2 (en) * 2008-10-28 2014-09-23 Sysmex Corporation Specimen processing system and blood cell image classifying apparatus
MX2013005136A (es) 2010-11-07 2013-12-12 Council Scient Ind Res Microscopio de campo luminoso 4d en chip.
CN103930762B (zh) * 2011-06-17 2018-03-20 罗氏血液诊断股份有限公司 用于样本显示与查看的系统和方法
US9036888B2 (en) * 2012-04-30 2015-05-19 General Electric Company Systems and methods for performing quality review scoring of biomarkers and image analysis methods for biological tissue
JP6705251B2 (ja) * 2016-03-29 2020-06-03 ブラザー工業株式会社 プログラムおよび情報処理装置
US10552663B2 (en) * 2017-05-02 2020-02-04 Techcyte, Inc. Machine learning classification and training for digital microscopy cytology images
JP6784722B2 (ja) * 2018-06-28 2020-11-11 ファナック株式会社 出力装置、制御装置、及び評価関数値の出力方法
JP7352340B2 (ja) * 2018-09-28 2023-09-28 シスメックス株式会社 測定装置及び精度管理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010085197A (ja) * 2008-09-30 2010-04-15 Hitachi High-Technologies Corp 粒子自動分析装置の画面表示方法
JP2010151523A (ja) * 2008-12-24 2010-07-08 Hitachi High-Technologies Corp 粒子画像解析方法および装置
JP2016517515A (ja) * 2013-03-15 2016-06-16 ホロジック, インコーポレイテッドHologic, Inc. 細胞診標本を観察および解析するためのシステムおよび方法
WO2016157982A1 (ja) * 2015-03-31 2016-10-06 シスメックス株式会社 尿分析システム、撮像装置、細胞撮像装置、尿分析方法、管理装置および情報処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023017641A1 (ja) * 2021-08-13 2023-02-16 ソニーグループ株式会社 生体粒子分取装置、生体粒子分取システム、及び情報処理装置
EP4261794A1 (en) 2022-04-13 2023-10-18 ARKRAY, Inc. Image processing device, data management device, image processing system, image processing method, and non-transitory storage medium
EP4312182A1 (en) 2022-07-29 2024-01-31 ARKRAY, Inc. Information processing device, measurement system, image processing method, and non-transitory storage medium

Also Published As

Publication number Publication date
EP3958172A1 (en) 2022-02-23
US20200160094A1 (en) 2020-05-21
US11281933B2 (en) 2022-03-22
JP2023113783A (ja) 2023-08-16
JP2024133618A (ja) 2024-10-02
JP7510742B2 (ja) 2024-07-04
JP7518240B2 (ja) 2024-07-17
EP3654237A1 (en) 2020-05-20
CN111199181A (zh) 2020-05-26

Similar Documents

Publication Publication Date Title
JP2020085535A (ja) 情報処理装置、測定システム、及びプログラム
AU2020200835B2 (en) System and method for reviewing and analyzing cytological specimens
US7925070B2 (en) Method for displaying virtual slide and terminal device for displaying virtual slide
US20090323062A1 (en) Sample analyzer, particle distribution diagram displaying method and computer program product
US11080512B2 (en) Information processing device, information processing method, measurement system and non-transitory storage medium
JPH11132932A (ja) 生体に関する粒子画像分類システムおよび粒子の再分類方法
JP4578135B2 (ja) 標本画像の表示方法および標本画像表示用プログラム
JP2010151523A (ja) 粒子画像解析方法および装置
EP4261794A1 (en) Image processing device, data management device, image processing system, image processing method, and non-transitory storage medium
EP4312182A1 (en) Information processing device, measurement system, image processing method, and non-transitory storage medium
JP3395627B2 (ja) 生体の粒子画像の分類方法
JP2023156996A (ja) 画像処理装置、データ管理装置、画像処理システム、及び画像処理プログラム
JP2005283376A (ja) 標本画像の表示方法および標本画像表示用プログラム
JP7374943B2 (ja) 表示方法および検体分析装置
WO1999013316A1 (fr) Systeme d'examen des urines
US20240338117A1 (en) Biological particle sorting device, biological particle sorting system, and information processing device
WO1999013317A1 (fr) Systeme d'inspection des urines
JP2024004369A (ja) 火砕物構成粒子の解析システム及び火砕物構成粒子の解析プログラム
JP2022167195A (ja) 粒子画像解析装置
CN117952897A (zh) 生物样本分析设备以及生物样本分析方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210602

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230602

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230719

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240624

R150 Certificate of patent or registration of utility model

Ref document number: 7510742

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150