JP2021516373A - 病理顕微鏡並びに、その表示モジュール、制御方法、装置及びコンピュータプログラム - Google Patents

病理顕微鏡並びに、その表示モジュール、制御方法、装置及びコンピュータプログラム Download PDF

Info

Publication number
JP2021516373A
JP2021516373A JP2020549545A JP2020549545A JP2021516373A JP 2021516373 A JP2021516373 A JP 2021516373A JP 2020549545 A JP2020549545 A JP 2020549545A JP 2020549545 A JP2020549545 A JP 2020549545A JP 2021516373 A JP2021516373 A JP 2021516373A
Authority
JP
Japan
Prior art keywords
analysis
pathological
model
unit
microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020549545A
Other languages
English (en)
Inventor
建▲華▼ 姚
建▲華▼ 姚
▲シャオ▼ ▲韓▼
▲シャオ▼ ▲韓▼
俊洲 黄
俊洲 黄
▲偉▼ ▲劉▼
▲偉▼ ▲劉▼
▲彦▼襄 王
▲彦▼襄 王
▲徳▼ 蔡
▲徳▼ 蔡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2021516373A publication Critical patent/JP2021516373A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/574—Immunoassay; Biospecific binding assay; Materials therefor for cancer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/364—Projection microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Immunology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Hospice & Palliative Care (AREA)
  • Microbiology (AREA)
  • Cell Biology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Biotechnology (AREA)
  • Oncology (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)

Abstract

病理顕微鏡、表示モジュール、制御方法、装置及び記憶媒体が提供され、病理顕微鏡は、顕微鏡本体（２０）、画像収集ユニット（２１）、制御ユニット（２２）及び拡張現実ＡＲ投影ユニット（２３）を含む。顕微鏡本体（２０）に入射光路及び出射光路が形成され、画像収集ユニット（２１）が入射光路に設けられ、制御ユニット（２２）の入力端が画像収集ユニット（２１）に電気的に接続され、制御ユニット（２２）の出力端がＡＲ投影ユニット（２３）に電気的に接続され、ＡＲ投影ユニット（２３）が出射光路に設けられる。

Description

本願は、２０１８年８月２１日に中国特許庁に提出された、出願番号が２０１８１０９５６２２３．３、発明の名称が「病理顕微鏡、表示モジュール、制御方法、装置及び記憶媒体」である中国特許出願に基づく優先権を主張するものであり、その全内容を本出願に参照により援用する。
本発明は、顕微鏡による撮像の分野に関し、特に病理顕微鏡並びに、その表示モジュール、制御方法、装置及び記憶媒体に関する。
病理検査は、生体の器官、組織又は細胞の病理学的変化を検査するための病理形態学的手法である。病理検査過程において、医師は、一定の大きさの病変組織を切り出し、病理組織学的手法によって病理切片を作成し、そして病理顕微鏡を用いて病理切片を観察することで病変を観察する。関連技術では、病理切片のデジタル病理画像を取得することができ、医師は、デジタル病理画像から疑わしい病変領域があるか否かを確認し、疑わしい病変領域があれば、顕微鏡視野の病理切片画像において該疑わしい病変領域を再度確認できるため、顕微鏡視野に切り換える必要があり、顕微鏡視野で該疑わしい病変領域を見つけるにはかなりの時間がかかり、したがって、上記病理顕微鏡の使用が不便であり、観察中のリアルタイム性が低い。
本願に係る様々な実施例によれば、病理顕微鏡、表示モジュール、制御方法、装置及び記憶媒体が提供される。
本願の一態様によれば、病理顕微鏡に適用される付加表示モジュールであって、前記病理顕微鏡の入射光路に設けられ、前記入射光路からデジタル病理画像を収集するための画像収集ユニットと、前記デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成するための制御ユニットと、前記病理顕微鏡の出射光路に設けられ、前記出射光路において、前記ＡＩ分析情報を前記病理顕微鏡の顕微鏡視野に投影するためのＡＲ投影ユニットとを、含み、前記制御ユニットは、入力端が前記画像収集ユニットに電気的に接続され、出力端が前記ＡＲ投影ユニットに電気的に接続される付加表示モジュールが提供される。
本願の別の態様によれば、入射光路に対応する第１の本体部分と、出射光路に対応する第２の本体部分とを有する顕微鏡本体、及び前述のような付加表示モジュールを含む病理顕微鏡が提供される。
本願の別の態様によれば、制御ユニットによって実行される表示制御方法であって、画像収集ユニットが入射光路から収集したデジタル病理画像を取得するステップと、前記デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成するステップと、ＡＲ投影ユニットが出射光路において前記ＡＩ分析情報を病理顕微鏡の顕微鏡視野に投影するよう制御するステップとを含む表示制御方法が提供される。
一部の実施例では、前記デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成するステップは、少なくとも１つのＡＩ分析モデルを取得し、前記少なくとも１つのＡＩ分析モデルのうち、前記デジタル病理画像の使用シーンに対応するターゲットＡＩ分析モデルを決定し、前記ターゲットＡＩ分析モデルを呼び出して前記デジタル病理画像をＡＩ分析して前記ＡＩ分析情報を生成するステップ、及び前記デジタル病理画像を、サーバに送信し、前記サーバから送られてくる前記ＡＩ分析情報を受信するステップであって、前記サーバは、ＡＩ分析モデルを記憶しており、前記ＡＩ分析モデルで前記デジタル病理画像に対するＡＩ分析を実行することにより、ＡＩ分析情報を取得するものである、ステップのうちの少なくとも１つを含む。
ここで、前記デジタル病理画像の使用シーンが腫瘍領域検査である場合、腫瘍領域検査ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記腫瘍領域検査ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析して腫瘍分析情報を取得し、及び／又は、前記デジタル病理画像の使用シーンが細胞検出である場合、細胞検出ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記細胞検出ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析して細胞検出情報を取得し、及び／又は、前記デジタル病理画像の使用シーンが伝染病検査である場合、伝染病検査ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記伝染病検査ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析して伝染病検査情報を取得する。
一部の実施例では、前記方法は、さらに、音声収集ユニットの音声信号から収集された制御命令を認識するステップと、前記制御命令に基づいて前記ＡＩ分析の分析過程を制御するステップとを含む。前記制御命令がモデル選択命令の場合、前記モデル選択命令に基づいて前記ターゲットＡＩ分析モデルを選択する。前記制御命令がモデルダウンロード命令の場合、前記ネットワークユニットに、少なくとも１つのＡＩ分析モデルをダウンロードするよう制御するか、或いは、前記ターゲットＡＩ分析モデルが記憶されていない場合、前記ネットワークユニットに前記ターゲットＡＩ分析モデルをダウンロードするよう制御する。
一部の実施例では、前記方法は、さらに、前記制御命令が第１の生成命令の場合、前記ＡＩ分析情報が含まれる病理報告を生成するステップ、又は、前記制御命令が第２の生成命令の場合、前記ＡＩ分析情報と、病理切片上の文字又は図形コードから認識された患者情報が含まれるカルテレポートを生成するステップを含む。前記音声信号から認識された文字内容に基づいて、前記病理報告又は前記カルテレポートにおける医師記録を生成する。
一部の実施例では、前記方法は、さらに、前記ネットワークユニットに前記病理報告又は前記カルテレポートを第１のターゲット装置にアップロードするよう制御するステップ、及び前記ネットワークユニットに、前記ＡＩ分析情報が重畳された顕微鏡画像を第２のターゲット装置にアップロードするか、もしくは、予め設定した共有チャネルに共有するよう制御するステップ、のうちの少なくとも１つを含む。
一部の実施例では、前記方法は、さらに、音声再生ユニットによる前記ＡＩ分析情報の再生を制御するステップを含む。
本願の別の態様によれば、上記制御ユニットに実装される表示制御装置であって、画像収集ユニットが入射光路から収集したデジタル病理画像を取得するための画像取得部と、前記デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成するための画像分析部と、ＡＲ投影ユニットが出射光路において前記ＡＩ分析情報を病理顕微鏡の顕微鏡視野に投影するよう制御するための画像投影部とを含む表示制御装置が提供される。
ここで、前記画像分析部は、少なくとも１つのＡＩ分析モデルを取得し、前記デジタル病理画像の使用シーンに対応するターゲットＡＩ分析モデルを決定するためのモデル取得ユニット、前記ターゲットＡＩ分析モデルを呼び出して前記デジタル病理画像をＡＩ分析して前記ＡＩ分析情報を生成するためのモデル呼出ユニット、及び／又は、前記デジタル病理画像をサーバに送信するための画像送信ユニットであって、前記サーバはＡＩ分析モデルを記憶しており、前記ＡＩ分析モデルで前記デジタル病理画像に対するＡＩ分析を実行することにより、ＡＩ分析情報を取得するものである画像送信ユニット、前記サーバから送られてくる前記ＡＩ分析情報を受信する情報受信ユニットを含む。
ここで、前記モデル呼出ユニットは、前記デジタル病理画像の使用シーンが腫瘍領域検査である場合、腫瘍領域検査ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記腫瘍領域検査ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析することにより、腫瘍分析情報を取得するための腫瘍検査サブユニット、及び／又は、前記デジタル病理画像の使用シーンが細胞検出である場合、細胞検出ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記細胞検出ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析することにより、細胞検出情報を取得するための細胞検出サブユニット、及び／又は、前記デジタル病理画像の使用シーンが伝染病検査である場合、伝染病検査ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記伝染病検査ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析することにより、伝染病検査情報を取得するための伝染病検査サブユニットを含む。
一部の実施例では、前記装置は、さらに、音声収集ユニットの音声信号から収集された制御命令を認識し、前記制御命令に基づいて前記ＡＩ分析の分析過程を制御するための音声認識部を含む。前記音声認識部は、前記制御命令がモデル選択命令の場合、前記モデル選択命令に基づいて前記ターゲットＡＩ分析モデルを選択する。前記音声認識部は、前記制御命令がモデルダウンロード命令の場合、前記ネットワークユニットにより少なくとも１つのＡＩ分析モデルをダウンロードするか、或いは、前記ターゲットＡＩ分析モデルが記憶されていない場合、前記ネットワークユニットにより前記ターゲットＡＩ分析モデルをダウンロードする。
一部の実施例では、前記装置は、さらに、前記制御命令が第１の生成命令の場合、前記ＡＩ分析情報が含まれる病理報告を生成するか、もしくは、前記制御命令が第２の生成命令の場合、前記ＡＩ分析情報と、病理切片上の文字又は図形コードから認識された患者情報が含まれるカルテレポートを生成するための報告生成部を含む。前記報告生成部は、前記音声信号から認識された文字内容に基づいて、前記病理報告又は前記カルテレポートにおける医師記録を生成する。
一部の実施例では、前記装置は、さらに、前記ネットワークユニットにより前記病理報告又は前記カルテレポートを第１のターゲット装置にアップロードするための報告アップロード部、及び／又は、前記ネットワークユニットにより、前記ＡＩ分析情報が重畳された顕微鏡画像を第２のターゲット装置にアップロードするか又は予め設定した共有チャネルに共有するための画像アップロード部を含む。
一部の実施例では、前記装置は、さらに、音声再生ユニットによる前記ＡＩ分析情報の再生を制御するための情報再生部を含む。
本願の別の態様によれば、プロセッサによってロードされ、実行されることにより、上記のような表示制御方法を実現する少なくとも１つの命令が記憶されているコンピュータ可読記憶媒体が提供される。
本願の１つ以上の実施例の詳細は、以下の図面及び説明において提供される。本願の他の特徴、目的及び利点は、明細書、図面及び特許請求の範囲から明らかになる。
本願の実施例における技術的解決手段をより明確に説明するために、以下、実施例の説明に必要な図面を簡単に説明するが、明らかに、以下の説明における図面は本願の一部の実施例に過ぎず、当業者であれば、創造的な労働をせずにこれらの図面に基づいて他の図面を得ることができる。
関連技術に係る病理顕微鏡の動作原理図である。 本願の例示的な一実施例に係る病理顕微鏡の概略構成図である。 本願の例示的な一実施例に係る病理顕微鏡の画像収集ユニットが先端に配置される場合の概略構造図である。 本願の例示的な一実施例に係る病理顕微鏡の画像収集ユニットが側端に配置される場合の概略構造図である。 本願の例示的な一実施例に係る病理顕微鏡のＡＲ投影ユニットが投影する場合の第１の概略構造図である。 本願の例示的な一実施例に係る病理顕微鏡のＡＲ投影ユニットが投影する場合の第２の概略構造図である。 本願の別の例示的な一実施例に係る病理顕微鏡の概略構成図である。 本願の別の例示的な一実施例に係る病理顕微鏡の患者情報が文字によって認識される場合の概略図である。 本願の別の例示的な一実施例に係る病理顕微鏡の患者情報が二次元コードによって認識される場合の概略図である。 本願の別の例示的な一実施例に係る病理顕微鏡の第１の概略構成図である。 本願の別の例示的な一実施例に係る病理顕微鏡の第２の概略構成図である。 本願の例示的な一実施例に係る病理顕微鏡の使用環境図である。 本願の例示的な一実施例に係る病理顕微鏡のＡＩ分析モデルのトレーニング方法のフロー図である。 本願の例示的な一実施例に係る表示制御方法のフロー図である。 本願の別の例示的な一実施例に係る表示制御方法のフロー図である。 本願の例示的な一実施例に係る表示制御装置のブロック図である。 本願の別の例示的な一実施例に係る画像分析部のブロック図である。 本願の別の例示的な一実施例に係る表示制御装置のブロック図である。 本願の例示的な一実施例に係る病理顕微鏡の適用場所の概略図である。 本願の例示的な一実施例に係る病理顕微鏡のハードウェアの概略構成図である。 本願の例示的な一実施例に係る病理顕微鏡の機能応用のフロー図である。
本願の目的、技術的解決手段及び利点をより明確にするために、以下、図面を参照しながら本願の実施形態をさらに詳細に説明する。
病理顕微鏡は、臨床診断及び科学研究に広く応用され、病理切片画像によって生体の器官、組織又は細胞の病理形態学的特徴を取得することにより、病変の発生原因、発症メカニズム及び病変の進行過程を明らかにし、病変組織について評価及び診断を行うことができる。従来の病理診断は、専門の医師が病理顕微鏡下で病理切片を分析し診断することである。
大量の病理切片画像を観察することは、作業量が大きく、かつ一部の仕事に重複が多い。例えば、病理切片画像内の細胞を数えるとき、医師は、疲労のために誤判断しがちである。ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、人工知能）技術を病理切片画像の分析に応用することにより、医師の診断を補助することができる。
図１は、関連技術に係る病理顕微鏡１００の動作原理図を示す。該病理顕微鏡１００は、光学構造を用いた顕微鏡本体１０を含み、該顕微鏡本体１０は、病理切片００を観察して病理切片画像０１を取得する。また、該病理顕微鏡１００は、さらに、画像収集ユニット１２及びＡＩ分析モデル１４を含む。画像収集ユニット１２は、顕微鏡本体１０の光路内から病理切片００のデジタル病理画像０２を収集して取得し、ＡＩ分析モデル１４は、デジタル病理画像０２をアルゴリズム分析してＡＩ病理切片画像０３を取得する。該ＡＩ病理切片画像０３は、液晶ディスプレイによって表示することができる。
このようなＡＩ技術の応用では、まず病理顕微鏡からデジタル画像を取得し、次にＡＩアルゴリズムによって分析する必要がある。しかしながら、上記病理顕微鏡１００では、顕微鏡視野内の画像とＡＩアルゴリズムによる処理後の画像とは個別であり、病理切片画像を観察する過程全体において、医師は視野を繰り返して切り替える必要がある。このような技術は、病理顕微鏡下で病理切片を直接観察するという医師の習慣に適合せず、医師の使用における利便性を向上させていない。
本願の一部の実施例では、ＡＲ技術を病理顕微鏡に統合することが望ましい。病理顕微鏡の顕微鏡視野内で病理切片を直接分析し、ＡＩ技術によって病理切片を分析して対応するＡＩ分析情報を生成し、そしてＡＲ技術によってＡＩ分析情報を病理顕微鏡の顕微鏡視野に直接的に統合する。
図２は、本願の例示的な一実施例に係る病理顕微鏡２００の概略構成図を示し、該病理顕微鏡２００は、顕微鏡本体２０、画像収集ユニット２１、制御ユニット２２及びＡＲ投影ユニット２３を含む。
顕微鏡本体２０に入射光路及び出射光路が形成され、画像収集ユニット２１が入射光路に設けられ、制御ユニット２２の入力端が画像収集ユニット２１に電気的に接続され、制御ユニット２２の出力端がＡＲ投影ユニット２３に電気的に接続され、ＡＲ投影ユニット２３が出射光路に設けられる。
顕微鏡本体２０における光学システムは、主に対物レンズ、接眼レンズ、ミラー及び集光器などを含み、本願の実施例は、顕微鏡本体２０における光学システムの構造を限定しない。これらのレンズ又はミラーの少なくとも１つは、入射光路と出射光路を形成する。一部の実施例では、対物レンズに近い光路が入射光路であり、接眼レンズに近い光路が出射光路である。
一部の実施例では、顕微鏡本体２０は、入射光路に対応する第１の本体部分と、出射光路に対応する第２の本体部分とを含む。可能な一実現形態では、画像収集ユニット２１が第１の本体部分に実装され、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実）投影ユニット２３が第２の本体部分に実装され、別の可能な一実現形態では、第１の本体部分には第１のインターフェースが形成され、画像収集ユニット２１には、第１の本体部分の第１のインターフェースに接続される第１のジョイントが形成され、同様に、第２の本体部分には第２のインターフェースが形成され、ＡＲ投影ユニット２３には、第２の本体部分の第２のインターフェースに接続される第２のジョイントが形成される。例示的には、第１のインターフェース及び第２のインターフェースは、ねじインターフェース、ソケットインターフェース又はクランプインターフェースの少なくとも１つである。
画像収集ユニット２１は、入射光路からデジタル病理画像を収集する。
制御ユニット２２は、デジタル病理画像をＡＩ分析してＡＩ分析情報を生成する。ＡＩ分析情報は、ＡＩ分析モデルを用いてデジタル病理画像を分析した結果情報である。
制御ユニット２２の内部には、デジタル病理画像をＡＩ分析するためのＡＩ分析モデルが設定されている。可能な一実施例では、制御ユニット２２は、さらに、少なくとも１つのＡＩ分析モデルを取得し、デジタル病理画像の使用シーンに対応するターゲットＡＩ分析モデルを決定し、ターゲットＡＩ分析モデルを呼び出してデジタル病理画像をＡＩ分析してＡＩ分析情報を生成する。
異なるＡＩ分析モデルは異なる分析能力を有し、制御ユニット２２の内部に１つ以上のＡＩ分析モデルが設定されてよい。制御ユニット２２に腫瘍領域検査ＡＩモデル、細胞検出ＡＩモデル及び伝染病検査ＡＩモデルの３種類のモデルの少なくとも１種のモデルが同時に設定されている場合を例とする。
制御ユニット２２は、さらに、デジタル病理画像の使用シーンが腫瘍領域検査シーンである場合、腫瘍領域検査ＡＩモデルをターゲットＡＩ分析モデルとして決定し、腫瘍領域検査ＡＩモデルを呼び出してデジタル病理画像をＡＩ分析することにより、腫瘍分析情報を取得する。任意選択で、腫瘍分析情報は、乳がん分析情報、骨がん分析情報及び消化管がん分析情報のいずれかを含んでよい。
制御ユニット２２は、さらに、デジタル病理画像の使用シーンが細胞検出である場合、細胞検出ＡＩモデルをターゲットＡＩ分析モデルとして決定し、細胞検出ＡＩモデルを呼び出してデジタル病理画像をＡＩ分析することにより、細胞検出情報を取得する。任意選択で、細胞検出情報は、細胞計数情報、有糸分裂細胞検出情報及び細胞核検査情報のいずれかを含んでよい。
制御ユニット２２は、さらに、デジタル病理画像の使用シーンが伝染病検査である場合、伝染病検査ＡＩモデルをターゲットＡＩ分析モデルとして決定し、伝染病検査ＡＩモデルを呼び出してデジタル病理画像をＡＩ分析することにより、伝染病検査情報を取得する。任意選択で、伝染病検査情報は、マラリア原虫卵検査情報及び抗酸菌検査情報のいずれかを含んでよい。
一部の実施例では、制御ユニット２２は、さらに、ローカルエリアネットワーク又は広域ネットワーク上の他の装置からＡＩ分析モデルをダウンロードする。例えば、制御ユニット２２は、現在の使用シーンに応じて、他の装置からＡＩ分析モデルをダウンロードする。
制御ユニット２２は、さらにデジタル病理画像をサーバに送信し、サーバにＡＩ分析モデルが記憶され、サーバはＡＩ分析モデルでデジタル病理画像に対するＡＩ分析を実行することにより、ＡＩ分析情報を取得する。制御ユニットは、さらに、サーバから送られてくるＡＩ分析情報を受信する。ここで、サーバは、１台のサーバであってもよく、複数台のサーバからなるサーバクラスタであってもよく、クラウド側に実行するクラウドサーバであってもよい。
ＡＲ投影ユニット２３は、出射光路においてＡＩ分析情報を顕微鏡本体２０の顕微鏡視野に投影する。一部の実施例では、ＡＩ分析情報は、文字、曲線、背景色又は動画の少なくとも１つを含む。ＡＩ分析情報は、顕微鏡視野内の画像（又は画面）と重ね合わせた後、ＡＩ病理画像（又はＡＩ病理画面）を形成することができる。例えば、ＡＩ病理画像において、矢印や文字などの形式で関心領域をマーキングしてよい。ヒートマップの形式でマーキングしてもよい。
以上より、本実施例に係る病理顕微鏡は、画像収集ユニットによってデジタル病理画像を収集し、制御ユニットによってデジタル病理画像をＡＩ分析してＡＩ分析情報を取得し、そしてＡＲ投影ユニットによってＡＩ分析情報を顕微鏡本体の顕微鏡視野に投影することにより、医師が病理切片画像とＡＩ分析情報を顕微鏡視野内に同時に観察することを可能にし、観察の全過程において視野を繰り返して切り替える必要がなくなるため、病理顕微鏡の観察過程をより簡潔かつ直接的にし、病理顕微鏡の使用中の高リアルタイム性を図る。
図２に基づく任意選択の実施例では、顕微鏡本体２０の入射光路に画像収集ユニットが設けられることについて、画像収集ユニット２１の２つの設置形態が例示される。
図３に示すように、顕微鏡本体２０の対物レンズ鏡筒１０１の先端に画像収集ユニット２１が嵌め込まれ、入射光線１０４は、分光プリズム１０２により分割された出射光線１０３が接眼レンズ鏡筒１０５に入射する。同時に、入射光線１０４は、依然として分光プリズム１０２を透過して対物レンズ鏡筒１０１の先端の方へ出射し、画像収集ユニット２１は、顕微鏡本体２０によって観察された画面を示す入射光線１０４を収集する。
図４に示すように、顕微鏡本体２０の対物レンズ鏡筒１０１の側端に画像収集ユニット２１が嵌め込まれ、入射光線１０４は、分光プリズム１０２により分割された出射光線１０３が接眼レンズ鏡筒１０５に入射し、入射光線１０４は、依然として分光プリズム１０２を透過して対物レンズ鏡筒１０１の先端の方へ出射し、該入射光線１０４は対物レンズ鏡筒１０１の先端で反射鏡１０６によって反射され、反射された入射光線１０４は画像収集ユニット２１の方へ出射し、画像収集ユニット２１は、顕微鏡本体２０によって観察された画面を示す入射光線１０４を収集する。
なお、上記画像収集ユニット２１の設置形態は、例示的なものに過ぎず、本願の実施例は、画像収集ユニット２１の設置形態を限定するものではない。
図２に基づく好ましい実施例では、顕微鏡本体１０の出射光路にＡＲ投影ユニットが設けられることについて、ＡＲ投影ユニットの２つの投影原理が例示される。
図５に示すように、顕微鏡本体２０の接眼レンズ鏡筒１０５の一側にＡＲ投影ユニット３３が嵌め込まれ、該ＡＲ投影ユニット３３の嵌め込み方向は、使用者の目が存在する方向とは逆であり、投影内容１０８が接眼レンズ鏡筒１０５内のレンズ１０７によって反射されて光線が偏向され、偏向された投影内容１０８は、顕微鏡本体１０によって観測された画面である出射光線１０３と平行であり、偏向された投影内容１０８及び出射光線１０３は重畳してＡＲ病理画像（又はＡＲ病理画面）を形成する。
図６に示すように、顕微鏡本体２０の接眼レンズ鏡筒１０５の一側にＡＲ投影ユニット３３が嵌め込まれ、該ＡＲ投影ユニット３３の嵌め込み方向は、使用者の目が存在する方向とは一致し、投影内容１０８が接眼レンズ鏡筒１０５内のレンズ１０７によって屈折されて光線が偏向され、偏向された投影内容１０８は、顕微鏡本体２０によって観測された画面である出射光線１０３と平行であり、偏向された投影内容１０８及び出射光線１０３は重畳してＡＲ病理画像（又はＡＲ病理画面）を形成する。
本願の別の一部の実施例では、病理顕微鏡に音声対話機能を導入することも望ましい。一方で、医師は、音声対話の形式で病理顕微鏡の対応する機能部を選択して制御することができ、他方で、該病理顕微鏡は、ＡＩ分析情報を音声提示によって該医師に提供し、例えば、病理顕微鏡が病理切片画像内の関心領域を音声提示で医師に喚起することができる。また、音声対話機能は、医師の口述内容を病理診断報告に変換したり、患者の電子カルテに入力したりすることもできる。
図７は、本願の別の例示的な一実施例に係る病理顕微鏡２００の概略構成図である。図２に示す病理顕微鏡２００と比較して、該病理顕微鏡２００は、顕微鏡本体２０、画像収集ユニット２１、制御ユニット２２及びＡＲ投影ユニット２３の他に、制御ユニット２２に接続された音声収集ユニット５１をさらに含む。
音声収集ユニット５１は、外部の音声信号を収集する。制御ユニット２２は、さらに、音声信号の制御命令を認識し、制御命令に基づいてＡＩ分析の分析過程を制御する。
マイクは、音声収集ユニット５１として外部の音声信号を収集し、音声信号を制御ユニット２２に送信することができる。制御ユニット２２は、音声信号の内容を認識し、認識された内容が予め設定した制御キーワードに該当するとき、対応する制御命令を受信したと認める。制御ユニット２２は、該制御命令によって、病理顕微鏡２００への対応する制御操作を実現する。一部の実施例では、制御ユニット２２内に音声認識エンジンが設けられ、該音声認識エンジンによって音声信号が認識されることができる。
制御命令がモデル選択命令の場合、モデル選択命令に基づいてターゲットＡＩ分析モデルを選択する。例示的には、ターゲットＡＩ分析モデルは、腫瘍領域検査ＡＩモデル、細胞検出ＡＩモデル及び伝染病検査ＡＩモデルを含む。実際の使用シーンに応じて、使用者は、マイク５１によって制御ユニットに音声信号を入力し、制御ユニット２２は、該音声信号を認識して制御命令を取得する。該制御命令がモデル選択命令の場合、制御ユニット２２は、モデル選択命令に基づいて実際の使用シーンに対応するターゲットＡＩ分析モデルを選択する。
例えば、医師がマイク５１に向かって「腫瘍検査モデルを選択」という言葉を話したとき、音声認識エンジンは、該言葉を認識して認識結果を取得する。制御ユニット２２は、認識結果において「腫瘍検査モデル」が予め設定したキーワードと一致することを発見したとき、モデル選択命令である制御命令を受信したことを決定し、ローカルに記憶される腫瘍領域検査ＡＩモデルを選択して検査するように制御する。
一部の実施例では、制御命令が第１の生成命令の場合、制御ユニット２２は、第１の生成命令に基づいて、ＡＩ分析情報が含まれる病理報告を生成する。
病理報告は、医師がＡＩ分析情報に基づいてマイク５１によって口述内容を入力して生成される報告である。例示的な一例では、該ＡＩ分析情報は、病理組織の外観情報及び病理細胞の病変情報を含み、口述内容は、医師による病理診断を含む。
一部の実施例では、制御命令が第２の生成命令の場合、ＡＩ分析情報及び患者情報を含むカルテレポートを生成し、患者情報は、病理切片上の文字又は図形コードから認識されたものであってもよいし、医師が音声収集ユニットによって入力したものであってもよい。
患者情報は、病理切片００上の文字から認識されるものである。図８に示すように、例示的な患者情報は、名前、年齢及び診療科を含む。患者情報は、他の情報を含んでもよく、本実施例では特に限定しない。
患者情報は、病理切片００上の図形コードから認識されるものであり、図形コードは、バーコード又は二次元コードであってもよく、図９に示すように、制御ユニット２２は、画像収集ユニット２１によって撮像される二次元コードから対応する患者情報を取得する。
例示的には、患者情報は、氏名、性別、年齢又は職業の少なくとも１つを含み、本実施例では特に限定されない。
一部の実施例では、制御ユニット２２は、さらに、音声信号から認識された文字内容に基づいて、病理報告又はカルテレポートにおける医師記録を生成する。制御ユニット２２は、音声信号を認識し、音声信号の内容を文字の形式で表現し、音声信号に対応する文字内容を生成する。
例示的には、まず医師がマイク５１によって病理診断を口述し、制御ユニット２２が口述された内容を認識し、口述された内容を文字の形式で表現し、次に医師が病理報告を生成させる音声信号を発し、制御ユニット２２が医師の音声信号を認識して、第１の生成命令である制御命令を生成し、病理顕微鏡２００が病理報告を生成し、或いは、まず医師がマイク５１によって医師診断を口述し、制御ユニット２２が口述された内容を認識し、口述された内容を文字の形式で表現し、カルテレポートの内容を完全にし、次に医師がカルテレポートを生成させる音声信号を発し、制御ユニット２２が医師の音声信号を認識して、第２の生成命令である制御命令を生成し、病理顕微鏡２００がカルテレポートを生成する。
一部の実施例では、病理顕微鏡２００は、さらに、制御ユニット２２に接続されたネットワークユニット５２を含む。
使用者がマイク５１によって制御ユニット２２に制御命令を与えると、制御ユニット２２は、ネットワークユニット５２を制御できる制御命令を生成する。
制御命令がモデルダウンロード命令の場合、制御ユニット２２は、ネットワークユニット５２に、少なくとも１つのＡＩ分析モデルをダウンロードするよう制御するか、もしくは、ターゲットＡＩ分析モデルが記憶されていない場合、制御ユニット２２は、ネットワークユニット５２に、ターゲットＡＩ分析モデルを自動的にダウンロードするよう制御する。例示的には、使用者は、マイク５１によって、ＡＩ分析モデルをダウンロードする命令を与えることができ、制御ユニット２２は、モデルダウンロード命令を音声で認識すると、ネットワークユニット５２を制御してＡＩ分析モデルのダウンロード動作を行う。或いは、初めて使用するとき、又はＡＩ分析モデルの更新バージョンがあるとき、制御ユニット２２は、ネットワークユニット５２によりターゲットＡＩ分析モデルを直接ダウンロードし、使用者の音声によるモデルダウンロード命令を必要としない。
一部の実施例では、病理顕微鏡２００は、さらに、制御ユニット２２に接続されたネットワークユニット５２を含む。
制御ユニット２２は、さらに、ネットワークユニット５２に、病理報告又はカルテレポートを第１のターゲット装置にアップロードするよう制御する。
制御ユニット２２は、さらに、ネットワークユニット５２に、ＡＩ分析情報が重畳されたＡＩ病理画像を第２のターゲット装置にアップロードするか、もしくは、予め設定した共有チャネルに共有するよう制御する。
一部の実施例では、病理顕微鏡２００が病院に応用される場合、第１のターゲット装置は、病院情報システム又は病院内部で使用されるクラウドサーバを含み、或いは、病理顕微鏡２００が実験室の科学研究に応用される場合、第１のターゲット装置は、実験室情報システム又は実験室内部で使用されるクラウドサーバを含み、或いは、病理顕微鏡２００が学校教育に応用される場合、第１のターゲット装置は、学校教育情報システム又は学校内部で使用されるクラウドの少なくとも１つを含む。
病理顕微鏡２００が病院に応用される場合、第２のターゲット装置は病院情報システムの病理映像データベースを含み、或いは、病理顕微鏡２００が実験室の科学研究に応用される場合、第２のターゲット装置は実験室情報システムの病理映像データベースを含み、或いは、病理顕微鏡２００が学校教育に応用される場合、第２のターゲット装置は学校教育情報システムの病理映像データベースを含む。
予め設定した共有チャネルは、即時通信プラットホーム、医療コミュニケーションプラットフォーム、医学研究雑誌又は医学研究フォーラムの少なくとも１つを含む。
一部の実施例では、病理顕微鏡２００は、さらに、制御ユニット２２に接続された音声再生ユニット５３を含む。
一部の実施例では、制御ユニット２２は、さらに、デジタル病理画像をサーバに送信し、サーバにＡＩ分析モデルが記憶され、サーバはＡＩ分析モデルでデジタル病理画像をＡＩ分析することにより、ＡＩ分析情報を取得する。制御ユニットは、さらに、サーバから送られてくるＡＩ分析情報を受信する。ここで、サーバは、１台のサーバであってもよく、複数台のサーバからなるサーバクラスタであってもよく、さらにクラウド側に実行するクラウドサーバであってもよい。
制御ユニット２２は、さらに、音声再生ユニット５３によるＡＩ分析情報の再生を制御する。例えば、病理顕微鏡２００は、ＡＩ分析モデルで病理切片のＡＩ分析情報を取得すると、音声再生ユニット５３によってＡＩ分析情報を再生することができる。
以上より、本実施例に係る病理顕微鏡は、画像収集ユニットによってデジタル病理画像を収集し、制御ユニットによってデジタル病理画像をＡＩ分析してＡＩ分析情報を取得し、そしてＡＲ投影ユニットによってＡＩ分析情報を顕微鏡本体の顕微鏡視野に投影することにより、医師が病理切片画像とＡＩ分析情報を顕微鏡視野内に同時に観察することを可能にし、観察の全過程において医師が視野を繰り返して切り替える必要がなくなるため、病理顕微鏡の観察過程をより簡潔かつ直接的にし、病理顕微鏡の使用中の高リアルタイム性を図る。
本実施例に係る病理顕微鏡では、制御ユニットは、さらに、少なくとも１つのＡＩ分析モデルを取得し、病理切片は、感染試薬や使用シーンなどの要因によって様々変化する場合があり、ＡＩ分析においても様々な分析ニーズがあり、単一のＡＩ分析モデルは、実際の使用シーンに応じてモデルパラメータを調整できず、実際の使用中の正確性及び安定性も保証できない。複数の異なるＡＩ分析モデルは、異なる実際の使用シーンに適応できるため、使用中の正確性及び安定性を保証する。
本実施例に係る病理顕微鏡では、さらに、音声収集ユニットが制御ユニットに接続され、かつ外部の音声信号を収集し、音声信号を制御ユニットに送信し、制御ユニットが音声信号を認識した後に、病理顕微鏡を制御する制御命令を生成することにより、ボタンによる制御動作を省略し、病理顕微鏡の音声対話型操作を実現し、医師のマン・マシン・インタラクション効率を向上させ、医師が診断又は手術などのシーンでも病理顕微鏡を円滑に使用することができる。
本実施例に係る病理顕微鏡では、さらに、制御命令がモデル選択命令の場合、モデル選択命令に基づいてターゲットＡＩ分析モデルを選択する。実際の使用シーンに応じて、使用者はマイクによって音声信号を伝え、制御ユニットによって該音声信号を認識して、内容がモデル選択命令である制御命令を生成し、モデル選択命令に基づいて実際の使用シーンに対応するターゲットＡＩ分析モデルを選択する。
本実施例に係る病理顕微鏡では、さらに、制御命令がモデルダウンロード命令の場合、ネットワークユニットに、少なくとも１つのＡＩ分析モデルをダウンロードするよう制御するか、もしくは、ターゲットＡＩ分析モデルが記憶されていない場合、ネットワークユニットに、ターゲットＡＩ分析モデルをダウンロードするよう制御する。ＡＩ分析モデルの取得を実現したり、ＡＩ分析モデルの更新を実現したりすることにより、ＡＩ分析モデルが使用シーンに適用できることを保証し、結果の正確性及び安定性を保証する。
本実施例に係る表示制御方法では、制御ユニットによってデジタル病理画像をサーバに送信し、サーバに記憶されているＡＩ分析モデルでＡＩ分析を行い、得られたＡＩ分析情報を制御ユニットによって受信する。ＡＩ分析モデルが制御ユニットに記憶されていなくても、サーバによってＡＩ分析情報を取得することにより、ＡＩ分析モデルが使用シーンに適用できることを保証し、結果の正確性及び安定性を保証する。
本実施例に係る病理顕微鏡では、さらに、制御ユニットの制御命令が報告の生成である場合、病理顕微鏡は、ＡＩ分析情報に基づいて病理報告又はカルテレポートを自動的に生成し、デジタル病理画像と医師の分析結果の統合を完了することにより、後期の治療計画の策定に根拠を提供する。
本実施例に係る病理顕微鏡では、さらに、制御ユニットが音声信号から認識された文字内容に基づいて、病理報告又はカルテレポートにおける医師記録を生成し、制御ユニットによって認識された音声内容を文字の形式で示すことにより、医師は、ＡＩ分析情報に基づいて専門的な診断を行うことができ、キーボードをタイピングする煩雑さが回避される。
本実施例に係る病理顕微鏡では、さらに、ネットワークユニットが病理画像、デジタル病理画像及びＡＩ病理画像の少なくとも１つと、対応する報告とをアップロード又は共有することで、病理情報のまとめ、整理及び記憶を実現することにより、大量の画像を覚える使用者の負担を軽減し、繰り返して覚えることを回避する。
本実施例に係る病理顕微鏡では、さらに、制御ユニットが音声再生ユニットによるＡＩ分析情報の再生を制御することにより、医師が紙情報又は電子情報を読む手間を省くことができ、医師は、再生された情報を聴くだけで専門的な診断を行うことができ、診断効率が向上する。
図７に基づく任意選択の実施例では、病理顕微鏡２００の２つの異なる実現形態が例示される。
可能な一実現形態では、画像収集ユニット２１、制御ユニット２２及びネットワークユニット５２は、顕微鏡本体外に設けられる電子機器により実現されてもよい。図１０に示すように、病理顕微鏡２００の顕微鏡本体は、入射光路に対応する第１の本体部分と出射光路に対応する第２の本体部分を含み、第１の本体部分には、ねじインターフェースや係止インターフェースなどの所定の標準インターフェースであってよい第１のインターフェースが形成され、画像収集ユニット２１は、第１のジョイントが形成されたカメラであってよく、画像収集ユニット２１の第１のジョイントは、第１の本体部分の第１のインターフェースに接続される。それに応じて、第２の本体部分には、ねじインターフェースや係止インターフェースなどの所定の標準インターフェースであってよい第２のインターフェースが形成され、ＡＲ投影ユニット２３には、第２のジョイントが形成され、ＡＲ投影ユニットの第２のジョイントは、第２の本体部分の第１のインターフェースに接続される。例示的には、さらに、コンピュータ１００１によって制御ユニット２２とネットワークユニット５２を実装し、マイクを音声収集ユニット５１とする。病理切片００は、顕微鏡本体２０の載置台上に位置し、画像収集ユニット２２は、入射光路に位置し、かつコンピュータ１００１の入力端に電気的に接続され、ＡＲ投影ユニット２３は、コンピュータ１００１の出力端に電気的に接続され、かつ出射光路に設けられ、出射光路は、顕微鏡本体２０の接眼レンズ鏡筒の内部に位置する。
別の可能な一実現形態では、制御ユニット２２（及びネットワークユニット５２又は音声再生ユニット５３の少なくとも１つ）は、集積チップ１１０１に製造してもよい。図１１に示すように、集積チップ１１０１は顕微鏡本体のアームに一体集積化され、マイクは音声収集ユニット５１とする。病理切片００は、顕微鏡本体２０の載置台上に位置し、画像収集ユニット２２は、入射光路に位置し、かつ集積チップ１１０１の入力端に電気的に接続され、ＡＲ投影ユニット２３は、集積チップ１１０１の出力端に電気的に接続され、かつ出射光路に設けられ、出射光路は、顕微鏡本体２０の接眼レンズ鏡筒の内部に位置する。
本願の一部の実施例では、病理顕微鏡のシステムは、ネットワークにより病理切片画像の処理過程における病理画像や、病理報告、カルテレポートなどのファイルを保存及び/又はアップロードする必要があり、また、ネットワークによりＡＩ分析モデルをダウンロード及び／又は更新する必要があるため、該病理顕微鏡の実施環境には、有線ネットワーク又は無線ネットワークの環境が提供される必要がある。
図１２は、本願の例示的な一実施例に係る病理顕微鏡の使用環境図を示し、該実施環境は、病理顕微鏡２００、ネットワーク１２０１、クラウドサーバ１２１０及び病院情報システム１２２０を含む。
病理顕微鏡２００は、製造業者によって製造された後、医師に提供されるものである。病理顕微鏡２００は、ネットワークにより、クラウドサーバ１２１０に接続されてもよく、病院情報システム１２２０に接続されてもよい。
ネットワーク１２０１は、有線ネットワーク又は無線ネットワークを用いる。病理顕微鏡がネットワーク１２０１により病院情報システム１２２０に接続される場合、患者の病理的状態に対するプライバシー保護に基づいて、ネットワークは病院内部の専用の有線ネットワークを用いることができ、医師が病院内部のコンピュータによって該専用の有線ネットワークを介して病理顕微鏡を使用する以外、他の人がアクセスできないという隔離効果を達成することができる。
可能な一実施例では、クラウドサーバ１２１０は、病理顕微鏡２００の製造業者によってセットアップされてもよく、該製造業者は、該クラウドサーバ１２１０によって、病理顕微鏡２００に適したＡＩ分析モデル及び／又はＡＩ分析モデルの更新バージョンを発行し、病理顕微鏡２００の購入者又は使用者（例えば、病院、科学研究機関又は学校など）は、該クラウドサーバ１２１０によってＡＩ分析モデル又はＡＩ分析モデルの更新バージョンの少なくとも１つをダウンロードすることができる。該ダウンロード方式は、無料であってもよいし、有料であってもよい。クラウドサーバ１２１０におけるＡＩ分析モデルは、製造業者の技術者によってセットアップされてもよい。
別の可能な一実施例では、クラウドサーバ１２１０はＡＩ分析モデルの記憶場所とし、即ち、該クラウドサーバ１２１０の内部には、ＡＩ分析モデルを記憶するためのＡＩモデルライブラリ１２２１が設けられる。病理顕微鏡がデジタル病理画像を取得した後、デジタル病理画像をクラウドサーバにアップロードし、クラウドサーバ内部のＡＩモデルライブラリ１２２１を呼び出し、使用シーンに応じてターゲットＡＩ分析モデルを選択してＡＩ分析を行い、ＡＩ分析情報を取得する。さらにＡＩ分析情報を病理顕微鏡に返信する。クラウドサーバ１２１０におけるＡＩ分析モデルは、製造業者の技術者によってセットアップされてもよく、開発者が該クラウドサーバ１２１０にアップロードしたものであってもよい。
病院情報システム１２２０は、病理報告ライブラリ１２２２、カルテレポートライブラリ１２２３及び病理映像データベース１２２４を含む。
可能な一実現形態では、コンピュータ内部にＡＩモデルライブラリ１２２１が設けられ、該ＡＩモデルライブラリ１２２１は、発行されたＡＩ分析モデル又はＡＩ分析モデルの更新バージョンの少なくとも１つをクラウドサーバ１２１０からダウンロードして、医師がクラウドサーバ１２１０から別途ダウンロードする必要がなく病院内部の各診療室で使用するように提供する。例えば、医師は、ＡＩ分析モデル又はＡＩ分析モデルの更新バージョンの少なくとも１つをクラウドサーバ１２１０から直接ダウンロードするとき、アカウントを登録し、対応する料金を支払う必要があり、これに対し、病院がＡＩ分析モデル又はＡＩ分析モデルの更新バージョンの少なくとも１つをＡＩモデルライブラリ１２２１にダウンロードした後、医師がＡＩモデルライブラリ１２２１からＡＩ分析モデル及び／又はＡＩ分析モデルの更新バージョンをダウンロードするとき、別途アカウントを登録し、料金を支払う必要がない。
別の可能な一実現形態では、コンピュータ内部には、病院の研究者が病理顕微鏡２００に対して開発したＡＩ分析モデルを発行するためのＡＩモデルライブラリ１２２１が設けられ、病院によって開発されたＡＩ分析モデルは、製造業者が提供するＡＩ分析モデルとは病理方向が異なるＡＩ分析モデル、特定の使用シーンにおいて製造業者が提供するＡＩ分析モデルより優れているＡＩ分析モデル、製造業者が提供していないＡＩ分析モデルのうちの少なくとも１つを含むことができる。
別の可能な一実現形態において、病理顕微鏡２００がＡＩ分析モデルをローカルに記憶していなければ、コンピュータ内部に設けられたＡＩモデルライブラリ１２２１は、病理顕微鏡２００のＡＩ分析モデルを記憶することができる。病理顕微鏡２００の使用中に、コンピュータ内の対応するＡＩ分析モデルを呼び出してＡＩ分析を行う必要があり、かつ医師が病理顕微鏡２００を使用する前に病院情報システム１２２０のアカウントにログインした場合、医師は、病理顕微鏡２００によってＡＩモデルライブラリ１２２１から対応するＡＩ分析モデルを直接的に呼び出す。
ＡＩモデルライブラリ１２２１の実現形態は、上記３種類のいずれかであってもよく、これらのいずれか２種類又は３種類全てを含んでもよく、本実施例では特に限定されない。
可能な一実現形態では、病理顕微鏡２００は、制御ユニットとネットワークユニットの具体的な実現形態であるコンピュータ１００１を含む。コンピュータ１００１によって病理切片画像を処理し、処理後に、コンピュータ１００１がネットワーク１２０１により病理切片画像及び／又はデジタル病理画像及び／又はＡＩ病理画像を病院情報システム１２２０の病理映像データベース１２２４にアップロードすることにより、病理切片画像及び／又はデジタル病理画像及び／又はＡＩ病理画像の関連情報の共有を実現し、病院内部の病理映像データベース１２２４の豊富さを向上させる。
別の可能な一実現形態では、病理顕微鏡２００は、ユーザの操作に従って病理報告を生成し、例えば、病理顕微鏡２００は、医師の音声命令及び口述内容に基づいて病理報告を生成し、そして病院内部で病理報告ライブラリ１２２２を拡張し、病理報告を電子的に記憶するように、ネットワーク１２０１により病理報告を病院情報システム１２２０の病理報告ライブラリ１２２２にアップロードする。別の可能な一実現形態では、病理顕微鏡２００は、ユーザの操作に従ってカルテレポートを生成し、例えば、病理顕微鏡２００は、医師の音声命令及び口述内容に基づいてカルテレポートを生成し、そして病院内部でカルテレポートライブラリ１２２３を拡張し、カルテレポートを電子的に記憶するように、ネットワーク１２０１によりカルテレポートを病院情報システム１２２０のカルテレポートライブラリ１２２３にアップロードする。
上記病理映像データベース１２２４、病理報告ライブラリ１２２２及びカルテレポートライブラリ１２２３は、いずれも病理画像、デジタル病理画像又はＡＩ病理画像情報の少なくとも１つに対する電子ストレージであり、該電子ストレージは、後続の統計分析及びクエリに用いられてよく、データベースの豊富さを向上させる。例示的な一例では、該電子ストレージは、研修医の勉強のために参照症例を提供するとともに、過去の特殊な患者の受診状況を絞った診断及び治療を提供することができる。
本実施例では、病理顕微鏡２００が病院という応用場所に応用される場合を説明したが、該病理顕微鏡２００は、研究機関や学校などの応用場所に応用されてもよく、実施環境は、本実施例で言及した実施環境と基本的に同様であり、ここでは説明を省略する。
図１２に基づく任意選択の実施例では、上記ＡＩ分析モデルは、病院の技術者によってトレーニングされたものであってもよいし、病理顕微鏡の製造業者の技術者によってトレーニングされたものであってもよい。例示的には、該トレーニング過程は図１３に示すとおりである。
ステップ１３００で、使用シーン。
技術者は、ＡＩ分析モデルの使用シーンを決定する。典型的には、ＡＩ分析モデルは、腫瘍分析に用いられるＡＩモデルであってもよいし、細胞検出分析に用いられるＡＩモデルであってもよいし、さらに伝染病検査分析に用いられるＡＩモデルであってもよく、本実施例はこれを限定せず、病理顕微鏡の可能な使用シーンであればよい。
当業者は、モデルトレーニングに必要な病理モデル画像１３２０を決定し、該病理モデル画像１３２０は、サンプル画像ライブラリであってよい。１つの使用シーンは１組の病理モデル画像に対応することができ、異なる使用シーンは異なる組の病理モデル画像に対応することができる。各病理モデル画像には、手動又は機械により対応するキャリブレーション結果が付され、該キャリブレーション結果は、手動又は他の機械により生成される実際の分析結果を示す。
モデルトレーニングは、トレーニング過程及び試験過程に分けられてよい。同一組の病理モデル画像がｍ＝２０００枚の画像を含む場合を例にとると、２０００枚の病理モデル画像を、ｍ１＝１８００枚のトレーニング画像１３２２と、ｍ２＝２００枚の試験画像１３２４とに分けることができる。ｍ１枚のトレーニング画像１３２２は、トレーニング過程においてＡＩ分析モデルをトレーニングするために用いられ、ｍ２枚の試験画像１３２４は、試験過程において、トレーニングされたＡＩ分析モデルに対して性能試験を行うために用いられる。
一部の実施例では、ｍ１枚のトレーニング画像１３２２はトレーニング画像セットと呼ばれ、ｍ２枚の試験画像１３２４は試験画像セットと呼ばれてもよい。
ステップ１３０１で、ＡＩ分析モデルを構築する。
異なる使用シーンに対して、技術者は、さらに対応するＡＩ分析モデルを構築する。ＡＩ分析モデルは、画像を処理するためのニューラルネットワークモデルであり、該ニューラルネットワークモデルは、ディープニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＤＮＮ）、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）又はリカレントニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＲＮＮ）などであってよく、本願の実施例はこれを限定しない。
技術者は、使用シーンに応じて、ＡＩ分析モデルのネットワークタイプ、ネットワーク層数、各層のネットワークのニューロンの構成形式、各層のネットワークに用いられるニューロンタイプ及び隣接するネットワーク層間の接続関係を設定することができる。即ち、異なるＡＩ分析モデルは、同じ又は異なるネットワークタイプ、同じ又は異なるネットワーク層数、各層のネットワークの同じ又は異なるニューロンの構成形式、各層のネットワークに用いられる同じ又は異なるニューロンタイプ又は隣接するネットワーク層間の同じ又は異なる接続関係を有することができ、本実施例はこれを限定しない。
ステップ１３０２で、トレーニングパラメータを設定する。
ＡＩ分析モデルは、その中の各層のニューロンが、それぞれのニューロンパラメータ（又は重み）を有し、技術者は、各層のニューロンの初期パラメータをランダムに生成してもよいし、経験値を設定して各層のニューロンの初期パラメータを生成してもよい。
初期パラメータとは、ＡＩ分析モデルにおけるニューロンがトレーニングされる前に所有するニューロンパラメータである。
ステップ１３０３で、モデルをトレーニングする。
トレーニング画像セット内の各トレーニング画像１３２２を順にＡＩ分析モデルに入力してトレーニングし、該ＡＩ分析モデルがトレーニング画像１３２２をＡＩ分析して予測結果を取得し、次に予測結果と該トレーニング画像１３２２のキャリブレーション結果を比較して分析誤差を取得し、そして誤差逆伝播法に基づいて分析誤差を逆伝播することにより、ＡＩ分析モデルの各層のニューロンパラメータを更新する。
ステップ１３０４で、トレーニングデータ評価基準に達したか否かを判断する。
技術者は、トレーニングデータ評価基準（トレーニング終了条件ともいう）を設定する。一実現形態では、トレーニングデータ評価基準は、予測誤差が所望の閾値に収束することであり、別の一実現形態では、トレーニングデータ評価基準は、トレーニング反復回数が回数閾値（例えば１００００回）に達することである。
毎回のトレーニング過程においてニューロンパラメータを更新した後、トレーニングデータ評価標準に達したか否かを判断し、トレーニングデータ評価基準に達した場合に、ステップ１３０５に進み、トレーニングデータ評価基準に達していない場合に、ステップ１３０３を再度実行する。
トレーニング終了条件が、トレーニング反復回数が２００００回に達することである場合を例にとると、トレーニング反復回数が２００００回に達した場合に、ステップ１３０５に進み、そうでなければ、次回の反復トレーニング過程を改めて行う。
ステップ１３０５で、評価データ評価基準に達したか否かを判断する。
トレーニング過程においてトレーニング終了条件に達した場合に、試験画像セット内の各枚の試験画像１３２４をトレーニングされたＡＩ分析モデルに入力して試験を行う必要もある。評価データとは、試験画像セット内の各枚の試験画像である。
評価データ評価基準は、試験画像の試験結果とキャリブレーション結果の誤差が予め設定した条件よりも小さいことであってもよいし、試験画像の試験結果の正解率が予め設定した閾値よりも高いことであってもよいし、さらに試験図形の試験速度及び試験結果がいずれも所望の条件に達することであってもよい。実際の使用シーンによって、評価データ評価基準は異なるものであってよく、本実施例はこれを限定しない。
トレーニングされたＡＩ分析モデルが評価データ評価基準に達していない場合に、トレーニングされたＡＩ分析モデルを改めてトレーニングする。トレーニングされたＡＩ分析モデルが評価データ評価基準に達した場合に、ステップ１３０６に進む。
ステップ１３０６で、モデルのトレーニングが終了する。
トレーニングされたＡＩ分析モデルをオンラインで使用可能なＡＩ分析モデルとして決定し、ＡＩモデルライブラリ１３３０に記憶する。該ＡＩモデルライブラリは、病理顕微鏡の制御ユニットにおけるＡＩモデルライブラリであってもよいし、病院の医療システムにおけるＡＩモデルライブラリであってもよいし、さらに病理顕微鏡の製造業者が設定したクラウドサーバにおけるＡＩモデルライブラリであってもよい。
本願の一部の実施例では、病理顕微鏡は、制御ユニットによって他のユニットを制御することにより、病理画像に対するＡＩ分析や投影などの機能を実現する。
図１４は、本願の例示的な一実施例に係る表示制御方法の流れ図を示し、該方法は、上記各実施例に係る病理顕微鏡の制御ユニットに適用することができ、以下のステップ１４０１〜ステップ１４０３を含む。
ステップ１４０１で、画像収集ユニットが入射光路から収集したデジタル病理画像を取得する。
画像収集ユニットは、顕微鏡本体の入射光路に位置し、載置台上の病理切片の病理画像を収集し、ユニット内部で病理画像に画像前処理を行ってデジタル病理画像を取得する。
ステップ１４０２、デジタル病理画像をＡＩ分析してＡＩ分析情報を生成する。
ＡＩ分析情報は、ＡＩ分析モデルを用いてデジタル病理画像を分析した結果情報である。
病理顕微鏡がＡＩ分析モデルを取得し、デジタル病理画像を処理してＡＩ分析を行う形態は、２種類あり、具体的な実現形態は以下の２種類のいずれかである。
第１種：制御ユニットの内部には、デジタル病理画像をＡＩ分析するためのＡＩ分析モデルが設定されている。可能な一実施例では、少なくとも１つのＡＩ分析モデルを取得し、デジタル病理画像の使用シーンに対応するターゲットＡＩ分析モデルを決定し、ターゲットＡＩ分析モデルを呼び出してデジタル病理画像をＡＩ分析してＡＩ分析情報を生成する。
第２種：サーバの内部には、デジタル病理画像をＡＩ分析するためのＡＩ分析モデルが設定されている。可能な一実施例では、制御ユニットは、デジタル病理画像をサーバに送信し、サーバにＡＩ分析モデルが記憶され、サーバはＡＩ分析モデルでデジタル病理画像をＡＩ分析してＡＩ分析情報を取得し、ＡＩ分析情報を制御ユニットに送信する。制御ユニットは、サーバから送られてくるＡＩ分析情報を受信する。
一部の実施例では、サーバがＡＩ分析情報を制御ユニットに送信する場合、制御ユニットがサーバにダウンロード要求を送信した後、サーバが該ダウンロード要求に応じて制御ユニットに該ＡＩ分析情報を送信してもよいし、サーバが分析によりＡＩ分析情報を取得した後、該ＡＩ分析情報を制御ユニットに直接送信してもよい。
サーバがＡＩ分析によりＡＩ分析情報を取得する過程は、上記第１種の形態において制御ユニットがＡＩ分析によりＡＩ分析情報を取得する過程と類似するため、ここでは説明を省略する。
一部の実施例では、サーバは、１台のサーバであってもよいし、複数台のサーバからなるサーバクラスタであってもよいし、さらにクラウド側に実行するクラウドサーバであってもよい。一部の実施例では、該サーバは、図１２に示すクラウドサーバとして実現することができる。
ステップ１４０３で、ＡＲ投影ユニットが出射光路においてＡＩ分析情報を病理顕微鏡の顕微鏡視野に投影するよう制御する。
一部の実施例では、ＡＩ分析情報は、文字、曲線、背景色又は動画の少なくとも１つを含む。ＡＩ分析情報は、顕微鏡視野内の画像（又は画面）と重ね合わせた後、ＡＩ病理画像（又はＡＩ病理画面）を形成することができる。
一部の実施例では、顕微鏡本体は、入射光路に対応する第１の本体部分と、出射光路に対応する第２の本体部分とを含む。可能な一実現形態では、画像収集ユニットが第１の本体部分に実装され、ＡＲ投影ユニットが第２の本体部分に実装され、別の可能な一実現形態では、第１の本体部分には第１のインターフェースが形成され、画像収集ユニットには、第１の本体部分の第１のインターフェースに接続される第１のジョイントが形成され、同様に、第２の本体部分には第２のインターフェースが形成され、ＡＲ投影ユニットには、第２の本体部分の第２のインターフェースに接続される第２のジョイントが形成される。例示的には、第１のインターフェース及び第２のインターフェースは、ねじインターフェース、ソケットインターフェース又はクランプインターフェースの少なくとも１つである。
以上より、本実施例に係る表示制御方法では、画像収集ユニットによってデジタル病理画像を収集し、制御ユニットによってデジタル病理画像をＡＩ分析してＡＩ分析情報を取得し、そしてＡＲ投影ユニットによってＡＩ分析情報を顕微鏡本体の顕微鏡視野に投影することにより、医師が病理切片画像とＡＩ分析情報を顕微鏡視野内に同時に観察することを可能にし、観察の全過程において視野を繰り返して切り替える必要がなくなるため、病理顕微鏡の観察過程をより簡潔かつ直接的にし、病理顕微鏡の使用中の高リアルタイム性を図る。
本願の別の一部の実施例では、病理画像に対するＡＩ分析及び投影の他に、制御ユニットは、さらに、病理報告及びカルテレポートの生成、ＡＩ分析モデルのダウンロード、及び病理画像、病理報告又は病理報告のアップロードなどの機能の少なくとも１つを実現するため、該制御ユニットには、制御目的を実現する制御方法がある。
図１５に示すように、本願の別の例示的な一実施例に係る表示制御方法の流れ図を示し、該方法は、病理顕微鏡の制御ユニットに適用することができ、以下のステップ１５０１〜ステップ１５０９を含む。
ステップ１５０１で、画像収集ユニットが入射光路から収集したデジタル病理画像を取得する。
ステップ１５０２、音声収集ユニットの音声信号から収集された制御命令を認識し、制御命令に基づいてＡＩ分析の分析過程を制御する。
マイクは、音声収集ユニットとして外部の音声信号を収集し、音声信号を制御ユニットに送信することができる。制御ユニットは、音声信号の内容を認識し、認識された内容が予め設定した制御キーワードに該当するとき、対応する制御命令を受信したと認める。制御ユニットは、該制御命令によって、病理顕微鏡への対応する制御操作を実現する。一部の実施例では、制御ユニット内に音声認識エンジンが設けられ、該音声認識エンジンによって音声信号を認識する。
制御命令がモデル選択命令の場合、モデル選択命令に基づいてターゲットＡＩ分析モデルを選択する。例示的には、ターゲットＡＩ分析モデルは、腫瘍領域検査ＡＩモデル、細胞検出ＡＩモデル及び伝染病検査ＡＩモデルを含む。実際の使用シーンに応じて、使用者は、マイクによって制御ユニットに音声信号を入力し、制御ユニットは、該音声信号を認識して制御命令を取得する。該制御命令がモデル選択命令の場合、制御ユニットは、モデル選択命令に基づいて実際の使用シーンに対応するターゲットＡＩ分析モデルを選択する。
使用者がマイクによって制御命令を与えると、制御ユニットは、ネットワークユニットを制御できる制御命令を生成する。
制御命令がモデルダウンロード命令の場合、制御ユニットは、ネットワークユニットに、少なくとも１つのＡＩ分析モデルをダウンロードするよう制御するか、もしくは、ターゲットＡＩ分析モデルが記憶されていない場合、制御ユニットは、ネットワークユニットに、ターゲットＡＩ分析モデルを自動的にダウンロードするよう制御する。
ステップ１５０３で、デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成する。
ステップ１５０３の説明については、ステップ１４０２を参照することができる。
任意選択で、サーバは、１台のサーバであってもよいし、複数台のサーバからなるサーバクラスタであってもよいし、さらにクラウド側に実行するクラウドサーバであってもよい。任意選択で、該サーバは、図１２に示すクラウドサーバとして実現することができる。
ステップ１５０４で、音声再生ユニットによる上記ＡＩ分析情報の再生を制御する。
例えば、病理顕微鏡は、ＡＩ分析モデルで病理切片のＡＩ分析情報を取得すると、音声再生ユニットによってＡＩ分析情報を再生することができる。
ステップ１５０５で、ＡＲ投影ユニットが出射光路においてＡＩ分析情報を病理顕微鏡の顕微鏡視野に投影するよう制御する。
ステップ１５０６で、制御命令が第１の生成命令の場合、病理報告を生成する。
病理報告は、ＡＩ分析情報を含む。病理報告は、医師がＡＩ分析情報に基づいてマイク５１によって口述内容を入力して生成される報告である。例示的な一例では、該ＡＩ分析情報は、病理組織の外観情報及び病理細胞の病変情報を含み、口述内容は、医師による病理診断を含む。
ステップ１５０７で、制御命令が第２の生成命令の場合、カルテレポートを生成する。
カルテレポートは、ＡＩ分析情報及び患者情報を含み、患者情報は、病理切片上の文字又は図形コードから認識されたものであってもよいし、医師が音声収集ユニットによって入力したものであってもよい。一部の実施例では、音声信号から認識された文字内容に基づいて、病理報告又はカルテレポートにおける医師記録を生成する。制御ユニットは、音声信号を認識し、音声信号の内容を文字の形式で表現し、音声信号に対応する文字内容を生成する。
ステップ１５０８で、ネットワークユニットに病理報告又はカルテレポートを第１のターゲット装置にアップロードするよう制御する。
一部の実施例では、病理顕微鏡が病院に応用される場合、第１のターゲット装置は、病院情報システム又は病院内部で使用されるクラウドサーバを含み、或いは、病理顕微鏡が実験室の科学研究に応用される場合、第１のターゲット装置は、実験室情報システム又は実験室内部で使用されるクラウドサーバを含み、或いは、病理顕微鏡が学校教育に応用される場合、第１のターゲット装置は、学校教育情報システム又は学校内部で使用されるクラウドサーバを含む。
ステップ１５０９で、ネットワークユニットに、ＡＩ分析情報が重畳された顕微鏡画像を第２のターゲット装置にアップロードするか、もしくは、予め設定した共有チャネルに共有するよう制御する。
一部の実施例では、病理顕微鏡が病院に応用される場合、第２のターゲット装置は病院情報システムの病理映像データベースを含み、或いは、病理顕微鏡が実験室の科学研究に応用される場合、第２のターゲット装置は実験室情報システムの病理映像データベースを含み、或いは、病理顕微鏡が学校教育に応用される場合、第２のターゲット装置は学校教育情報システムの病理映像データベースを含む。
予め設定した共有チャネルは、即時通信プラットホーム、医療コミュニケーションプラットフォーム、医学研究雑誌又は医学研究フォーラムの少なくとも１つを含む。
本実施例におけるステップは表示制御方法の内容を説明するためのものに過ぎず、実際の使用過程において、ステップの優先順位は特に限定されない。
以上より、本実施例に係る表示制御方法では、画像収集ユニットによってデジタル病理画像を収集し、制御ユニットによってデジタル病理画像をＡＩ分析してＡＩ分析情報を取得し、そしてＡＲ投影ユニットによってＡＩ分析情報を顕微鏡本体の顕微鏡視野に投影することにより、医師が病理切片画像とＡＩ分析情報を顕微鏡視野内に同時に観察することを可能にし、観察の全過程において医師が視野を繰り返して切り替える必要がなくなるため、病理顕微鏡の観察過程をより簡潔かつ直接的にし、病理顕微鏡の使用中の高リアルタイム性を図る。
本実施例に係る表示制御方法では、制御ユニットは、さらに少なくとも１つのＡＩ分析モデルを取得し、病理切片は、感染試薬や使用シーンなどの要因によって様々変化する場合があり、ＡＩ分析においても様々な分析ニーズがあり、単一のＡＩ分析モデルは、実際の使用シーンに応じてモデルパラメータを調整できず、実際の使用中の正確性及び安定性も保証できない。複数の異なるＡＩ分析モデルは、異なる実際の使用シーンに適応できるため、使用中の正確性及び安定性を保証する。
本実施例に係る表示制御方法では、さらに、音声収集ユニットが制御ユニットに接続され、かつ外部の音声信号を収集し、音声信号を制御ユニットに送信し、制御ユニットが音声信号を認識した後に、病理顕微鏡を制御する制御命令を生成することにより、ボタンによる制御動作を省略し、病理顕微鏡の音声対話型操作を実現し、医師のマン・マシン・インタラクション効率を向上させ、医師が診断又は手術などのシーンでも病理顕微鏡を円滑に使用することができる。
本実施例に係る表示制御方法では、さらに、制御命令がモデル選択命令の場合、モデル選択命令に基づいてターゲットＡＩ分析モデルを選択する。実際の使用シーンに応じて、使用者はマイクによって音声信号を伝え、制御ユニットによって該音声信号を認識して、内容がモデル選択命令である制御命令を生成し、モデル選択命令に基づいて実際の使用シーンに対応するターゲットＡＩ分析モデルを選択する。
本実施例に係る表示制御方法では、さらに、制御命令がモデルダウンロード命令の場合、ネットワークユニットに、少なくとも１つのＡＩ分析モデルをダウンロードするよう制御するか、もしくは、ターゲットＡＩ分析モデルが記憶されていない場合、ネットワークユニットに、ターゲットＡＩ分析モデルをダウンロードするよう制御する。ＡＩ分析モデルの取得を実現したり、ＡＩ分析モデルの更新を実現したりすることにより、ＡＩ分析モデルが使用シーンに適用できることを保証し、結果の正確性及び安定性を保証する。
本実施例に係る表示制御方法では、制御ユニットによってデジタル病理画像をサーバに送信し、サーバに記憶されているＡＩ分析モデルでＡＩ分析を行い、得られたＡＩ分析情報を制御ユニットによって受信する。ＡＩ分析モデルが制御ユニットに記憶されていなくても、サーバによってＡＩ分析情報を取得することにより、ＡＩ分析モデルが使用シーンに適用できることを保証し、結果の正確性及び安定性を保証する。
本実施例に係る表示制御方法では、さらに、制御ユニットの制御命令が報告の生成である場合、病理顕微鏡は、ＡＩ分析情報に基づいて病理報告又はカルテレポートを自動的に生成し、デジタル病理画像と医師の分析結果の統合を完了することにより、後期の治療計画の策定に根拠を提供する。
本実施例に係る表示制御方法では、さらに、制御ユニットが音声信号から認識された文字内容に基づいて、病理報告又はカルテレポートにおける医師記録を生成し、制御ユニットによって認識された音声内容を文字の形式で示すことにより、医師は、ＡＩ分析情報に基づいて専門的な診断を行うことができ、キーボードをタイピングする煩雑さが回避される。
本実施例に係る表示制御方法では、さらに、ネットワークユニットが病理画像、デジタル病理画像又はＡＩ病理画像の少なくとも１つと、対応する報告とをアップロード又は共有することで、病理情報のまとめ、整理及び記憶を実現することにより、大量の画像を覚える使用者の負担を軽減し、繰り返して覚えることを回避する。
本実施例に係る表示制御方法では、さらに、制御ユニットが音声再生ユニットによるＡＩ分析情報の再生を制御するユニットことにより、医師が紙情報又は電子情報を読む手間を省くことができ、医師は、再生された情報を聴くだけで専門的な診断を行うことができ、診断効率が向上する。
図１６は、本願の例示的な一実施例に係る表示制御装置の概略図を示し、該装置は、上記各方法実施例に係る病理顕微鏡の制御ユニットに実装されてよく、
画像収集ユニットが入射光路から収集したデジタル病理画像を取得するための画像取得部１６１０と、
デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成するための画像分析部１６２０とを含む。可能な一実施例では、画像分析部１６２０は、モデル取得ユニット１６３１と、モデル呼出ユニット１６３２とを含む。モデル取得ユニット１６３１は、少なくとも１つのＡＩ分析モデルを取得し、デジタル病理画像の使用シーンに対応するターゲットＡＩ分析モデルを決定する。モデル呼出ユニット１６３２は、ターゲットＡＩ分析モデルを呼び出してデジタル病理画像をＡＩ分析してＡＩ分析情報を生成する。
異なるＡＩ分析モデルは異なる分析能力を有し、モデル呼出ユニット１６３１の内部に１つ以上のＡＩ分析モデルが設定されてよい。モデル呼出ユニット１６３１には、腫瘍領域検査ＡＩモデル、細胞検出ＡＩモデル及び伝染病検査ＡＩモデルの３種類のモデルの少なくとも１種のモデルが設定されてよい。
モデル呼出ユニット１６３１に腫瘍領域検査ＡＩモデル、細胞検出ＡＩモデル及び伝染病検査ＡＩモデルの３種類のモデルが同時に設けられる場合を例示すると、図１７に示すように、モデル呼出ユニット１６３２は、腫瘍検査サブユニット１７３１、細胞検出サブユニット１７３２及び伝染病検査サブユニット１７３３を含む。
腫瘍検査サブユニット１７３１は、デジタル病理画像の使用シーンが腫瘍領域検査である場合、腫瘍領域検査ＡＩモデルをターゲットＡＩ分析モデルとして決定し、腫瘍領域検査ＡＩモデルを呼び出してデジタル病理画像をＡＩ分析することにより、腫瘍分析情報を取得する。細胞検出サブユニット１７３２は、デジタル病理画像の使用シーンが細胞検出である場合、細胞検出ＡＩモデルをターゲットＡＩ分析モデルとして決定し、細胞検出ＡＩモデルを呼び出してデジタル病理画像をＡＩ分析することにより、細胞検出情報を取得する。
伝染病検査サブユニット１７３３は、デジタル病理画像の使用シーンが伝染病検査である場合、伝染病検査ＡＩモデルをターゲットＡＩ分析モデルとして決定し、伝染病検査ＡＩモデルを呼び出してデジタル病理画像をＡＩ分析することにより、伝染病検査情報を取得する。一部の実施例では、制御ユニットは、さらに、ローカルエリアネットワーク又は広域ネットワーク上の他の装置からＡＩ分析モデルをダウンロードする。例えば、制御ユニットは、現在の使用シーンに応じて、他の装置からＡＩ分析モデルをダウンロードする。
別の可能な一実施例では、画像分析部は、画像送信ユニット及び情報受信ユニットを含む。画像送信ユニットは、デジタル病理画像をサーバに送信し、サーバにＡＩ分析モデルが記憶され、サーバはＡＩ分析モデルでデジタル病理画像に対するＡＩ分析を実行することにより、ＡＩ分析情報を取得する。
情報受信ユニットは、サーバから送られてくるＡＩ分析情報を受信する。画像投影部１６３０は、ＡＲ投影ユニットが出射光路においてＡＩ分析情報を病理顕微鏡の顕微鏡視野に投影するよう制御する。
以上より、本実施例に係る表示制御装置では、画像収集ユニットによってデジタル病理画像を収集し、制御ユニットによってデジタル病理画像をＡＩ分析してＡＩ分析情報を取得し、そしてＡＲ投影ユニットによってＡＩ分析情報を顕微鏡本体の顕微鏡視野に投影することにより、医師が病理切片画像とＡＩ分析情報を顕微鏡視野内に同時に観察することを可能にし、観察の全過程において視野を繰り返して切り替える必要がなくなるため、病理顕微鏡の観察過程をより簡潔かつ直接的にし、病理顕微鏡の使用中の高リアルタイム性を図る。
図１８は、本願の別の例示的な一実施例に係る表示制御装置の概略図を示し、該装置は、上記各方法実施例に係る病理顕微鏡の制御ユニットに実装されてよく、
画像収集ユニットが入射光路から収集したデジタル病理画像を取得するための画像取得部１８１０と、
音声収集ユニットの音声信号から収集された制御命令を認識し、制御命令に基づいてＡＩ分析の分析過程を制御するための音声認識部１８２０と、
デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成するための画像分析部１８３０とを含む。
ＡＩ分析情報は、ＡＩ分析モデルを用いてデジタル病理画像を分析した結果情報である。可能な一実施例では、該装置の内部には、デジタル病理画像をＡＩ分析するためのＡＩ分析モデルが設定されている。可能な一実施例では、少なくとも１つのＡＩ分析モデルを取得し、デジタル病理画像の使用シーンに対応するターゲットＡＩ分析モデルを決定し、ターゲットＡＩ分析モデルを呼び出してデジタル病理画像をＡＩ分析してＡＩ分析情報を生成する。
異なるＡＩ分析モデルは異なる分析能力を有し、該装置の内部に１つ以上のＡＩ分析モデルが設定されてよい。該装置には、腫瘍領域検査ＡＩモデル、細胞検出ＡＩモデル及び伝染病検査ＡＩモデルの３種類のモデルの少なくとも１種のモデルが同時に設定されている。
別の可能な一実施例では、画像分析部は、画像送信ユニット及び情報受信ユニットを含む。画像送信ユニットは、デジタル病理画像をサーバに送信し、サーバにＡＩ分析モデルが記憶され、サーバはＡＩ分析モデルでデジタル病理画像に対するＡＩ分析を実行することにより、ＡＩ分析情報を取得する。
情報受信ユニットは、サーバから送られてくるＡＩ分析情報を受信する。
情報再生部１８４０は、音声再生ユニットによる上記ＡＩ分析情報の再生を制御する。
画像投影部１８５０は、ＡＲ投影ユニットが出射光路においてＡＩ分析情報を病理顕微鏡の顕微鏡視野に投影するよう制御する。
報告生成部１８６０は、制御命令が第１の生成命令の場合、ＡＩ分析情報が含まれる病理報告を生成するか、
或いは、制御命令が第２の生成命令の場合、ＡＩ分析情報及び患者情報が含まれるカルテレポートを生成し、患者情報は、病理切片上の文字又は図形コードから認識されたものであってもよいし、医師が音声収集ユニットによって入力したものであってもよい。
一部の実施例では、音声信号から文字内容を認識し、文字内容に基づいて病理報告又はカルテレポート内の医師記録を生成する。該装置は、音声信号を認識し、音声信号の内容を文字の形式で表現し、音声信号に対応する文字内容を生成する。
報告アップロード部１８７０は、ネットワークユニットにより病理報告又はカルテレポートを第１のターゲット装置にアップロードする。
画像アップロード部１８８０は、ネットワークユニットにより、ＡＩ分析情報が重畳された顕微鏡画像を第２のターゲット装置にアップロードするか又は予め設定した共有チャネルに共有する。
病理顕微鏡２００の使用シーンを例示的に説明すると、図１９に示すように、病理顕微鏡２００は、病院、研究機関及び学校などの場所に応用することができ、病院、研究機関及び学校は、いずれも病理映像データベース、カルテレポートライブラリ及び病理報告ライブラリを有し、即ち、病院は、病理映像データベース、カルテレポートライブラリ及び病理報告ライブラリを含む病院情報システムを有し、研究機関は、病理映像データベース、カルテレポートライブラリ及び病理報告ライブラリを含む研究機関情報システムを有し、学校は、病理映像データベース、カルテレポートライブラリ及び病理報告ライブラリを含む学校情報システムを有する。
病理映像データベースは、アップロードされた病理切片画像、デジタル病理画像又はＡＩ病理画像の少なくとも１つを記憶するデータベースであり、病理顕微鏡２００が分析した病理切片をアーカイブする。病理報告ライブラリは、アップロードされた病理報告を記憶するデータベースであり、ＡＩ分析情報を含み、使用場所で検査された病理切片情報を分類して記憶する。カルテレポートライブラリは、アップロードされたカルテレポートを記憶するデータベースであり、カルテレポートはＡＩ分析情報及び患者情報を含み、患者情報は病理切片上の文字又は図形コードから認識されるものであり、該カルテレポートライブラリは、患者情報を呼び出し、報告結果を患者情報に対応付け、患者情報及びカルテレポートを分類して記憶し、患者の再診記録を追跡可能にする。
病理顕微鏡２００は、病理検査を行うとき、観察領域自動捕捉１９４０を捕捉することができ、例えば、該観察領域自動捕捉１９４０は、疑わしい病変領域である。その後、使用シーンに応じてターゲットＡＩ分析モデルを選択してＡＩ分析を行う。
使用シーンが腫瘍領域検査１９５０である場合、腫瘍領域検査ＡＩ分析モデルをターゲットＡＩ分析モデルとして決定し、腫瘍領域検査ＡＩモデルを呼び出してデジタル病理画像をＡＩ分析することにより、腫瘍分析情報を取得する。腫瘍分析情報は、乳がん分析情報１９５１、骨がん分析情報１９５２及び消化管がん分析情報１９５３のいずれかを含む。
デジタル病理画像の使用シーンが細胞検出１９６０である場合、細胞検出ＡＩモデルをターゲットＡＩ分析モデルとして決定し、細胞検出ＡＩモデルを呼び出してデジタル病理画像をＡＩ分析することにより、細胞検出情報を取得する。一部の実施例では、細胞検出情報は、細胞計数情報１９６１、有糸分裂細胞検出情報１９６２及び細胞核検出情報１９６３のいずれかを含む。
使用シーンが伝染病検査１９７０である場合、伝染病検査ＡＩモデルをターゲットＡＩ分析モデルとして決定し、伝染病検査ＡＩモデルを呼び出してデジタル病理画像をＡＩ分析することにより、伝染病検査情報を取得する。一部の実施例では、伝染病検査情報は、マラリア原虫卵検査情報１９７１及び抗酸菌検査情報１９７２のいずれかを含む。
可能な一実施例では、病理顕微鏡は、画像収集ユニット２１、制御ユニット２２、ＡＲ投影ユニット２３、音声収集ユニット５１、ネットワークユニット５２及び音声再生ユニット５３を含み、各ユニットは、機能を実現する部をさらに含み、図２０に示すとおりである。
制御ユニット２２は、報告生成部２２０４、音声対話部２２０２、音声認識部２２０３、患者認識部２２０１及びＡＩチップ部２２０５を含み、画像収集ユニット２１は、画像収集部２１０１、画像前処理部２１０２及び画像後処理部２１０３を含む。
マイクは音声収集ユニット５１とし、病理顕微鏡は、マイク５１によってユーザが発した音声を収集し、マイク５１が音声信号を音声対話部２２０２に伝送し、音声対話部２２０２が制御命令を生成する。画像収集部２１０１が顕微鏡本体２０の入射光路上の病理切片画像を収集した後、画像前処理部２１０２が病理切片画像に画像前処理を行ってデジタル病理画像を取得する。
制御命令がモデル選択命令の場合、音声対話部２２０２がモデル選択命令を受信し、モデル選択命令の下で、該デジタル病理画像について、使用シーンに応じてＡＩチップ部２２０５に記憶されている対応するターゲットＡＩ分析モデルを選択し、ＡＩチップ部２２０５内のＡＩ分析モデルでＡＩ分析を行ってＡＩ分析情報を取得する。画像後処理部２１０３が文字形式のＡＩ分析情報を投影可能な形式のＡＩ分析情報として生成する。投影可能な形式のＡＩ分析情報は、ＡＲ投影ユニット２３によって顕微鏡本体２０の出射光路に投影される。
一部の実施例では、ＡＩチップ部がデジタル病理画像をＡＩ分析モデルでＡＩ分析してＡＩ分析情報を取得し、音声再生ユニット５３がＡＩ分析情報を再生することができる。
制御命令は、第１の生成命令及び第２の生成命令をさらに含む。制御命令が第１の生成命令の場合、音声対話部２２０２は、第１の生成命令を報告生成部２２０４に伝送し、報告生成部２２０４は、第１の生成命令に基づいてＡＩ分析情報が含まれる病理報告を生成するか、或いは、制御命令が第２の生成命令の場合、音声対話部２２０２は、第２の生成命令を報告生成部２２０４に伝送し、報告生成部２２０４は、第２の生成命令に基づいてＡＩ分析情報及び患者情報が含まれるカルテレポートを生成し、患者情報は、医師が音声収集ユニットによって入力したものであってもよい。ここで、患者情報は、音声対話部２２０２が第２の生成命令に基づいて患者認識部２２０１を呼び出し、患者認識部２２０１が病理切片上の文字又は図形コードを認識して得られた対応する患者情報であってもよく、又は、患者情報は、医師が音声収集ユニットによって入力したものであってもよい。
音声認識部２２０３は、音声信号を認識し、音声信号の内容を文字の形式で表現し、音声信号に対応する文字内容を生成する。まず医師がマイク５１によって病理診断を口述し、次に音声認識部２２０３が口述内容を認識し、口述内容を文字の形式で表現し、認識された内容が病理報告の診断内容であり、そしてＡＩ分析情報を組み合わせて病理報告を生成し、或いは、まず医師がマイク５１によって医師診断を口述し、次に音声認識部２２０３が口述内容を認識し、口述内容を文字の形式で表現し、認識された内容がカルテレポート内の症例診断内容及び／又は患者情報であり、そしてＡＩ分析情報を組み合わせてカルテレポートを生成する。
ネットワークユニット５３により少なくとも１つのＡＩ分析モデルをダウンロードすることができ、或いは、ターゲットＡＩ分析モデルが記憶されていない場合、ネットワークユニット５２によりターゲットＡＩ分析モデルを自動的にダウンロードする。ダウンロードされたＡＩ分析モデル又はターゲットＡＩ分析モデルは、いずれもＡＩチップ部に記憶することができる。病理顕微鏡の病理切片画像及び／又はデジタル病理画像及び／又はＡＩ病理切片画像は、ネットワークユニット５２により第２のターゲット装置にアップロードするか又は予め設定した共有チャネルに共有することができる。また、ネットワークユニット５２は、報告生成部２２０４で生成された病理報告及びカルテレポートを第１のターゲット装置にアップロードすることができる。第１のターゲット装置、第２のターゲット装置及び予め設定した共有チャネルの詳細は前に説明したが、ここで説明を省略する。
任意選択の一実施例では、該病理顕微鏡２００の構成は、機能構成に応じて、応用層３０００、機能層３０１０及び出力層３０２０に分けることができる。図２１に示すように、応用層３０００は、使用シーン３００１及び使用者３００２を含み、使用者３００２が音声収集ユニット５１によって病理顕微鏡を命令し、音声収集ユニット５１が外部の音声を収集して音声信号を取得し、音声信号を音声対話部２２０２に送信して認識させ、制御命令を生成させる。該制御命令が異なる命令である場合、機能層３０１０を操作・制御して、病理顕微鏡に対する制御を実現することができる。
機能層３０１０は、画像収集部２１０１、ＡＩチップ部２２０５、ネットワークユニット５２、ＡＲ投影ユニット２３、報告生成部２２０１、患者認識部２２０４及び音声認識部２２０３を含む。
出力層３０２０は、自動画像保存・共有３０２１、ＡＲ病理画像３０２２、病理報告２０２３、カルテレポート３０２４、音声再生ユニット５３及び文字内容３０２５を含む。
画像収集部２１０１は、病理切片の病理切片画像を収集し、処理を経てデジタル病理画像を取得する。ＡＩ技術を用いてデジタル病理画像をＡＩ分析し、使用シーン３００１に応じて、音声対話部２２０２がモデル選択命令を発し、対応するターゲットＡＩ分析モデルを選択し、ＡＩ分析モデル３０３０を決定し、該ＡＩ分析モデル３０３０がＡＩチップ部２２０５に記憶されることができる。デジタル病理画像をＡＩ分析モデル３０３０によって処理した後にＡＩ病理切片画像０３を取得し、音声対話部２２０２によるネットワークユニット５２の制御の下で、該ＡＩ病理切片画像０３は自動画像保存・共有３０２１が行われる。
ＡＩ分析モデルでＡＩ分析を行ってＡＩ分析情報を取得し、該ＡＩ分析情報を音声再生ユニット５３によって再生することができる。
得られたＡＩ病理切片画像０３について、音声対話部２２０２の制御の下で、ＡＲ投影ユニット２３を用いてＡＩ分析情報を投影し、投影されたＡＲ病理画像３０２２を取得し、該ＡＲ病理画像３０２２が顕微鏡本体の出射光路上に位置する。音声対話部２２０２の制御命令が第１の生成命令の場合、報告生成部２２０１は、ＡＩ分析情報が含まれる病理報告３０２３を生成し、音声対話部２２０１の制御命令が第２の生成命令の場合、報告生成部２２０１は、ＡＩ分析情報及び患者情報が含まれるカルテレポート３０２４を生成する。ここで、患者情報は、音声対話部２２０２が患者身元認識部２２０４を制御して対応する患者情報を呼び出して認識して得られたものであり、呼び出し方式は、病理切片上の文字又は図形コードを認識するか又は医師が口述により患者情報の入力を完了することである。
医師は、音声認識部２２０３によって、音声収集ユニット５１が収集した音声内容を認識し、音声内容を文字内容に認識し、即ち、医師は、口述の形式により病理報告の病理診断内容の作成を完了するか又は口述の形式によりカルテレポートの症例診断内容の作成や患者情報の入力の少なくとも１つを完了することができる。
本実施例に係る病理顕微鏡では、さらに、制御ユニットが音声再生ユニットによるＡＩ分析情報の再生を制御することにより、医師が紙情報又は電子情報を読む手間を省くことができ、医師は、再生された情報を聴くだけで専門的な診断を行うことができ、診断効率が向上する。
なお、本願の各実施例における各ステップは、必ずしもステップ番号が示す順序で順次実行されるものではないことが理解されるべきである。本明細書で明確に説明しない限り、これらのステップの実行は、厳密な順序に制限されず、他の順序で実行されてもよい。さらに、各実施例における少なくとも一部のステップは、複数のサブステップ又は複数の段階を含んでよく、これらのサブステップ又は段階は、必ずしも同じ時刻で実行されるものではなく、異なる時刻で実行されてもよく、これらのサブステップ又は段階の実行順序も、必ずしも順に行われるものではなく、その他のステップ又はその他のステップのサブステップや段階の少なくとも一部と順番に又は交互に実行されてもよい。
当業者であれば理解できるように、上記実施例の方法の全部又は一部の流れは、コンピュータプログラムが関連ハードウェアを命令することにより実現されてよく、該プログラムが不揮発性コンピュータ可読記憶媒体に記憶されることができ、該プログラムが実行されるとき、上記各方法実施例の流れを含んでよい。本願に係る各実施例に用いられる、メモリ、ストレージ、データベース又は他の媒体への任意の参照は、いずれも不揮発性及び／又は揮発性メモリを含んでよい。不揮発性メモリは、読み取り専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）又はフラッシュメモリを含んでよい。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）又は外部キャッシュメモリを含んでよい。限定ではない例示として、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、デュアルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、強化ＳＤＲＡＭ（ＥＳＤＲＡＭ）、同期リンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）及びメモリバスダイナミックＲＡＭ（ＲＤＲＡＭ）などの様々な形態で得られる。
なお、本明細書で言及した「複数」とは、２つ以上を意味することが理解されるべきである。「及び／又は」は、関連対象の関連関係を記述し、３種類の関係が存在することができ、例えば、Ａ及び／又はＢは、Ａが単独で存在するか、又はＡとＢが同時に存在するか、又はＢが単独で存在するという３つの状況を表す。符号「／」は、一般的に、前後の関連対象が「又は」の関係であることを示す。
当業者であれば理解できるように、上記実施例の全部又は一部のステップの実現はハードウェアにより完了してもよいし、プログラムが関連するハードウェアを命令することにより完了してもよく、該プログラムがコンピュータ可読記憶媒体に記憶されることができ、上述した記憶媒体がリードオンリーメモリ、磁気ディスク又は光ディスクなどであってよい。
以上の記載は、本願の好ましい実施例に過ぎず、本願を限定するものではなく、本願の構想及び原則内に行われる全ての修正、等価置換及び改良などは、いずれも本願の保護範囲内に含まれるべきである。
００ 病理切片
０１ 病理切片画像
０２ デジタル病理画像
０３ AI病理切片画像
１０ 顕微鏡本体
１２ 画像収集ユニット
１４ AI分析モデル
２０ 顕微鏡本体
２１ 画像収集ユニット
２２ 制御ユニット
２３ AR投影ユニット
５１ 音声収集ユニット
５２ ネットワークユニット
５３ 音声再生ユニット
１００ 病理顕微鏡
１０１ 対物レンズ鏡筒
１０２ 分光プリズム
１０３ 出射光線
１０４ 入射光線
１０５ 接眼レンズ鏡筒
１０６ 反射鏡
１０７ レンズ
１０８ 投影内容
２００ 病理顕微鏡
１００１ コンピュータ
１１０１ 集積チップ
１２０１ ネットワーク
１２１０ クラウドサーバ
１２２０ 病院情報システム
１２２１ モデルライブラリ
１２２２ 病理報告ライブラリ
１２２４ 病理映像データベース
１６１０ 画像取得部
１６２０ 画像分析部
１６３０ 画像投影部
１６３１ モデル取得ユニット
１６３２ モデル呼出ユニット
１７３１ 腫瘍検査サブユニット
１７３２ 細胞検出サブユニット
１７３３ 伝染病検査サブユニット
１８１０ 画像取得部
１８２０ 音声認識部
１８３０ 画像分析部
１８４０ 情報再生部
１８５０ 画像投影部
１８６０ 報告生成部
１８７０ 報告アップロード部
１８８０ 画像アップロード部
１９４０ 観察領域自動捕捉
１９５０ 腫瘍領域検査
１９５１ 乳がん分析情報
１９５２ 骨がん分析情報
１９５３ 消化管がん分析情報
１９６０ 細胞検出
１９６１ 細胞計数情報
１９６２ 有糸分裂細胞検出情報
１９６３ 細胞核検出情報
１９７０ 伝染病検査
１９７１ マラリア原虫卵検査情報
１９７２ 抗酸菌検査情報
２０２３ 病理報告
２１０１ 画像収集部
２１０２ 画像前処理部
２１０３ 画像後処理部
２２０１ 患者認識部
２２０２ 音声対話部
２２０３ 音声認識部
２２０４ 報告生成部
２２０５ AIチップ部
３０００ 応用層
３００１ 使用シーン
３００２ 使用者
３０１０ 機能層
３０２０ 出力層
３０２２ 病理画像
３０２３ 病理報告
３０２４ カルテレポート
３０２５ 文字内容
３０３０ 分析モデル
本発明は、顕微鏡による撮像の分野に関し、特に病理顕微鏡並びに、その表示モジュール、制御方法、装置及びコンピュータプログラムに関する。
可能な一実現形態では、画像収集ユニット２１、制御ユニット２２及びネットワークユニット５２は、顕微鏡本体外に設けられる電子機器により実現されてもよい。図１０に示すように、病理顕微鏡２００の顕微鏡本体は、入射光路に対応する第１の本体部分と出射光路に対応する第２の本体部分を含み、第１の本体部分には、ねじインターフェースや係止インターフェースなどの所定の標準インターフェースであってよい第１のインターフェースが形成され、画像収集ユニット２１は、第１のジョイントが形成されたカメラであってよく、画像収集ユニット２１の第１のジョイントは、第１の本体部分の第１のインターフェースに接続される。それに応じて、第２の本体部分には、ねじインターフェースや係止インターフェースなどの所定の標準インターフェースであってよい第２のインターフェースが形成され、ＡＲ投影ユニット２３には、第２のジョイントが形成され、ＡＲ投影ユニットの第２のジョイントは、第２の本体部分の第１のインターフェースに接続される。例示的には、さらに、コンピュータ１００１によって制御ユニット２２とネットワークユニット５２を実装し、マイクを音声収集ユニット５１とする。病理切片００は、顕微鏡本体２０の載置台上に位置し、画像収集ユニット２１は、入射光路に位置し、かつコンピュータ１００１の入力端に電気的に接続され、ＡＲ投影ユニット２３は、コンピュータ１００１の出力端に電気的に接続され、かつ出射光路に設けられ、出射光路は、顕微鏡本体２０の接眼レンズ鏡筒の内部に位置する。
別の可能な一実現形態では、制御ユニット２２（及びネットワークユニット５２又は音声再生ユニット５３の少なくとも１つ）は、集積チップ１１０１に製造してもよい。図１１に示すように、集積チップ１１０１は顕微鏡本体のアームに一体集積化され、マイクは音声収集ユニット５１とする。病理切片００は、顕微鏡本体２０の載置台上に位置し、画像収集ユニット２１は、入射光路に位置し、かつ集積チップ１１０１の入力端に電気的に接続され、ＡＲ投影ユニット２３は、集積チップ１１０１の出力端に電気的に接続され、かつ出射光路に設けられ、出射光路は、顕微鏡本体２０の接眼レンズ鏡筒の内部に位置する。
ステップ１３００で、使用シーンを決定する。
評価データ評価基準は、試験画像の試験結果とキャリブレーション結果の誤差が予め設定した条件よりも小さいことであってもよいし、試験画像の試験結果の正解率が予め設定した閾値よりも高いことであってもよいし、さらに試験画像の試験速度及び試験結果がいずれも所望の条件に達することであってもよい。実際の使用シーンによって、評価データ評価基準は異なるものであってよく、本実施例はこれを限定しない。
本願の別の一部の実施例では、病理画像に対するＡＩ分析及び投影の他に、制御ユニットは、さらに、病理報告及びカルテレポートの生成、ＡＩ分析モデルのダウンロード、及び病理画像、病理報告又はカルテレポートのアップロードなどの機能の少なくとも１つを実現するため、該制御ユニットには、制御目的を実現する制御方法がある。
異なるＡＩ分析モデルは異なる分析能力を有し、モデル呼出ユニット１６３２の内部に１つ以上のＡＩ分析モデルが設定されてよい。モデル呼出ユニット１６３２には、腫瘍領域検査ＡＩモデル、細胞検出ＡＩモデル及び伝染病検査ＡＩモデルの３種類のモデルの少なくとも１種のモデルが設定されてよい。
モデル呼出ユニット１６３２に腫瘍領域検査ＡＩモデル、細胞検出ＡＩモデル及び伝染病検査ＡＩモデルの３種類のモデルが同時に設けられる場合を例示すると、図１７に示すように、モデル呼出ユニット１６３２は、腫瘍検査サブユニット１７３１、細胞検出サブユニット１７３２及び伝染病検査サブユニット１７３３を含む。
ネットワークユニット５２により少なくとも１つのＡＩ分析モデルをダウンロードすることができ、或いは、ターゲットＡＩ分析モデルが記憶されていない場合、ネットワークユニット５２によりターゲットＡＩ分析モデルを自動的にダウンロードする。ダウンロードされたＡＩ分析モデル又はターゲットＡＩ分析モデルは、いずれもＡＩチップ部に記憶することができる。病理顕微鏡の病理切片画像及び／又はデジタル病理画像及び／又はＡＩ病理切片画像は、ネットワークユニット５２により第２のターゲット装置にアップロードするか又は予め設定した共有チャネルに共有することができる。また、ネットワークユニット５２は、報告生成部２２０４で生成された病理報告及びカルテレポートを第１のターゲット装置にアップロードすることができる。第１のターゲット装置、第２のターゲット装置及び予め設定した共有チャネルの詳細は前に説明したが、ここで説明を省略する。

Claims (24)

  1. 病理顕微鏡に適用される付加表示モジュールであって、
    前記病理顕微鏡の入射光路に設けられ、前記入射光路からデジタル病理画像を収集するための画像収集ユニットと、
    前記デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成するための制御ユニットと、
    前記病理顕微鏡の出射光路に設けられ、前記出射光路において、前記ＡＩ分析情報を前記病理顕微鏡の顕微鏡視野に投影するための拡張現実ＡＲ投影ユニットとを、含み、
    前記制御ユニットは、入力端が前記画像収集ユニットに電気的に接続され、出力端が前記ＡＲ投影ユニットに電気的に接続される付加表示モジュール。
  2. 前記制御ユニットは、
    少なくとも１つのＡＩ分析モデルを取得し、前記デジタル病理画像の使用シーンに対応するターゲットＡＩ分析モデルを決定し、前記ターゲットＡＩ分析モデルを呼び出して前記デジタル病理画像をＡＩ分析して前記ＡＩ分析情報を生成するステップ、及び
    前記デジタル病理画像を、サーバに送信し、前記サーバから送られてくる前記ＡＩ分析情報を受信するステップであって、前記サーバは、ＡＩ分析モデルを記憶しており、前記ＡＩ分析モデルで前記デジタル病理画像に対するＡＩ分析を実行することにより、ＡＩ分析情報を取得するものである、ステップ、
    のうちの少なくとも１つを実行することを特徴とする、請求項１に記載の付加表示モジュール。
  3. 前記制御ユニットは、
    前記デジタル病理画像の使用シーンが腫瘍領域検査である場合、腫瘍領域検査ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記腫瘍領域検査ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析することにより、腫瘍分析情報を取得するステップと、
    前記デジタル病理画像の使用シーンが細胞検出である場合、細胞検出ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記細胞検出ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析することにより、細胞検出情報を取得するステップと、
    前記デジタル病理画像の使用シーンが伝染病検査である場合、伝染病検査ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記伝染病検査ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析することにより、伝染病検査情報を取得するステップとのうちの少なくとも１つを実行することを特徴とする、請求項２に記載の付加表示モジュール。
  4. 前記付加表示モジュールは、前記制御ユニットに接続される音声収集ユニットを更に含み、
    前記音声収集ユニットは、外部の音声信号を収集するものであり、
    前記制御ユニットは、前記音声信号の制御命令を認識し、前記制御命令に基づいて前記ＡＩ分析の分析過程を制御することを特徴とする、請求項１に記載の付加表示モジュール。
  5. 前記制御ユニットは、前記制御命令がモデル選択命令の場合、前記モデル選択命令に基づいて前記ターゲットＡＩ分析モデルを選択することを特徴とする、請求項４に記載の付加表示モジュール。
  6. 前記付加表示モジュールは、前記制御ユニットに接続されたネットワークユニットを更に含み、
    前記制御ユニットは、
    前記制御命令がモデルダウンロード命令の場合、前記ネットワークユニットに、少なくとも１つのＡＩ分析モデルをダウンロードするよう制御するか、もしくは、
    前記ターゲットＡＩ分析モデルが記憶されていない場合、前記ネットワークユニットに、前記ターゲットＡＩ分析モデルをダウンロードするよう制御することを特徴とする、請求項５に記載の付加表示モジュール。
  7. 前記制御ユニットは、
    前記制御命令が第１の生成命令の場合、前記ＡＩ分析情報が含まれる病理報告を生成するか、もしくは、
    前記制御命令が第２の生成命令の場合、前記ＡＩ分析情報と、病理切片上の文字又は図形コードから認識された患者情報が含まれるカルテレポートを生成することを特徴とする、請求項４に記載の付加表示モジュール。
  8. 前記制御ユニットは、前記音声信号から認識された文字内容に基づいて、前記病理報告又は前記カルテレポートにおける医師記録を生成することを特徴とする、請求項７に記載の付加表示モジュール。
  9. 前記付加表示モジュールは、前記制御ユニットに接続されたネットワークユニットを更に含み、
    前記制御ユニットは、
    前記ネットワークユニットに前記病理報告又は前記カルテレポートを第１のターゲット装置にアップロードするよう制御するステップと、
    前記ネットワークユニットに、前記ＡＩ分析情報が重畳された顕微鏡画像を第２のターゲット装置にアップロードするか、もしくは、予め設定した共有チャネルに共有するよう制御するステップ、のうちの少なくとも１つを実行することを特徴とする、請求項７に記載の付加表示モジュール。
  10. 前記付加表示モジュールは、前記制御ユニットに接続された音声再生ユニットを更に含み、
    前記制御ユニットは、さらに、前記音声再生ユニットに前記ＡＩ分析情報を再生するよう制御することを特徴とする、請求項１〜３のいずれか１項に記載の付加表示モジュール。
  11. 入射光路に対応する第１の本体部分及び出射光路に対応する第２の本体部分を有する顕微鏡本体と、
    付加表示モジュールとを含む病理顕微鏡であって、
    前記付加表示モジュールは、
    前記病理顕微鏡の入射光路に設けられ、前記入射光路からデジタル病理画像を収集するための画像収集ユニットと、
    前記デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成するための制御ユニットと、
    前記病理顕微鏡の出射光路に設けられ、前記出射光路において、前記ＡＩ分析情報を前記病理顕微鏡の顕微鏡視野に投影するための拡張現実ＡＲ投影ユニットとを、含み、
    前記制御ユニットは、入力端が前記画像収集ユニットに電気的に接続され、出力端が前記ＡＲ投影ユニットに電気的に接続される病理顕微鏡。
  12. 前記制御ユニットは、
    少なくとも１つのＡＩ分析モデルを取得し、前記デジタル病理画像の使用シーンに対応するターゲットＡＩ分析モデルを決定し、前記ターゲットＡＩ分析モデルを呼び出して前記デジタル病理画像をＡＩ分析して前記ＡＩ分析情報を生成するステップ、及び
    前記デジタル病理画像を、サーバに送信し、前記サーバから送られてくる前記ＡＩ分析情報を受信するステップであって、前記サーバは、ＡＩ分析モデルが記憶されており、前記ＡＩ分析モデルで前記デジタル病理画像に対するＡＩ分析を実行することにより、ＡＩ分析情報を取得するものである、ステップ、
    のうちの少なくとも１つを実行することを特徴とする、請求項１１に記載の病理顕微鏡。
  13. 前記制御ユニットは、
    前記デジタル病理画像の使用シーンが腫瘍領域検査である場合、腫瘍領域検査ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記腫瘍領域検査ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析することにより、腫瘍分析情報を取得するステップと、
    前記デジタル病理画像の使用シーンが細胞検出である場合、細胞検出ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記細胞検出ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析することにより、細胞検出情報を取得するステップと、
    前記デジタル病理画像の使用シーンが伝染病検査である場合、伝染病検査ＡＩモデルを前記ターゲットＡＩ分析モデルとして決定し、前記伝染病検査ＡＩモデルを呼び出して前記デジタル病理画像をＡＩ分析することにより、伝染病検査情報を取得するステップとのうちの少なくとも１つを実行することを特徴とする、請求項１２に記載の病理顕微鏡。
  14. 前記付加表示モジュールは、前記制御ユニットに接続される音声収集ユニットを更に含み、
    前記音声収集ユニットは、外部の音声信号を収集するものであり、
    前記制御ユニットは、前記音声信号の制御命令を認識し、前記制御命令に基づいて前記ＡＩ分析の分析過程を制御することを特徴とする、請求項１１に記載の病理顕微鏡。
  15. 前記制御ユニットは、前記制御命令がモデル選択命令の場合、前記モデル選択命令に基づいて前記ターゲットＡＩ分析モデルを選択することを特徴とする、請求項１４に記載の病理顕微鏡。
  16. 前記付加表示モジュールは、前記制御ユニットに接続されたネットワークユニットを更に含み、
    前記制御ユニットは、
    前記制御命令がモデルダウンロード命令の場合、前記ネットワークユニットに、少なくとも１つのＡＩ分析モデルをダウンロードするよう制御するか、もしくは、
    前記ターゲットＡＩ分析モデルが記憶されていない場合、前記ネットワークユニットに、前記ターゲットＡＩ分析モデルをダウンロードするよう制御することを特徴とする、請求項１５に記載の病理顕微鏡。
  17. 前記制御ユニットは、
    前記制御命令が第１の生成命令であるの場合、前記ＡＩ分析情報が含まれる病理報告を生成するか、もしくは、
    前記制御命令が第２の生成命令の場合、前記ＡＩ分析情報と、病理切片上の文字又は図形コードから認識された患者情報が含まれるカルテレポートを生成することを特徴とする、請求項１４に記載の病理顕微鏡。
  18. 前記制御ユニットは、前記音声信号から認識された文字内容に基づいて、前記病理報告又は前記カルテレポートにおける医師記録を生成することを特徴とする、請求項１７に記載の病理顕微鏡。
  19. 前記付加表示モジュールは、前記制御ユニットに接続されたネットワークユニットを更に含み、
    前記制御ユニットは、
    前記ネットワークユニットに前記病理報告又は前記カルテレポートを第１のターゲット装置にアップロードするよう制御するステップと、
    前記ネットワークユニットに、前記ＡＩ分析情報が重畳された顕微鏡画像を第２のターゲット装置にアップロードするか、もしくは、予め設定した共有チャネルに共有するよう制御するステップ、のうちの少なくとも１つを実行することを特徴とする、請求項１７に記載の病理顕微鏡。
  20. 前記付加表示モジュールは、前記制御ユニットに接続された音声再生ユニットを更に含み、
    前記制御ユニットは、さらに、前記音声再生ユニットに前記ＡＩ分析情報を再生するよう制御することを特徴とする、請求項１１〜１３のいずれか１項に記載の病理顕微鏡。
  21. 前記付加表示モジュールの全部又は一部のユニットが、前記顕微鏡本体に実装されるか、
    もしくは、前記第１の本体部分に、前記入射光路からデジタル病理画像を収集するための画像収集ユニットを取り付けるための第１のインターフェースが形成され、前記第２の本体部分には、前記デジタル病理画像をＡＩ分析して得られる人工知能ＡＩ分析情報を顕微鏡視野に投影するための拡張現実ＡＲ投影ユニットを取り付けるための第２のインターフェースが形成されることを特徴とする、請求項１１に記載の病理顕微鏡。
  22. 請求項１又は１１に記載の前記制御ユニットが実行する制御方法であって、
    画像収集ユニットが入射光路から収集したデジタル病理画像を取得するステップと、
    前記デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成するステップと、
    ＡＲ投影ユニットが出射光路において前記ＡＩ分析情報を病理顕微鏡の顕微鏡視野に投影するよう制御するステップとを含む表示制御方法。
  23. 請求項１又は１１に記載の前記制御ユニットに実装される表示制御装置であって、
    画像収集ユニットが入射光路から収集したデジタル病理画像を取得するための画像取得部と、
    前記デジタル病理画像を人工知能ＡＩで分析してＡＩ分析情報を生成するための画像分析部と、
    ＡＲ投影ユニットが出射光路において前記ＡＩ分析情報を病理顕微鏡の顕微鏡視野に投影するよう制御するための画像投影部とを含むことを特徴とする表示制御装置。
  24. プロセッサによってロードされ、実行されることにより、請求項２２に記載の表示制御方法を実現する少なくとも１つの命令が記憶されていることを特徴とするコンピュータ可読記憶媒体。
JP2020549545A 2018-08-21 2019-08-12 病理顕微鏡並びに、その表示モジュール、制御方法、装置及びコンピュータプログラム Pending JP2021516373A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810956223.3A CN110007455B (zh) 2018-08-21 2018-08-21 病理显微镜、显示模组、控制方法、装置及存储介质
CN201810956223.3 2018-08-21
PCT/CN2019/100147 WO2020038245A1 (zh) 2018-08-21 2019-08-12 病理显微镜、显示模组、控制方法、装置及存储介质

Publications (1)

Publication Number Publication Date
JP2021516373A true JP2021516373A (ja) 2021-07-01

Family

ID=67164826

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020549545A Pending JP2021516373A (ja) 2018-08-21 2019-08-12 病理顕微鏡並びに、その表示モジュール、制御方法、装置及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US11982803B2 (ja)
EP (1) EP3842851A4 (ja)
JP (1) JP2021516373A (ja)
CN (1) CN110007455B (ja)
WO (1) WO2020038245A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023074183A1 (ja) * 2021-10-28 2023-05-04 パナソニックＩｐマネジメント株式会社 学習支援システム、外観検査装置、外観検査用ソフトの更新装置及び外観検査用モデルの更新方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110007455B (zh) * 2018-08-21 2021-01-26 腾讯科技（深圳）有限公司 病理显微镜、显示模组、控制方法、装置及存储介质
DE102018217901A1 (de) * 2018-10-18 2020-04-23 Leica Microsystems Cms Gmbh Optimierung von Arbeitsabläufen von Mikroskopen
CN110490130A (zh) * 2019-08-16 2019-11-22 腾讯科技（深圳）有限公司 智能光学数据处理方法、装置以及计算机可读存储介质
CN110765855B (zh) * 2019-09-12 2023-04-18 杭州迪英加科技有限公司 一种病理图像处理方法及系统
CN110673325A (zh) * 2019-09-25 2020-01-10 腾讯科技（深圳）有限公司 显微镜系统、智能医疗设备、自动对焦方法和存储介质
CN110619318B (zh) 2019-09-27 2021-03-02 腾讯科技（深圳）有限公司 基于人工智能的图像处理方法、显微镜、系统和介质
CN110767292A (zh) * 2019-10-12 2020-02-07 腾讯科技（深圳）有限公司 病理编号识别方法、信息识别方法、装置及信息识别系统
US11669946B2 (en) * 2019-10-24 2023-06-06 Moleculr Devices, Llc High-content imaging system to generate enhanced images and method of operating the same
WO2021102844A1 (zh) * 2019-11-28 2021-06-03 华为技术有限公司 处理图像的方法、装置及系统
CN111175958A (zh) * 2019-12-31 2020-05-19 杭州迪英加科技有限公司 针对显微镜下病理切片的远程会诊方法和系统
CN111239999B (zh) * 2020-01-08 2022-02-11 腾讯科技（深圳）有限公司 一种基于显微镜的光学数据处理方法、装置及存储介质
CN111505821B (zh) * 2020-05-12 2021-11-19 宁波蓝明信息科技有限公司 一种异步触发式增强现实显微成像系统
CN111795919B (zh) * 2020-05-25 2024-03-26 中国人民解放军陆军军医大学第二附属医院 一种骨髓细胞形态学自动检测系统及其工作方法
CN113064267A (zh) * 2021-04-09 2021-07-02 苏州华文海智能科技有限公司 一种显微镜的自动调焦方法
CN115494631A (zh) * 2021-06-18 2022-12-20 苏州速迈医学科技股份有限公司 一种增强影像系统及其实现方法
CN114202510B (zh) * 2021-11-11 2024-01-19 西北大学 显微镜下病理切片图像智能分析系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006071430A (ja) * 2004-09-01 2006-03-16 Hitachi Medical Corp 診断支援システム
JP2006297060A (ja) * 2005-03-24 2006-11-02 Kanazawa Univ 手術用顕微鏡及びそれを備えた診療システム
WO2017132607A1 (en) * 2016-01-29 2017-08-03 Noble Sensors, Llc Position correlated ultrasonic imaging
WO2018001689A1 (en) * 2016-06-28 2018-01-04 Contextvision Ab Method and system for detecting pathological anomalies in a digital pathology image and method for annotating a tissue slide
JP2018018492A (ja) * 2016-07-15 2018-02-01 パナソニックＩｐマネジメント株式会社 コンテンツ提示のための情報処理装置、情報処理装置の制御方法、及び制御プログラム
WO2018116851A1 (ja) * 2016-12-21 2018-06-28 株式会社ニコン 情報処理装置、画像処理装置、顕微鏡、情報処理方法、及び情報処理プログラム
WO2018134960A1 (ja) * 2017-01-20 2018-07-26 本田技研工業株式会社 会話処理サーバー、会話処理サーバーの制御方法、及び端末
KR101889725B1 (ko) * 2018-07-04 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2707522A1 (en) * 2007-12-21 2009-07-09 Alcon Refractivehorizons, Inc. Virtual microscope system for monitoring the progress of corneal ablative surgery and associated methods
CN102440749B (zh) * 2011-09-09 2013-11-27 肖真 手术显微镜辅助装置和手术显微系统
KR20130121520A (ko) * 2012-04-27 2013-11-06 주식회사 고영테크놀러지 스테레오 현미경 시스템
DE102014107443A1 (de) * 2014-05-27 2015-12-03 Carl Zeiss Meditec Ag Mikroskop-System mit Tiefenvorschau
CN104280886A (zh) * 2014-09-25 2015-01-14 清华大学 基于原位立体增强显示的显微系统及显微方法
US10295815B2 (en) * 2015-02-09 2019-05-21 Arizona Board Of Regents On Behalf Of The University Of Arizona Augmented stereoscopic microscopy
EP3262454A4 (en) * 2015-02-23 2019-02-27 Li-Cor, Inc. IMAGES FOR FLUORESCENCE ORGANIC SAMPLES AND METHODS
US9836839B2 (en) * 2015-05-28 2017-12-05 Tokitae Llc Image analysis systems and related methods
CN104965302A (zh) * 2015-06-26 2015-10-07 深圳市虚拟现实科技有限公司 增强现实显微镜
US11298072B2 (en) * 2016-07-01 2022-04-12 Bostel Technologies, Llc Dermoscopy diagnosis of cancerous lesions utilizing dual deep learning algorithms via visual and audio (sonification) outputs
CN105988209B (zh) * 2016-07-12 2018-09-18 江苏赛尔蒂扶医疗科技有限公司 一种基于显微镜的全自动检测系统
US10860685B2 (en) * 2016-11-28 2020-12-08 Google Llc Generating structured text content using speech recognition models
JP6947841B2 (ja) * 2017-06-13 2021-10-13 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 病理学用の拡張現実顕微鏡
CN107578808A (zh) * 2017-09-06 2018-01-12 上海联影医疗科技有限公司 基于医疗云系统的影像数据分析方法、云系统及云服务器
US11348239B2 (en) * 2018-05-14 2022-05-31 Tempus Labs, Inc. Predicting total nucleic acid yield and dissection boundaries for histology slides
CN110007455B (zh) * 2018-08-21 2021-01-26 腾讯科技（深圳）有限公司 病理显微镜、显示模组、控制方法、装置及存储介质
CN109031643A (zh) * 2018-10-31 2018-12-18 宁波舜宇仪器有限公司 一种增强现实显微镜

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006071430A (ja) * 2004-09-01 2006-03-16 Hitachi Medical Corp 診断支援システム
JP2006297060A (ja) * 2005-03-24 2006-11-02 Kanazawa Univ 手術用顕微鏡及びそれを備えた診療システム
WO2017132607A1 (en) * 2016-01-29 2017-08-03 Noble Sensors, Llc Position correlated ultrasonic imaging
WO2018001689A1 (en) * 2016-06-28 2018-01-04 Contextvision Ab Method and system for detecting pathological anomalies in a digital pathology image and method for annotating a tissue slide
JP2018018492A (ja) * 2016-07-15 2018-02-01 パナソニックＩｐマネジメント株式会社 コンテンツ提示のための情報処理装置、情報処理装置の制御方法、及び制御プログラム
WO2018116851A1 (ja) * 2016-12-21 2018-06-28 株式会社ニコン 情報処理装置、画像処理装置、顕微鏡、情報処理方法、及び情報処理プログラム
WO2018134960A1 (ja) * 2017-01-20 2018-07-26 本田技研工業株式会社 会話処理サーバー、会話処理サーバーの制御方法、及び端末
KR101889725B1 (ko) * 2018-07-04 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023074183A1 (ja) * 2021-10-28 2023-05-04 パナソニックＩｐマネジメント株式会社 学習支援システム、外観検査装置、外観検査用ソフトの更新装置及び外観検査用モデルの更新方法

Also Published As

Publication number Publication date
CN110007455A (zh) 2019-07-12
CN110007455B (zh) 2021-01-26
EP3842851A4 (en) 2022-02-16
WO2020038245A1 (zh) 2020-02-27
EP3842851A1 (en) 2021-06-30
US11982803B2 (en) 2024-05-14
US20200409134A1 (en) 2020-12-31

Similar Documents

Publication Publication Date Title
JP2021516373A (ja) 病理顕微鏡並びに、その表示モジュール、制御方法、装置及びコンピュータプログラム
JP7217893B2 (ja) 光学組織像の分析及び遠隔読影のためのシステム及び方法
US10545327B2 (en) Pathology data capture
US11908188B2 (en) Image analysis method, microscope video stream processing method, and related apparatus
US11216683B2 (en) Computer aided scanning method for medical device, medical device, and readable storage medium
CN113939728A (zh) 用于病理样本自动化成像和分析的基于计算显微镜的系统和方法
JP2019533847A (ja) 高度な病理診断
JP7449077B2 (ja) 医用撮像における特徴識別
CN112151155A (zh) 基于人工智能的超声影像智能培训方法、系统及应用系统
WO2022201729A1 (ja) 画像診断システム及び画像診断方法
JPWO2020100660A1 (ja) 情報処理方法および情報処理システム
US20230108319A1 (en) Explanation of machine-learned models using image translation
DE102021210435A1 (de) Verfahren und Vorrichtung zur Visualisierung von dreidimensionalen Objekten
JP2024528522A (ja) 医用画像をリアルタイムで処理するためのシステムおよび方法
US20190362859A1 (en) System for enabling remote annotation of media data captured using endoscopic instruments and the creation of targeted digital advertising in a documentation environment using diagnosis and procedure code entries
JP2023526412A (ja) 情報処理方法、電子装置、及びコンピュータ記憶媒体
Milad et al. Development and deployment of a smartphone application for diagnosing trachoma: Leveraging code-free deep learning and edge artificial intelligence
WO2022190891A1 (ja) 情報処理システム及び情報処理方法
KR102453580B1 (ko) 내시경 검사 중 병변이 발견된 위치에서의 데이터 입력 방법 및 상기 데이터 입력 방법을 수행하는 컴퓨팅 장치
TWI774982B (zh) 醫療資源整合系統、計算機裝置及醫療資源整合方法
KR20210138932A (ko) 귀의 병변에 대한 정보 제공 방법 및 이를 이용한 귀의 병변에 대한 정보 제공용 디바이스
CN115063290B (zh) 图像处理方法、装置、设备、系统及存储介质
WO2023037413A1 (ja) データ取得システムおよびデータ取得方法
US20240223884A1 (en) Image capturing method
RU40704U1 (ru) Автоматизированное иридологическое устройство

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200915

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211222

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220915

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220915

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220927

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221003

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20221202

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20221212