JP2021509298A - 損傷に関連付けられたデータを取得するためのシステム及び方法 - Google Patents

損傷に関連付けられたデータを取得するためのシステム及び方法 Download PDF

Info

Publication number
JP2021509298A
JP2021509298A JP2020530384A JP2020530384A JP2021509298A JP 2021509298 A JP2021509298 A JP 2021509298A JP 2020530384 A JP2020530384 A JP 2020530384A JP 2020530384 A JP2020530384 A JP 2020530384A JP 2021509298 A JP2021509298 A JP 2021509298A
Authority
JP
Japan
Prior art keywords
information
damage
image
input
interactive information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020530384A
Other languages
English (en)
Inventor
エー シアン ネオ,
エー シアン ネオ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tetsuyu Healthcare Holdings Pte Ltd
Original Assignee
Tetsuyu Healthcare Holdings Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tetsuyu Healthcare Holdings Pte Ltd filed Critical Tetsuyu Healthcare Holdings Pte Ltd
Publication of JP2021509298A publication Critical patent/JP2021509298A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本発明は、損傷に関連付けられたデータ、特に、損傷の評価のための損傷画像を取得するための、システム及び方法に関する。本発明の実施形態によれば、損傷に関する情報を記憶するように動作可能な情報システムと、損傷を感知するように動作可能な少なくとも1つのセンサと、センサを制御し、センサからの感知データを取得し、感知データに基づいて損傷に関連付けられたデータを表示するように、動作可能なデバイスと、を備え、損傷に関する情報は、損傷の特徴の感知データを取得するためのセンサを制御するために使用される、損傷に関連付けられたデータを取得するためのシステムが存在する。【選択図】 図1

Description

発明の分野
本発明は、損傷に関連付けられたデータ、特に、損傷の評価のための損傷画像を取得するための、システム及び方法に関する。
下記の本発明の背景の考察は、本発明の理解を容易にすることのみが意図されている。本考察は、言及される材料のいずれも、本発明の優先日時点で、公開された、既知であった、又は、いずれかの管轄における当業者の一般常識の一部であったことの、確認又は承認ではないことを理解されたい。
医療技術における進歩は、様々なタイプの損傷に対して新しい治療法をもたらす手助けとなったが、損傷の正確かつ客観的な評価のための多くの満たされていないニーズが存在する。損傷の回復進捗の間の損傷の客観的な評価は、治療経路の有効性を決定するための根拠であり、最善の治療プランを選択する際に重要である。
しかしながら臨床の場では、通常、こうした評価は不正確、主観的、及び非一貫性である。これは、従来の損傷評価が、通常、定性的及び主観的な視覚的評価に基づくものであり、全体観的、客観的、及び一貫した測定に欠けるためである。特に、損傷の回復進捗の評価のために、損傷の再評価が長期間にわたって必要な場合、視覚的評価の非一貫性は損傷の回復進捗の正確な評価にとって問題である。
加えて、技術の進歩は損傷の評価を向上させたが、現在の技術は依然として、人間の介入、特に熟練した医療スタッフの介入なしに、損傷の自動的な評価を有するための信頼性及び一貫性に欠ける。これは一つには、患者の身体に関する情報及び患者の周囲の環境が損傷の評価に影響を与えるためである。例えば、患者の肌の色が損傷の色と同様の場合、損傷画像に基づいた損傷の評価が正確である可能性は低い。
上記に鑑み、上記の欠点を改善又は克服する、損傷に関連付けられたデータを取得するためのシステム及び方法を探求することが求められている。
本発明は、前述のニーズに少なくとも部分的に対処するシステム及び方法を提供することを探求する。
本明細書全体を通じて、文脈が特に必要としない限り、「備える(comprise)」という用語、或いは「comprises」又は「comprising」のような変形は、示される整数又は整数のグループを包含するが、任意の他の整数又は整数のグループを排除しないことを示唆するものと理解されよう。
さらに、本明細書全体を通じて、文脈が特に必要としない限り、「含む(include)」という用語、或いは「includes」又は「including」のような変形は、示される整数又は整数のグループを包含するが、任意の他の整数又は整数のグループを排除しないことを示唆するものと理解されよう。
技術ソリューションは、損傷に関連付けられたデータを取得するためのシステム及び方法の形で提供される。特にデータは、損傷画像と、サイズ、色、位置、及び体温のような情報と、損傷に関連付けられた臨床情報と、のうちの少なくとも1つを含む。
いくつかの実施形態において、システムは、1つ又は複数の損傷画像(複数可)の形でデータを取得するのに適している。システムは、損傷に関する情報を記憶するように動作可能な情報システムと、損傷を感知するように動作可能な少なくとも1つのセンサと、センサを制御するように、センサからの感知データを取得するように、及び感知データに基づいて損傷に関連付けられたデータを表示するように、動作可能なデバイスと、も備え、損傷に関する情報は、損傷の特徴の感知データを取得するためのセンサを制御するために使用される。
本発明は、機械知能及びリモートに配置可能な熟練した医療スタッフの支援をリアルタイムで使用して、損傷に関連付けられた正確及び適切なデータを取得することによって、損傷評価の正確さ及び効率を向上させることを探求する。特に、機械知能は、教師あり又は教師なしの学習モデルに基づく、1つ又は複数の学習アルゴリズムを含むことができる。
本発明は、損傷評価の間の損傷の露出時間を減少させることをさらに探求する。
本発明の態様によれば、損傷に関する情報を記憶するように動作可能な情報システムと、損傷を感知するように動作可能な少なくとも1つのセンサと、センサを制御するように、センサからの感知データを取得するように、及び感知データに基づいて損傷に関連付けられたデータを表示するように、動作可能なデバイスと、を備え、損傷に関する情報は、損傷の特徴の感知データを取得するためのセンサを制御するために使用される、損傷に関連付けられたデータを取得するためのシステムが存在する。
デバイスは、センサを動作させるために、損傷に関する情報を使用して感知パラメータを設定するように動作可能であることが好ましい。
データは、損傷画像と、サイズ、色、位置、及び体温のような情報と、損傷に関連付けられた臨床情報と、のうちの少なくとも1つを含むことが好ましい。
デバイスは、損傷に関する情報及び感知データを使用して、損傷のインタラクティブ情報を生成するように、並びに、インタラクティブ情報を損傷画像と共に表示するように、動作可能であることが好ましい。
デバイスは、損傷画像の第1の入力又は第1のユーザからのインタラクティブ情報を受信するように、及び、第1の入力に基づいてインタラクティブ情報を修正又は追加するように、動作可能であることが好ましい。
システムは、修正又は追加されたインタラクティブ情報を受信するように、損傷画像の第2の入力又は受信されたインタラクティブ情報を第2のユーザから受信するように、及び、第2の入力に基づいて受信されたインタラクティブ情報を修正又は追加するように動作可能な、リモートデバイスをさらに備えることが好ましい。
第2の入力に基づいて修正又は追加されたインタラクティブ情報は、将来の使用のために情報システムに記憶されることが好ましい。
第1の入力及び第2の入力は、タッチ入力、キー入力、ジェスチャ入力、及び音声入力のうちの少なくとも1つを含むことが好ましい。
デバイスは、少なくとも1つの3Dイメージングセンサによって獲得された3D情報を使用して3D(3次元)再構成情報を生成するように、並びに、損傷画像、生体構造画像、及びインタラクティブ情報のうちの少なくとも1つと共に3D再構成情報を表示するように、動作可能であることが好ましい。
デバイスは、ユーザの入力に基づいて、インタラクティブ情報及び損傷画像のうちの少なくとも1つをトグルするように動作可能であることが好ましい。
デバイスは、複合現実形式で損傷画像にオーバーレイするインタラクティブ情報を表示するように動作可能であることが好ましい。
デバイスは、損傷画像の傍らにインタラクティブ情報を表示するように動作可能であることが好ましい。
デバイスは、損傷の履歴傾向を表示するように動作可能であることが好ましい。
以前の損傷画像の上に現在の損傷画像がオーバーラップされることが好ましい。
インタラクティブ情報は、機械知能が生成した提案を含むことが好ましい。
提案は、損傷の説明及び損傷のための医療用品の情報を含むことが好ましい。
情報システムは、ローカルデータベース及びリモートデータベースのうちの少なくとも1つを備えることが好ましい。
情報システムに記憶された情報は、下記の情報すなわち、損傷情報、患者情報、環境情報、薬剤製品情報、及び機械知能のためのアルゴリズムのうちの少なくとも1つを含むことが好ましい。
センサはデバイスにインストールされることが好ましい。
デバイスは第1のデバイス及び第2のデバイスを備え、センサは第1のデバイスにインストールされ、第1のデバイスは、損傷に関する情報を使用してセンサを制御するように動作可能であり、第2のデバイスは、第1のデバイスから感知データを取得するように、感知データに基づいて損傷に関連付けられたデータを表示するように、損傷に関する情報及び感知データを使用して損傷のインタラクティブ情報を生成するように、並びに、損傷に関連付けられたデータと共にインタラクティブ情報を表示するように、動作可能であることが好ましい。
本発明の別の態様によれば、損傷に関する情報を情報システムに記憶するステップと、少なくとも1つのセンサによって損傷を感知するステップと、デバイスによってセンサを制御するステップと、デバイスにおいてセンサからの感知データを取得するステップと、感知データに基づいて損傷に関連付けられたデータをデバイスに表示するステップと、を含み、損傷に関する情報は、損傷の特徴の感知データを取得するためのセンサを制御するために使用される、損傷に関連付けられたデータを取得するための方法が存在する。
方法は、デバイスによって、センサを動作させるために損傷に関する情報を使用して感知パラメータを設定するステップを、さらに含むことが好ましい。
データは、損傷画像と、サイズ、色、位置、及び体温のような情報と、損傷に関連付けられた臨床情報と、のうちの少なくとも1つを含むことが好ましい。
方法は、デバイスによって、損傷に関する情報及び感知データを使用して、損傷のインタラクティブ情報を生成するステップと、デバイスに、インタラクティブ情報を損傷画像と共に表示するステップと、をさらに含むことが好ましい。
方法は、デバイスによって、損傷画像の第1の入力又は第1のユーザからのインタラクティブ情報を受信するステップと、デバイスによって、第1の入力に基づいてインタラクティブ情報を修正又は追加するステップと、をさらに含むことが好ましい。
方法は、リモートデバイスにおいて、修正又は追加されたインタラクティブ情報を受信するステップと、リモートデバイスにおいて、損傷画像の第2の入力又は受信されたインタラクティブ情報を第2のユーザから受信するステップと、リモートデバイスによって、第2の入力に基づいて受信されたインタラクティブ情報を修正又は追加するステップと、をさらに含むことが好ましい。
第2の入力に基づいて修正又は追加されたインタラクティブ情報は、将来の使用のために情報システムに記憶されることが好ましい。
第1の入力及び第2の入力は、タッチ入力、キー入力、ジェスチャ入力、及び音声入力のうちの少なくとも1つを含むことが好ましい。
デバイスは、少なくとも1つの3Dイメージングセンサによって獲得された3D情報を使用して3D再構成情報を生成するように、並びに、損傷画像、生体構造画像、及びインタラクティブ情報のうちの少なくとも1つと共に3D再構成情報を表示するように、動作可能であることが好ましい。
デバイスは、ユーザの入力に基づいて、インタラクティブ情報及び損傷画像のうちの少なくとも1つをトグルするように動作可能であることが好ましい。
デバイスは、複合現実形式で損傷画像にオーバーレイするインタラクティブ情報を表示するように動作可能であることが好ましい。
デバイスは、損傷画像の傍らにインタラクティブ情報を表示するように動作可能であることが好ましい。
デバイスは、損傷の履歴傾向を表示するように動作可能であることが好ましい。
以前の損傷画像の上に現在の損傷画像がオーバーラップされることが好ましい。
インタラクティブ情報は、機械知能が生成した提案を含むことが好ましい。
提案は、損傷の説明及び損傷のための医療用品の情報を含むことが好ましい。
情報システムは、ローカルデータベース及びリモートデータベースのうちの少なくとも1つを備えることが好ましい。
情報システムに記憶された情報は、下記の情報すなわち、損傷情報、患者情報、環境情報、薬剤製品情報、及び機械知能のためのアルゴリズムのうちの少なくとも1つを含むことが好ましい。
センサはデバイスにインストールされることが好ましい。
デバイスは第1のデバイス及び第2のデバイスを備え、センサは第1のデバイスにインストールされ、第1のデバイスは損傷に関する情報を使用してセンサを制御するように動作可能であり、第2のデバイスは、第1のデバイスから感知データを取得するように、感知データに基づいて損傷に関連付けられたデータを表示するように、損傷に関する情報及び感知データを使用して損傷のインタラクティブ情報を生成するように、並びに、損傷に関連付けられたデータと共にインタラクティブ情報を表示するように、動作可能であることが好ましい。
本発明の他の態様は、本発明の特定の実施形態の下記の説明を添付の図面と共に検討すれば、当業者に明らかとなろう。
次に、添付の図面を参照して本発明を単なる例として説明する。
本発明の実施形態による、情報システム、デバイス、及びリモートデバイスのブロック図である。 本発明の実施形態による、情報システム、デバイス、及びリモートデバイスのフロー図である。 本発明の別の実施形態に従った、情報システム、第1のデバイス、第2のデバイス、及びリモートデバイスのブロック図である。 本発明の別の実施形態に従った、情報システム、第1のデバイス、第2のデバイス、及びリモートデバイスのフロー図である。 本発明の様々な実施形態に従った、創傷画像及び/又はインタラクティブ情報の表示の例を示す図である。 本発明の様々な実施形態に従った、創傷画像及び/又はインタラクティブ情報の表示の例を示す図である。 本発明の様々な実施形態に従った、創傷画像及び/又はインタラクティブ情報の表示の例を示す図である。 本発明の様々な実施形態に従った、インタラクティブ情報の修正の例を示す図である。 本発明の様々な実施形態に従った、インタラクティブ情報の修正の例を示す図である。 本発明の様々な実施形態に従った、3D再構成情報を示すインターフェースの例を示す図である。 本発明の様々な実施形態に従った、3D再構成情報を示すインターフェースの例を示す図である。 本発明の様々な実施形態に従った、3D再構成情報を示すインターフェースの例を示す図である。 本発明の様々な実施形態に従った、3D再構成情報を示すインターフェースの例を示す図である。 本発明の様々な実施形態に従った、3D再構成情報を示すインターフェースの例を示す図である。 本発明の様々な実施形態に従った、インタラクティブモードのインターフェースの例を示す図である。 本発明の様々な実施形態に従った、インタラクティブモードのインターフェースの例を示す図である。 本発明の様々な実施形態に従った、インタラクティブモードのインターフェースの例を示す図である。 本発明の様々な実施形態に従った、インタラクティブモードのインターフェースの例を示す図である。 本発明の様々な実施形態に従った、インタラクティブモードのインターフェースの例を示す図である。
本発明の他の配置が可能であり、したがって添付の図面は、本発明の前述の説明の一般性に優先するものと理解されるべきではない。
発明の実施形態の説明
図1は、本発明の実施形態による、情報システム、デバイス、及びリモートデバイスのブロック図を示す。損傷は、創傷、あざ、擦り傷、骨折、及び/又は、前述の損傷のうちの2つ以上の組合せを含むことができるが、限定されないことを理解されたい。
本発明の実施形態によれば、損傷に関連付けられたデータを取得するためのシステムが存在する。データは、例えば損傷画像、例えば創傷画像の形とすることができる。システムは、情報システム100及び少なくとも1つのデバイス200を備える。システムは、少なくとも1つのリモートデバイス300をさらに備えることができる。
いくつかの実施形態において、情報システム100は、デバイス自体のローカルデータベース、例えば、デバイス200、リモートデバイス300、又は他のデバイスの、ローカルデータベースを含むことができる。代替として、情報システム100は、デバイス200と同じ位置に配置され、ローカルエリアネットワークを介して接続された、構内サーバとすることができる。いくつかの実施形態において、情報システム100は、インターネット通信又は任意の他のタイプの通信を介してデバイス200又はリモートデバイス300に接続される、リモートサーバ又はクラウドサーバとすることができる。
情報システム100は、異なる機能のサービスを提供する少なくとも1つのデータベース、又は各々が特定の機能のサービスを提供する複数のデータベースを備える。例えば、情報システム100は、創傷モデルデータベースのような損傷データベース110、患者情報データベース120、製品データベース130、及びアルゴリズムデータベース140を備えることができる。したがって情報システム100は、1人又は複数の患者、及び特定の創傷評価のために創傷画像を取得するためのコンテキストを提供するための環境に関する、特定及び全体観的情報を記憶する。
創傷モデルデータベース110は、創傷の物理的属性、例えば、サイズ、色、画像、位置、及び体温と、臨床情報、例えば疾患プロファイル及び相関情報とを含む。
患者情報データベース120は、下記の、患者の健康状態の履歴データ、アレルギー関連情報、疾患履歴、薬剤履歴、バイタルサイン、物理的属性、体温、皮膚状態、身体マップのような生体構造関連情報、及び患者の身体の3Dモデルという、患者に関するデータのうちの少なくとも1つを含む。患者情報データベース120は、患者のいる部屋の状態、部屋の地図、及び、家具のような物体に関する情報及び/又はモデルのような、患者の環境情報をさらに含むことができる。部屋の状態は、照明、温度、及び湿度を含むことができるが、限定されず、家具に関する情報及び/又はモデルは、ベッド、椅子、及びテーブルの情報を含むことができるが、限定されない。
患者情報データベース120は、周期的又は非周期的に(例えば、オンデマンドで)更新可能であることを理解されたい。例えば、患者情報データベース120は、リアルタイムで患者のバイタルサインを更新することができる。患者のバイタルサインは、デバイス200、リモートデバイス300、又は、バイタルサイン感知デバイスのような他のデバイスを介して感知可能である。代替として、患者のバイタルサインは、ユーザによって手動で入力可能である。代替として、バイタルサイン情報は、他のデータベースから、例えば患者のバイタルサインの履歴データを記憶する電子医療記録から、取得可能である。
製品データベース130は、製品の在庫情報と、製品の価格及び/又は性能に関する情報と、製品に関する臨床情報と、のうちの少なくとも1つを含む。製品は医療用品を含むことができるが、限定されない。
アルゴリズムデータベース140は、データ処理アルゴリズム、ソフトウェア及び/又はハードウェア構成要素についての制御アルゴリズム、創傷評価ツール及び/又はアルゴリズム、並びに分析アルゴリズムのうちの少なくとも1つを含む。データ処理アルゴリズムは、画像処理アルゴリズムを含むことができる。
患者及び環境に関する情報に基づき、アルゴリズムは、感知に使用されるべき感知パラメータを調節及び調整するために利用される。情報に基づいた損傷の3D測定及びカラー画像処理の目的で、特定の画像処理アルゴリズムが選択及び利用される。
アルゴリズムは、損傷の評価方法論を決定するために使用される。各アルゴリズムは、対応する損傷を評価するために使用される。例えば、患者情報、病歴、及び/又は損傷情報に基づいて特定のタイプの「損傷A」を評価するために、「アルゴリズムA」が使用される。
患者に関する情報、センサデータ、機械知能又はユーザの入力によって行われた評価、及び医療用製品情報に基づいて、アルゴリズムは、損傷の管理に使用される介入又は薬剤に関する提案を提供するために利用される。
情報システム100は、少なくとも1つのコントローラ(図示せず)を備える。コントローラは、人工知能(AI)モジュールを含むことができる。コントローラは、創傷に関連付けられた情報を生成するために1つ又は複数のアルゴリズムを利用するために、アルゴリズムデータベース140との信号/データ通信において配置可能である。
システムは、アプリケーションプロバイダ(図示せず)をさらに含むことができる。アプリケーションプロバイダは、説明される本発明に関する少なくとも1つのデバイスにアプリケーション又はサービスを提供する。アプリケーションは少なくとも1つのデバイスにインストール可能である。アプリケーションプロバイダは、アプリケーションサーバ又はアプリケーションデータベースのうちの少なくとも1つを含むことができる。アプリケーションプロバイダは、情報システム100からリモートに、又は独立して配置可能である。いくつかの実施形態において、アプリケーションプロバイダは情報システム100とすることができる。アプリケーションは、デバイス200及びリモートデバイス300のうちの少なくとも1つで実行可能である。
少なくとも1つのデバイス、例えばデバイス200及びリモートデバイス300は、互いに、及び情報システム100と通信可能である。図1に示されるように、デバイス200は患者のサイトにあることが可能であり、リモートデバイス300はリモートサイトにあることが可能である。図1に示されるように、デバイス200及びリモートデバイス300は、下記のデバイス、すなわち携帯電話及びタブレットのようなモバイルデバイス、頭部装着デバイス、ロボットプラットフォーム、ラップトップ、及びコンピュータという、デバイスを含むことができるが、限定されないことを理解できよう。
少なくとも1つのセンサ(図示せず)が、損傷、例えば創傷を、創傷の特徴の測定のために感知するように動作可能である。デバイス200はセンサを制御し、センサから感知データを取得する。情報システム100に記憶された創傷に関する情報は、創傷の特徴の感知データを取得するようにセンサを制御するために使用される。
したがってデバイス200は、創傷、例えば、創傷のエリア及び色のような特徴に焦点を合わせたイメージング情報に関連付けられたデータを取得することができる。創傷の特徴は、対象となる創傷の特徴を含むことができるが、限定されない。例えば、創傷の左側の回復が遅い場合、デバイス200は、創傷の左側に関する感知データを、より詳細に取得するようにセンサを制御することができる。別の例として、患者の皮膚の色が創傷の色と同様である場合、デバイス200は、より多くの色を有する感知データを取得するようにセンサを制御することができる。
センサは、2D(2次元)イメージングセンサ及び3Dイメージングセンサを含むことができるが、限定されない。センサは、デバイス200に取り付け又は装着することができる。創傷を感知するために、デバイス200のカメラ又は赤外線センサが利用可能であることを理解されたい。他のセンサ又は感知様式、例えば生化学センサ、熱センサ、及び超音波センサは、創傷の存在、並びに創傷の特徴を感知するために、個別に又は組み合わせて利用可能であることを理解されたい。
代替として、センサはデバイス200の外部にあり、取り付け又は装着されないことがある。例えばセンサは、ユーザ、例えば患者、臨床医、及び非臨床医の、身体に取り付けることができる。別の例では、センサは、ロボット機構、或いはベッド又はスタンドのような環境に取り付けるか、又はインストールすることができる。
図2は、本発明の実施形態による、情報システム、デバイス、及びリモートデバイスのフロー図を示す。
情報システム100及び少なくとも1つのデバイス200を備える、創傷評価のためのシステムが存在する。システムは、少なくとも1つのリモートデバイス300をさらに備えることができる。デバイス200は、損傷、例えば創傷を感知するための、少なくとも1つのセンサを備える。デバイス200は患者のサイトにあることが可能であり、リモートデバイス300はリモートサイトにあることが可能である。
ユーザは、臨床医、及び、介護者、患者の家族、患者本人、又は、創傷状態の評価を支援するためにデバイス200若しくはリモートデバイス300を使用する必要がある任意の他の人物のような、非臨床医を含むことができることを理解されたい。例えば、患者のサイトにいる患者を含む非臨床医が存在可能であり、リモートサイトにいる臨床医が存在可能である。別の例では、臨床医、及び患者のサイトにいる患者を含む非臨床医が存在し、また、リモートサイトにいる臨床医が存在する。臨床医及び非臨床医は、患者のサイトにおいて創傷の状態のキャプチャを支援するためにデバイス200を使用することができ、臨床医は、リモートサイトにおいて臨床プロトコルに基づいて創傷状態を評価することができる。
第1に、情報システム100は、損傷、例えば創傷に関する情報を送信する(S110)。上述のように、情報システム100は創傷に関する情報を記憶する。上述のように、情報は、以下の情報すなわち、創傷情報、患者情報、環境情報、創傷薬剤製品情報、及び、画像処理アルゴリズム、パターン認識アルゴリズム、学習アルゴリズム、制御アルゴリズム、損傷評価アルゴリズムのような、機械知能の実装のためのアルゴリズム等といった、情報のうちの少なくとも1つを含む。デバイス200は、情報システム100から創傷に関する情報を受信する。デバイス200は、インターネット通信、Bluetooth(登録商標)通信、近視野通信(NFC)、ローカルエリアネットワーク通信等のうちの少なくとも1つを介して、情報システム100から情報を受信することができることを理解されたい。
デバイス200は、情報を使用してセンサを制御する(S120)。デバイス200は、センサを動作させるために情報を使用して感知パラメータを設定するように動作可能である。患者、環境、又は損傷に関する情報に基づいて、アルゴリズムは、感知に使用されるべき感知パラメータを調節及び調整するために利用される。例えば、患者、環境、及び損傷のタイプ、例えば創傷のタイプの、物理的属性に基づいて、デバイス200のコントローラは、創傷の特定の属性、並びに感知に使用されるべき感知パラメータを、キャプチャするために使用されるべき1つ又は複数のセンサを決定することができる。いくつかの実施形態において、機械制御可能機構を1つ又は複数のセンサに取り付けることができる。この場合、患者、環境、及び損傷に関する情報に基づいて、感知のための機構を取り付けたセンサを制御するように制御パラメータを設定することができる。
情報に基づいた損傷の3D測定及びカラー画像処理の目的で、特定の画像処理アルゴリズムが利用される。複数のセンサが存在する場合、デバイス200は、情報に基づいて複数のセンサのうちの少なくとも1つのセンサを制御することができる。その後、センサは、創傷の特徴の測定のために、感知パラメータ、特に創傷の特徴に基づいて、創傷を感知するように動作可能である(S130)。
デバイス200は、感知データを取得又は受信することができる(S140)。前述のように、デバイス200は、創傷の特徴の感知データをセンサから取得又は受信することができる。
デバイス200は、創傷に関する情報及び感知データを使用して、創傷についてのインタラクティブ情報を生成することができる(S150)。インタラクティブ情報は、デバイス200のインタラクティブインターフェースから提供される、機械知能が生成した提案を含むことができる。提案は、創傷の説明、及び創傷についての医療用品(「製品」とも呼ばれる)の情報を、含む。インタラクティブ情報は、測定の基準フレームのような非提案情報も含むことができることを理解されたい。創傷を評価する際にユーザを支援するために、インタラクティブ情報を、創傷の測定結果を示す3D再構成情報又は創傷の3Dフィーチャの形でユーザに提供することができることを理解されたい。インタラクティブ情報は、下記で説明するように、センサ駆動型評価及びユーザの入力に基づいて、画像オーバーレイの形で、リアルタイムでユーザに提供可能である。
いくつかの実施形態において、デバイス200は、創傷に関連付けられたデータ、例えば創傷画像を表示する(S160)。データは、創傷画像と、サイズ、色、位置、及び温度のような情報と、創傷に関連付けられた臨床情報と、のうちの少なくとも1つを含む。デバイス200は、創傷画像と共にインタラクティブ情報をさらに表示する(S170)。ここで、デバイス200は、創傷画像に関するインタラクティブ情報の表示を制御することができる。例えばデバイス200は、ユーザのプリファレンス、例えばユーザの入力に基づいて、インタラクティブ情報及び創傷画像のうちの少なくとも1つをトグルするように動作可能である。
いくつかの実施形態において、デバイス200は創傷画像にオーバーレイするインタラクティブ情報を表示するように動作可能である。ここで、インタラクティブ情報は、カラー画像として表示される。別の実施形態では、デバイス200は、創傷画像の傍らに、創傷の感知データに従った創傷外観の説明に関連する、インタラクティブ情報を表示するように動作可能である。この点で、ユーザは、表示されるべき参照画像を制御することができる。例えばユーザは、タッチ入力、キー入力、ジェスチャ入力、及び音声入力のうちの少なくとも1つを介して、参照画像の異なるセットを選択することができる。
デバイス200は、1つ又は複数の3Dイメージングセンサから獲得した3D情報を使用して、3D再構成情報を生成するように動作可能であることを理解されたい。デバイス200は、3D再構成情報、例えば3D再構成画像を、仮想現実モードで表示するようにさらに動作可能である。3D再構成画像は、純粋な仮想3D環境で投影可能である。仮想現実モードにおいて、ユーザは、3D環境で3D再構成画像と対話することができる。仮想現実モードは、ユーザ体験の拡張のためのインタラクティブ動作に使用可能である。
次に、デバイス200は、インタラクティブ情報に関する入力(以下、「第1の入力」と呼ぶ)又は創傷画像を、ユーザ(以下、「第1のユーザ」と呼ぶ)から受信する(S180)。いくつかの実施形態において、第1のユーザは、介護者、患者の家族、患者本人、又は任意の他の人物のような、非臨床医を含むことができる。別の実施形態において、第1のユーザは臨床医を含むことができる。
その後、デバイス200は、第1の入力に基づいてインタラクティブ情報を修正することができる(S190)。デバイス200は、インタラクティブ情報を削除すること、又は新しいインタラクティブ情報を追加することができることを理解されたい。
デバイス200は、修正又は追加されたインタラクティブ情報(以下、「第1の修正されたインタラクティブ情報」と呼ぶ)を、情報システム100に送信する(S200)。情報システム100は、創傷についての第1の修正されたインタラクティブ情報を記憶することができる。情報システム100は、第1の修正されたインタラクティブ情報をリモートデバイス300に送信することができる(S210)。ここで、創傷情報、患者情報、環境情報、創傷薬剤製品情報、及び機械知能のためのアルゴリズムのような情報を、リモートデバイス300に送信することができる。
リモートデバイス300は、第1の修正されたインタラクティブ情報を及び/又は創傷画像を表示するように動作可能である。ここで、リモートデバイス300は、創傷画像に関する第1の修正されたインタラクティブ情報の表示を制御すること、例えば、第2のユーザのプリファレンスに基づいて、インタラクティブ情報及び創傷画像のうちの少なくとも1つをトグルすることができる。
リモートデバイス300は、複合現実形式で創傷画像にオーバーレイする第1の修正されたインタラクティブ情報を表示するように動作可能である。ここで、第1の修正されたインタラクティブ情報は、カラー画像として表示される。別の実施形態において、リモートデバイス300は、創傷画像の傍らに、創傷の感知データに従った創傷外観の説明に関連する、第1の修正されたインタラクティブ情報を表示するように動作可能である。この点で、ユーザ(以下、「第2のユーザ」と呼ぶ)は、表示されるべき参照画像を制御することができる。例えば第2のユーザは、タッチ入力、キー入力、ジェスチャ入力、及び音声入力のうちの少なくとも1つを介して、参照画像の異なるセットを選択することができる。
別の実施形態において、リモートデバイス300は、1つ又は複数の3Dイメージングセンサから獲得した3D情報を使用して、3D再構成情報を生成するように動作可能である。リモートデバイス300は、3D再構成情報、例えば3D再構成画像を、仮想現実モードで表示するようにさらに動作可能である。3D再構成画像は、純粋な仮想3D環境で投影可能である。仮想現実モードにおいて、ユーザは、3D環境で3D再構成画像と対話することができる。仮想現実モードは、ユーザ体験の拡張のためのインタラクティブ動作に使用可能である。
次に、リモートデバイス300は、第1の修正されたインタラクティブ情報に関する入力(以下、「第2の入力」と呼ぶ)又は創傷画像を、ユーザから受信する(S220)。いくつかの実施形態において、第2のユーザは、患者からリモートにいる臨床医を含むことができる。別の実施形態において、第2のユーザは、介護者、患者の家族、又は患者からリモートにいる任意の他の人物のような、非臨床医を含むことができる。
その後、リモートデバイス300は、第2の入力に基づいて第1の修正されたインタラクティブ情報を修正することができる(S230)。リモートデバイス300は、第1の修正されたインタラクティブ情報を削除すること、又は新しいインタラクティブ情報を追加することができることを理解されたい。
リモートデバイス300は、修正又は追加されたインタラクティブ情報(以下、「第2の修正されたインタラクティブ情報」と呼ぶ)を、情報システム100に送信する(S240)。情報システム100は、第2の修正されたインタラクティブ情報を、将来の分析のための情報として記憶することができる。
リモートデバイス300の目的は、位置及び距離の制約なしに遠くからの評価を実行及び監視するための手段を、第2のユーザ、例えばリモートサイトにいる臨床医に提供することである。第2のユーザは、リモートサイトにいる第1のユーザ、例えば非臨床医によって行われた評価を、修正することができる。
説明される本発明によって、創傷に関する情報を、リアルタイムでの、又はオンデマンド形式での修正及び/又は評価のために、ローカル及びリモートの両方で記憶することが可能となる。
説明される本発明は、リモート通信及び評価のために、テレプレゼンス及び他のリモートセンサのような遠隔治療インフラストラクチャと、シームレスに統合可能であることを理解されたい。
図3及び図4は、本発明の別の実施形態に従った、情報システム、第1のデバイス、第2のデバイス、及びリモートデバイスのブロック図及びフロー図を示す。
図1と共に上述したように、システムは、情報システム100、少なくとも1つのデバイス200、及び少なくとも1つのリモートデバイス300を備える。デバイス200は、少なくとも1つの第1のデバイス210及び少なくとも1つの第2のデバイス220を備える。
第1のデバイス210、第2のデバイス220、及びリモートデバイス300は、互いに、及び情報システム100と通信可能である。センサ(図示せず)は、第1のデバイス210にインストールされるか、又は取り付けられる。
図3に示されるように、第1のデバイス210は患者のサイトにあることが可能であり、リモートデバイス300はリモートサイトにあることが可能である。いくつかの実施形態において、第2のデバイス220は患者のサイトにあることが可能である。代替として、第2のデバイス220はリモートサイトにあることが可能である。第1のデバイス210、第2のデバイス220、及びリモートデバイス300は、携帯電話及びタブレットのようなモバイルデバイス、頭部装着デバイス、ロボットプラットフォーム、ラップトップ、及びコンピュータという、デバイスを含むことができるが、限定されないことを理解できよう。
図4に示されるように、情報システム100は、損傷、例えば創傷に関する情報を、第2のデバイス220に送信する(S110)。第2のデバイス220は、創傷に関する情報を使用して第1のデバイス210を制御する(S120)。第2のデバイス220は、第1のデバイス210を動作させるために、創傷に関する情報を使用して感知パラメータを設定するように動作可能であり、第1のデバイス210がセンサを制御することになる。その後、第1のデバイス210のセンサは、創傷の特徴の測定のために、創傷、特に創傷の特徴を感知するように動作可能である(S130)。第1のデバイス210は、創傷の特徴の感知データを取得すること、及び、感知データに基づいて、創傷に関連付けられたデータ、例えば創傷画像を表示することができる。データは、創傷画像と、サイズ、色、位置、及び体温のような情報と、創傷に関連付けられた臨床情報と、のうちの少なくとも1つを含む。
第1のデバイス210は、センサから取得した感知データを第2のデバイス220に送信することができる(S140)。第2のデバイス220は、情報及び感知データを使用して、創傷についてのインタラクティブ情報を生成することができる(S150)。インタラクティブ情報は、第2のデバイス220のインタラクティブインターフェースから提供される、機械知能が生成した提案を含むことができる。インタラクティブ情報は、測定の基準フレームのような非提案情報も含むことができることを理解されたい。
その後、第2のデバイス220は創傷画像を表示する(S160)。第2のデバイス220は、創傷画像と共にインタラクティブ情報をさらに表示する(S170)。ここで、第2のデバイス220は、創傷画像に関するインタラクティブ情報の表示を制御することができる。
次に、第2のデバイス220は、インタラクティブ情報に関する入力(以下、「第1の入力」と呼ぶ)又は創傷画像を、ユーザ(以下、「第1のユーザ」と呼ぶ)から受信する(S180)。その後、第2のデバイス220は、第1の入力に基づいてインタラクティブ情報を修正することができる(S190)。第2のデバイス220は、インタラクティブ情報を削除すること、又は新しいインタラクティブ情報を追加することができることを理解されたい。
第2のデバイス220は、修正又は追加されたインタラクティブ情報(以下、「第1の修正されたインタラクティブ情報」と呼ぶ)を、情報システム100に送信する(S200)。情報システム100は、創傷についての第1の修正されたインタラクティブ情報を記憶することができる。情報システム100は、第1の修正されたインタラクティブ情報をリモートデバイス300に送信することができる(S210)。ここで、創傷情報、患者情報、環境情報、創傷薬剤製品情報、及び機械知能のためのアルゴリズムのような情報を、リモートデバイス300に送信することができる。
次に、リモートデバイス300は、第1の修正されたインタラクティブ情報又は創傷画像に関する入力(以下、「第2の入力」と呼ぶ)を、ユーザ(以下、「第2のユーザ」と呼ぶ)から受信する(S220)。その後、リモートデバイス300は、第2の入力に基づいて、第1の修正されたインタラクティブ情報を修正することができる(S230)。リモートデバイス300は、第1の修正されたインタラクティブ情報を削除すること、又は新しいインタラクティブ情報を追加することができることを理解されたい。
リモートデバイス300は、修正又は追加されたインタラクティブ情報(以下、「第2の修正されたインタラクティブ情報」と呼ぶ)を、情報システム100に送信する(S240)。情報システム100は、第2の修正されたインタラクティブ情報を、将来の分析のための情報として記憶することができる。
図5から図7は、本発明の様々な実施形態に従った、デバイス200に創傷画像及び/又はインタラクティブ情報を表示する例を示す。図5、図6、及び図7は、リモートデバイス300に適用可能でもあることを理解されたい。
デバイス200は、センサから感知データを取得するように、及び、図5(a)に示すように創傷画像201を表示するように、動作可能である。デバイス200は、情報システム100から取得した情報及び感知データを使用して、創傷についてのインタラクティブ情報を生成するようにさらに動作可能である。
インタラクティブ情報は、デバイス200のインタラクティブインターフェースから提供される、機械知能が生成した提案を含むことができる。インタラクティブ情報は、測定の基準フレームのような非提案情報も含むことができることを理解されたい。
提案は、創傷の説明及び創傷についての医療用品の情報を含む。適用されるべき医療用品の提案は、創傷評価結果、医療用品の在庫情報、及び、情報システム100の製品データベース130に記憶された医療用品の費用対効果のうちの少なくとも1つに基づいて、導出することができる。適用すべき医療用品の提案は、アレルギー、薬剤履歴、及び疾患プロファイルのような患者の情報、並びに/又は、情報システム100の患者情報データベース120に記憶された、温度及び湿度のような環境情報に基づいて、導出することもできる。
いくつかの実施形態において、インタラクティブ情報は、画像オーバーレイの形でユーザに提供することができる。この点で、図5(b)に示されるように、デバイス200は、創傷の説明202、及び、複合現実形式で創傷画像201にオーバーレイする創傷についての医療用品の情報203を表示する。図には示されていないが、創傷の説明202及び創傷についての医療用品の情報203は、カラー画像として表示することができる。
別の実施形態において、図5(c)に示されるように、デバイス200は、創傷の説明202及び創傷についての医療用品の情報203を創傷画像201の傍らに表示するため、創傷画像201は、いずれのインタラクティブ情報によっても覆わない。
図には示されていないが、任意の創傷の説明202及び創傷についての医療用品の情報203を、創傷画像201の傍らにないか、又は創傷画像201にオーバーレイされない、リストのような別のインターフェースに示すことが可能であることを理解されたい。
別の実施形態において、デバイス200は、創傷画像201に関するインタラクティブ情報の表示を制御することができる。例えば、図6(a)及び図6(b)に示されるように、デバイス200は、ユーザのプリファレンス、例えばユーザの入力に基づいて、創傷の説明202、創傷についての医療用品の情報203、及び創傷画像201をトグルするように動作可能である。図には示されていないが、ユーザは、現在の創傷を参照画像と比較するために、臨床文献から創傷の参照画像を示すビューにトグルすることが可能であり、ユーザはより多くの情報に基づいて創傷の状態を評価できるようになる。ユーザが現在の創傷と参照創傷を容易に比較できるように、創傷画像201及び参照画像(複数可)を一緒に、例えば並べて表示することが可能であることを理解されたい。
別の実施形態において、第1のユーザは、創傷の履歴傾向が表示される別のビューにトグルすることができる。この点で、デバイス200は、創傷の履歴傾向を表示するように動作可能である。例えば、図7に示されるように、以前の創傷画像201に現在の創傷画像201がオーバーラップされる。図には示されていないが、デバイス200は、複数の以前の創傷画像を、創傷の履歴傾向に関連した説明と共に表示するように動作可能である。別の実施形態において、デバイス200は、創傷の状態の変化、例えばサイズ及び色を表示するために、創傷画像の図表を表示するように動作可能である。
図には示されていないが、測定のための3Dマーカ又は基準フレームを含む他のインタラクティブフィーチャを、デバイス200に表示することができる。また、創傷画像201及びインタラクティブ情報は、3Dインターフェースの形で表示されることも理解されたい。例えばデバイス200は、1つ又は複数の3Dイメージングセンサから獲得した3D情報を使用して、3D再構成情報を生成するように動作可能である。デバイス200は、3D再構成情報、例えば3D再構成画像を、仮想現実モードで表示するようにさらに動作可能である。3D再構成画像は、純粋な仮想3D環境で投影可能である。仮想現実モードにおいて、ユーザは、3D環境で3D再構成画像と対話することができる。仮想現実モードは、ユーザ体験の拡張のためのインタラクティブ動作に使用可能である。
図8及び図9は、本発明の様々な実施形態に従った、インタラクティブ情報の修正の例を示す。
図8(a)及び図8(b)に示されるように、デバイス200は、インタラクティブ情報、例えば創傷の説明202及び創傷についての医療用品の情報203と共に、創傷画像201を表示する。ここで、創傷の説明202及び創傷についての医療用品の情報203は、デバイス200によって生成される。図には示されていないが、創傷の説明202及び創傷についての医療用品の情報203は、情報システム100のような任意の他のデバイスによって生成されることを理解されたい。
第1のユーザが、デバイス200によって生成されたインタラクティブ情報が正しくないと考えた場合、第1のユーザは、インタラクティブ情報を修正することができる。ここで、第1のユーザは、介護者、患者の家族、患者本人、又は任意の他の人物のような、非臨床医を含むことができる。別の実施形態において、第1のユーザは臨床医を含むことができる。
図8(c)に示されるように、デバイス200は、第1のユーザから創傷画像201の入力204(以下、「第1の入力」と呼ぶ)を受信する。図には示されていないが、デバイス200は、創傷の説明202及び/又は創傷についての医療用品の情報203の第1の入力204を受信するようにも動作可能であることを理解されたい。
第1の入力204の目的は、創傷に関するインタラクティブ情報を修正又は追加することである。このようにして、第1のユーザは、デバイス200によって行われた評価を修正することができる。第1の入力204は、タッチ入力、キー入力、ジェスチャ入力、及び音声入力のうちの少なくとも1つを含むことを理解されたい。
その後、デバイス200は、第1の入力204に基づいてインタラクティブ情報を修正又は追加することができる。図8(d)に示されるように、デバイス200は、第1の入力204に基づいてインタラクティブ情報(以下、「第1の修正されたインタラクティブ情報」と呼ぶ)を再生成すること、及び、第1の修正された創傷の説明205及び第1の修正された医療用品の情報206を表示することができる。図には示されていないが、第1のユーザは、第1の修正された創傷の説明205及び/又は第1の修正された医療用品の情報206を手動で入力することができ、デバイス200は同様の内容を表示することができることを理解されたい。
その後、デバイス200は、第1の修正された創傷の説明205及び/又は第1の修正された医療用品の情報206を、情報システム100に送信することが可能であるため、情報システム100は同じ内容をリモートデバイス300に提供することになる。
いくつかの実施形態において、第1のユーザが、デバイス200によって生成されたインタラクティブ情報が正しいか、又はインタラクティブ情報を修正する必要がないと考えた場合、デバイス200は、創傷の説明202及び創傷についての医療用品の情報203を情報システム100に送信することができる。代替として、デバイス200は、インタラクティブ情報に修正はない旨を通知する命令を、情報システム100に送信することができる。
次に、図9(a)に示されるように、リモートデバイス300は、第1の修正された創傷の説明205及び/又は第1の修正された医療用品の情報206を受信し、同じ内容を表示する。第1の入力204は、創傷画像201と共に表示可能であるため、第2のユーザは第1の入力204を識別することができる。
第2のユーザが、第1のユーザによって修正された第1の修正されたインタラクティブ情報が正しくないと考えた場合、第2のユーザは、第1の修正されたインタラクティブ情報を修正することができる。ここで、第2のユーザは、リモートサイトにいる臨床医を含むことができる。別の実施形態において、第2のユーザは、介護者、患者の家族、又はリモートサイトにいる任意の他の人物のような、非臨床医を含むことができる。
図9(b)に示されるように、リモートデバイス300は、第2のユーザから創傷画像201の入力207(以下、「第2の入力」と呼ぶ)を受信する。図には示されていないが、リモートデバイス300は、第1の修正された創傷の説明205及び/又は第1の修正された医療用品の情報206の第2の入力207を受信するようにも動作可能であることを理解されたい。
第2の入力の目的は、創傷に関する第1の修正されたインタラクティブ情報を修正又は追加することである。このようにして、第2のユーザは、デバイス200又は第1のユーザによって行われた評価を修正することができる。第2の入力207は、タッチ入力、キー入力、ジェスチャ入力、及び音声入力のうちの少なくとも1つを含むことを理解されたい。
その後、リモートデバイス300は、第2の入力207に基づいてインタラクティブ情報を修正又は追加することができる。図9(c)に示されるように、リモートデバイス300は、第2の入力207に基づいてインタラクティブ情報(以下、「第2の修正されたインタラクティブ情報」と呼ぶ)を再生成すること、及び第2の修正された創傷の説明208及び第2の修正された医療用品の情報209を表示することができる。図には示されていないが、第2のユーザは、第2の修正された創傷の説明208及び/又は第2の修正された医療用品の情報209を手動で入力することができ、リモートデバイス300は、同じ内容を表示することができることを理解されたい。
情報システム100は、第2の修正されたインタラクティブ情報を、将来の分析のための情報として記憶することができる。第2の修正されたインタラクティブ情報は、デバイス200又は任意の他の患者のデバイスに送信することができる。
図10から図14は、本発明の様々な実施形態に従った、3D再構成情報を示すインターフェースの例を示す。
センサは、2Dイメージングセンサ及び/又は3Dイメージングセンサを含むことができるが、限定されない。いくつかの実施形態において、イメージングセンサはデバイス200に取り付け又は装着することができる。イメージングセンサは、カメラ及び/又は赤外線センサを含むことができるが、限定されないことを理解されたい。
図10に示されるように、2Dイメージングセンサによって生成されたライブプレビュー画像211を表示することができる。2Dイメージングセンサ、例えば2Dカメラは、損傷、例えば創傷の2D画像をキャプチャすることができる。創傷の3D情報は、3Dイメージングセンサにインストールされたアルゴリズムを使用するモーションを伴う、3Dスキャナ、ステレオカメラシステム、又はモノカメラシステムのような、1つ又は複数の3Dイメージングセンサを使用することによって、例えば点群等のデータ点のセットの形で獲得可能である。これらのアルゴリズムは、visual simultaneous localization and mapping(「Visual SLAM」)アルゴリズムを含むことができる。その後、創傷の3D情報は視覚的に再構成される。3D再構成情報は、複合現実又は仮想現実の形式で表示される。
いくつかの実施形態において、図10に示されるように、創傷の位置の情報に基づいて、生体構造画像218をライブプレビュー画像211又はキャプチャされた2D画像に表示することができる。生体構造画像218は、身体全体、及び/又は、創傷の位置、例えば上半身に関する身体の一部の、生体構造画像を含むことができることを理解されたい。例えば、創傷の位置は仙骨とすることができる。図には示されていないが、創傷の位置は、生体構造画像218の対応する部分をハイライト表示することによって、生体構造画像218を使用して示すことができることを理解されたい。
創傷は、ユーザのプリファレンス又は入力に基づいて、様々な向き及び/又は角度でキャプチャ可能である。向き及び/又は角度を示すアノテーション(annotation)は、ライブプレビュー画像211又はキャプチャされた2D画像と共に表示可能である。例えば、図10に示されるように、患者の頭部の向きは、生体構造画像218を使用して示される。いくつかの実施形態において、生体構造画像218は、創傷の位置に対するコンパスとして使用可能である。例えば、生体構造画像218を使用して、創傷の位置に基づいて患者の頭部の相対位置を示すことができる。生体構造画像218は、動的に表示可能であることを理解されたい。例えば、創傷をキャプチャするために向き及び/又は角度が変更される場合、それに従って生体構造画像218を回転させることができる。生体構造画像218は、固定形式、例えば固定されたサイズ、形状、向き、及び/又は位置で表示可能であることも理解されたい。
いくつかの実施形態において、創傷面とセンサ及び/又はカメラとの間の推定距離を表示することができる。センサ及び/又はカメラは、キャプチャされる身体の部分のような物体の最も近い面からの距離を感知し、その距離を推定距離として利用することができる。例えば、図10に示されるように、身体の面からセンサ及び/又はカメラまでの距離として「40cm」が表示される。
生体構造画像218及び/又は推定距離の表示は、例えば、患者の身体についての特定の向きにおいて、及び既知の距離から、ユーザが創傷の画像を一貫してキャプチャするのを支援することが可能である。一貫した距離から一連の画像をキャプチャすることが可能であるため、一連の画像は一貫した視点から記録することができる。したがってユーザは、創傷のサイズの進捗を一貫してチェック及び比較することができる。
図11は、複合現実形式での3D再構成情報210の例を示す。3Dイメージングセンサから取得される3D再構成情報210は、ライブプレビュー画像211にリアルタイムで重ね合わせることができる。その後、ユーザは、選択エリア213内の創傷の3D再構成情報210をキャプチャするために、1つ又は複数のボタン又はアイコン212を作動させること、例えば押すか又はタッチすることによって、情報システム100と対話することが可能である。いくつかの実施形態において、エリア213はユーザの入力によって選択することができる。別の実施形態において、エリア213は、ユーザの入力なしに自動的に選択することができる。
いくつかの実施形態において、図11に示されるように、生体構造画像218のような支援情報及び/又は目標感知容量のサイズを表示することができる。例えば、図11に示されるように、生体構造画像218は、ライブプレビュー画像211の下部に一色で、例えば白色で表示することができる。生体構造画像218の色は、ライブプレビュー画像211の色に従って変更可能であることを理解されたい。
生体構造画像218は、患者の頭部のような、人の身体の一部の向きを示すことができる。例えば、図11に示されるように、目標感知容量は、30×30×30cm角219に設定可能である。目標感知容量のサイズは、タッチ入力及び/又は音声入力のようなユーザの入力によって調節可能である。タッチ入力はピンチ入力を含むことができる。図には示されていないが、目標感知容量が調節される場合、3D再構成情報210は、3Dイメージングセンサが調節された感知容量を使用することによって、新規に獲得できることを理解されたい。
図12から図14は、仮想現実形式での3D再構成情報210の例を示す。キャプチャされた3D再構成情報210は、仮想現実形式で表示することができる。ユーザのプリファレンス又は入力に基づいて、複数の閲覧モードをトグルすることができる。図12及び図13に示されるように、ユーザは創傷の構造を調べるために、3D再構成情報210を様々な視点から、及び/又は様々な色の範囲で、閲覧することができる。
さらにユーザは、例えば創傷のサイズの測定値又は読み取り値を取得する等の様々な動作を実行するために、3D再構成情報210と対話することができる。図14に示されるように、ユーザは、創傷のエリア214を選択することによって、創傷の外周を測定することができる。情報システム100は、ユーザの入力によって選択された創傷のエリアに基づいて、創傷エリアの外周及び深さを自動的に計算することができる。
いくつかの実施形態において、ユーザは、3D再構成情報210を使用して、2つの選択地点間の長さの測定値又は読み取り値を取得することのような動作を、さらに実行することができる。ユーザは、創傷属性に関して情報システム100を更新するために、インターフェースの特定のボタン又はアイコンを選択することによって、それぞれの測定結果を設定することができる。
図15から図19は、本発明の様々な実施形態に従った、ユーザが損傷の外観を評価するインタラクティブモードのインターフェースの例を示す。インターフェースは、創傷の位置、カテゴリ、外観のタイプ、サイズ、及び/又は匂いのような、創傷属性の情報を表示することができる。インタラクティブモードにおいて、ユーザは、情報システム100から取得又は受信したインタラクティブ情報を使用して、損傷、例えば創傷を、より正確に評価することができる。
図15は、参照情報のウィンドウ216が作成中のインターフェースを示す。例えばウィンドウ216は、インターフェースの右上側に表示することができる。ウィンドウ216のサイズ及び/又は位置は、ユーザのプリファレンス又は入力に基づいて変更可能である。
創傷は、その外観に従っていくつかのタイプに分割することができる。ユーザが、図16に示されるように、インターフェースの創傷の外観のタイプを選択したとき、情報システム100は、創傷の外観が特定のタイプではどのように見えるかをユーザに示すために、参照画像217のようなそれぞれの参照情報をキャプチャされた創傷画像215の横に表示することができる。例えば、ユーザが創傷の外観のタイプとして「上皮形成」を選択したとき、「上皮形成」の参照画像217が表示される。この機能は、ユーザが、タイプに関するより多くの情報を用いた決定するのを助けることができる。これは、例えば非臨床医のような経験の浅いユーザに役立つ。
ユーザが外観のタイプとして「肉芽形成」を選択したとき、図17に示されるように、参照画像217は対話式に変更される。ユーザが外観のタイプとして「かさぶた」を選択したとき、図18に示されるように、参照画像217は対話式に変更される。ユーザが外観のタイプとして「壊死」を選択したとき、図19に示されるように、参照画像217は対話式に変更される。
説明される本発明には、音声コマンドが使用できることを理解されたい。音声コマンドの例は以下の通りである。
1)感知コマンド:例えば「写真を撮影」、「スキャンを開始」、「エリアを拡大」、「エリアを縮小」、「近づいて」、「離れて」、「右」、「左」、「上」、「下」等
2)異なるビュー間でトグルするコマンド:例えば「創傷履歴を示す」、「創傷参照を示す」、「3Dビューを示す」、「創傷属性を示す」等
3)記録及び口述機能のためのコマンド
当業者であれば、前述の特徴の代替又は置換ではなく、変形及び組合せは、本発明の所期の範囲内にあるさらなる実施形態を形成するように組合せ可能であることを理解されたい。

Claims (40)

  1. 損傷に関連付けられたデータを取得するためのシステムであって、
    損傷に関する情報を記憶するように動作可能な情報システムと、
    前記損傷を感知するように動作可能な少なくとも1つのセンサと、
    前記センサを制御し、前記センサからの感知データを取得し、前記感知データに基づいて前記損傷に関連付けられた前記データを表示するように、動作可能なデバイスと、
    を備え、
    前記損傷に関する前記情報は、前記損傷の特徴の前記感知データを取得するための前記センサを制御するために使用される、
    システム。
  2. 前記デバイスが、前記センサを動作させるために前記損傷に関する前記情報を使用して感知パラメータを設定するように動作可能である、請求項1に記載のシステム。
  3. 前記データが、損傷画像と、サイズ、色、位置、及び体温のような情報と、前記損傷に関連付けられた臨床情報と、のうちの少なくとも1つを含む、請求項1に記載のシステム。
  4. 前記デバイスが、前記損傷に関する前記情報及び前記感知データを使用して前記損傷のインタラクティブ情報を生成し、前記インタラクティブ情報を前記損傷画像と共に表示するように、動作可能である、請求項3に記載のシステム。
  5. 前記デバイスが、前記損傷画像の第1の入力又は第1のユーザからの前記インタラクティブ情報を受信し、前記第1の入力に基づいて前記インタラクティブ情報を修正又は追加するように、動作可能である、請求項4に記載のシステム。
  6. 前記修正又は追加されたインタラクティブ情報を受信し、前記損傷画像の第2の入力又は前記受信されたインタラクティブ情報を第2のユーザから受信し、前記第2の入力に基づいて前記受信されたインタラクティブ情報を修正又は追加するように動作可能な、リモートデバイスをさらに備える、請求項5に記載のシステム。
  7. 前記第2の入力に基づいて前記修正又は追加されたインタラクティブ情報が、将来の使用のために前記情報システムに記憶される、請求項6に記載のシステム。
  8. 前記第1の入力及び前記第2の入力が、タッチ入力、キー入力、ジェスチャ入力、及び音声入力のうちの少なくとも1つを含む、請求項6に記載のシステム。
  9. 前記デバイスが、少なくとも1つの3次元イメージングセンサによって獲得された3次元情報を使用して3次元再構成情報を生成し、前記損傷画像、生体構造画像、及び前記インタラクティブ情報のうちの少なくとも1つと共に前記3次元再構成情報を表示するように、動作可能である、請求項4に記載のシステム。
  10. 前記デバイスが、前記ユーザの入力に基づいて、前記インタラクティブ情報及び前記損傷画像のうちの少なくとも1つをトグルするように動作可能である、請求項4に記載のシステム。
  11. 前記デバイスが、複合現実形式で前記損傷画像にオーバーレイする前記インタラクティブ情報を表示するように動作可能である、請求項10に記載のシステム。
  12. 前記デバイスが、前記損傷画像の傍らに前記インタラクティブ情報を表示するように動作可能である、請求項10に記載のシステム。
  13. 前記デバイスが、前記損傷の履歴傾向を表示するように動作可能である、請求項10に記載のシステム。
  14. 以前の損傷画像の上に現在の損傷画像がオーバーラップされる、請求項13に記載のシステム。
  15. 前記インタラクティブ情報が、機械知能が生成した提案を含む、請求項4に記載のシステム。
  16. 前記提案が、前記損傷の説明及び前記損傷のための医療用品の情報を含む、請求項15に記載のシステム。
  17. 前記情報システムが、ローカルデータベース及びリモートデータベースのうちの少なくとも1つを備える、請求項1に記載のシステム。
  18. 前記情報システムに記憶された前記情報が、損傷情報、患者情報、環境情報、薬剤製品情報、及び機械知能のためのアルゴリズムのうちの少なくとも1つを含む、請求項1に記載のシステム。
  19. 前記センサが前記デバイスにインストールされる、請求項1に記載のシステム。
  20. 前記デバイスが第1のデバイス及び第2のデバイスを備え、
    前記センサが前記第1のデバイスにインストールされ、
    前記第1のデバイスが、前記損傷に関する前記情報を使用して前記センサを制御するように動作可能であり、
    前記第2のデバイスが、前記第1のデバイスから前記感知データを取得し、前記感知データに基づいて前記損傷に関連付けられた前記データを表示し、前記損傷に関する前記情報及び前記感知データを使用して前記損傷の前記インタラクティブ情報を生成し、前記損傷に関連付けられた前記データと共に前記インタラクティブ情報を表示するように、動作可能である、
    請求項4に記載のシステム。
  21. 損傷に関する情報を情報システムに記憶するステップと、
    少なくとも1つのセンサによって前記損傷を感知するステップと、
    デバイスによって前記センサを制御するステップと、
    前記デバイスにおいて前記センサからの感知データを取得するステップと、
    前記感知データに基づいて前記損傷に関連付けられた前記データを前記デバイスに表示するステップと、
    を含み、
    前記損傷に関する前記情報が、前記損傷の特徴の前記感知データを取得するための前記センサを制御するために使用される、
    損傷に関連付けられたデータを取得するための方法。
  22. 前記デバイスによって、前記センサを動作させるために前記損傷に関する前記情報を使用して感知パラメータを設定するステップ、
    をさらに含む、請求項21に記載の方法。
  23. 前記データが、損傷画像と、サイズ、色、位置、及び体温のような情報と、前記損傷に関連付けられた臨床情報と、のうちの少なくとも1つを含む、請求項21に記載の方法。
  24. 前記デバイスによって、前記損傷に関する前記情報及び前記感知データを使用して、前記損傷のインタラクティブ情報を生成するステップと、
    前記デバイスに、前記インタラクティブ情報を前記損傷画像と共に表示するステップと、
    をさらに含む、請求項22に記載の方法。
  25. 前記デバイスによって、前記損傷画像の第1の入力又は第1のユーザからの前記インタラクティブ情報を受信するステップと、
    前記デバイスによって、前記第1の入力に基づいて前記インタラクティブ情報を修正又は追加するステップと、
    をさらに含む、請求項24に記載の方法。
  26. リモートデバイスによって、前記修正又は追加されたインタラクティブ情報を受信するステップと、
    前記リモートデバイスによって、前記損傷画像の第2の入力又は前記受信されたインタラクティブ情報を第2のユーザから受信するステップと、
    前記リモートデバイスによって、前記第2の入力に基づいて前記受信されたインタラクティブ情報を修正又は追加するステップと、
    をさらに含む、請求項25に記載の方法。
  27. 前記第2の入力に基づいて前記修正又は追加されたインタラクティブ情報が、将来の使用のために前記情報システムに記憶される、請求項26に記載の方法。
  28. 前記第1の入力及び前記第2の入力が、タッチ入力、キー入力、ジェスチャ入力、及び音声入力のうちの少なくとも1つを含む、請求項26に記載の方法。
  29. 前記デバイスが、少なくとも1つの3次元イメージングセンサによって獲得された3次元情報を使用して3次元再構成情報を生成し、前記損傷画像、生体構造画像、及び前記インタラクティブ情報のうちの少なくとも1つと共に前記3次元再構成情報を表示するように、動作可能である、請求項24に記載の方法。
  30. 前記デバイスが、前記ユーザの入力に基づいて、前記インタラクティブ情報及び前記損傷画像のうちの少なくとも1つをトグルするように動作可能である、請求項24に記載の方法。
  31. 前記デバイスが、複合現実形式で前記損傷画像にオーバーレイする前記インタラクティブ情報を表示するように動作可能である、請求項30に記載の方法。
  32. 前記デバイスが、前記損傷画像の傍らに前記インタラクティブ情報を表示するように動作可能である、請求項30に記載の方法。
  33. 前記デバイスが、前記損傷の履歴傾向を表示するように動作可能である、請求項30に記載の方法。
  34. 以前の損傷画像の上に現在の損傷画像がオーバーラップされる、請求項33に記載の方法。
  35. 前記インタラクティブ情報が、機械知能が生成した提案を含む、請求項24に記載の方法。
  36. 前記提案が、前記損傷の説明及び前記損傷のための医療用品の情報を含む、請求項35に記載の方法。
  37. 前記情報システムが、ローカルデータベース及びリモートデータベースのうちの少なくとも1つを備える、請求項21に記載の方法。
  38. 前記情報システムに記憶された前記情報が、損傷情報、患者情報、環境情報、薬剤製品情報、及び機械知能のためのアルゴリズムのうちの少なくとも1つを含む、請求項21に記載の方法。
  39. 前記センサが前記デバイスにインストールされる、請求項21に記載の方法。
  40. 前記デバイスが第1のデバイス及び第2のデバイスを備え、
    前記センサが前記第1のデバイスにインストールされ、
    前記第1のデバイスが、前記損傷に関する前記情報を使用して前記センサを制御するように動作可能であり、
    前記第2のデバイスが、前記第1のデバイスから前記感知データを取得し、前記感知データに基づいて前記損傷に関連付けられた前記データを表示し、前記損傷に関する前記情報及び前記感知データを使用して前記損傷の前記インタラクティブ情報を生成し、前記損傷に関連付けられた前記データと共に前記インタラクティブ情報を表示するように、動作可能である、
    請求項24に記載の方法。
JP2020530384A 2017-12-28 2018-12-28 損傷に関連付けられたデータを取得するためのシステム及び方法 Pending JP2021509298A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10201710872W 2017-12-28
SG10201710872W 2017-12-28
PCT/SG2018/050636 WO2019132780A1 (en) 2017-12-28 2018-12-28 System and method for obtaining data associated with an injury

Publications (1)

Publication Number Publication Date
JP2021509298A true JP2021509298A (ja) 2021-03-25

Family

ID=67063096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020530384A Pending JP2021509298A (ja) 2017-12-28 2018-12-28 損傷に関連付けられたデータを取得するためのシステム及び方法

Country Status (3)

Country Link
JP (1) JP2021509298A (ja)
CN (1) CN111742374A (ja)
WO (1) WO2019132780A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112716452A (zh) * 2020-12-27 2021-04-30 孙炳伟 伤口创面的红外监测方法、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003281270A (ja) * 2002-03-25 2003-10-03 Menicon Co Ltd 医療物資情報提供方法とそれを用いた医療物資の供給方法
JP2006271840A (ja) * 2005-03-30 2006-10-12 Hitachi Medical Corp 画像診断支援システム
US20080021287A1 (en) * 2006-06-26 2008-01-24 Woellenstein Matthias D System and method for adaptively adjusting patient data collection in an automated patient management environment
JP2010187711A (ja) * 2009-02-13 2010-09-02 Canon Inc カメラ制御装置、カメラ制御システムおよびカメラ制御方法
JP2012519864A (ja) * 2009-03-09 2012-08-30 モロジック リミテッド 画像化方法
JP2014188095A (ja) * 2013-03-26 2014-10-06 Kitasato Institute 遠隔診断システム
JP2016538900A (ja) * 2013-10-08 2016-12-15 リーフ ヘルスケア インコーポレイテッド 褥瘡検出の方法、デバイス及び技術

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015510780A (ja) * 2012-03-02 2015-04-13 ゾール メディカル コーポレイションZOLL Medical Corporation 着用式医療監視および/または処置装置を構成するためのシステムおよび方法
US20160228049A1 (en) * 2015-02-06 2016-08-11 Nxp B.V. Wound monitoring

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003281270A (ja) * 2002-03-25 2003-10-03 Menicon Co Ltd 医療物資情報提供方法とそれを用いた医療物資の供給方法
JP2006271840A (ja) * 2005-03-30 2006-10-12 Hitachi Medical Corp 画像診断支援システム
US20080021287A1 (en) * 2006-06-26 2008-01-24 Woellenstein Matthias D System and method for adaptively adjusting patient data collection in an automated patient management environment
JP2010187711A (ja) * 2009-02-13 2010-09-02 Canon Inc カメラ制御装置、カメラ制御システムおよびカメラ制御方法
JP2012519864A (ja) * 2009-03-09 2012-08-30 モロジック リミテッド 画像化方法
JP2014188095A (ja) * 2013-03-26 2014-10-06 Kitasato Institute 遠隔診断システム
JP2016538900A (ja) * 2013-10-08 2016-12-15 リーフ ヘルスケア インコーポレイテッド 褥瘡検出の方法、デバイス及び技術

Also Published As

Publication number Publication date
WO2019132780A1 (en) 2019-07-04
CN111742374A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
US20210236056A1 (en) System and method for maneuvering a data acquisition device based on image analysis
US11690602B2 (en) Methods and apparatus for tele-medicine
US20220270746A1 (en) Automatically assessing an anatomical surface feature and securely managing information related to the same
US8953837B2 (en) System and method for performing an automatic and self-guided medical examination
US10143373B2 (en) System and method for performing an automatic and remote trained personnel guided medical examination
US20120133640A1 (en) Method and system for combining 2d image and 3d model and computer program product thereof
US10607340B2 (en) Remote image transmission system, display apparatus, and guide displaying method thereof
KR20130053587A (ko) 의료기기 및 이를 이용한 의료영상 디스플레이 방법
JP5951244B2 (ja) 情報端末装置、遠隔測定システム、情報端末装置の制御方法、制御プログラムおよび記録媒体
US10269453B2 (en) Method and apparatus for providing medical information
US20150130841A1 (en) Methods and computing devices to measure musculoskeletal movement deficiencies
KR20200104103A (ko) 초음파 영상과 타 모달리티(modality) 영상을 정합하는 초음파 영상 장치 및 그 동작 방법
CN107945607B (zh) 超声演示系统及装置
JP2021509298A (ja) 損傷に関連付けられたデータを取得するためのシステム及び方法
JP2020081280A (ja) 画像表示制御システム、画像表示システム及び画像解析装置
KR101611484B1 (ko) 의료영상의 제공방법
US20130123646A1 (en) Method and electronic device for remote diagnosis
US9076310B2 (en) Method and electronic device for remote diagnosis
JP2023177885A (ja) 情報処理装置、情報処理システム、および、情報処理方法
KR102138523B1 (ko) 화상진료를 위한 원격촬영 방법 및 시스템, 그리고 이를 위한 단말기 및 단말기 제어방법
KR20130097135A (ko) 의료기기 및 이를 이용한 의료영상 디스플레이 방법
JP2023074879A (ja) 経時変化確認システム、撮像装置、制御方法、並びにプログラム

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20200710

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221007

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221220

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230306

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230530