JP2022129358A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2022129358A JP2022129358A JP2021204385A JP2021204385A JP2022129358A JP 2022129358 A JP2022129358 A JP 2022129358A JP 2021204385 A JP2021204385 A JP 2021204385A JP 2021204385 A JP2021204385 A JP 2021204385A JP 2022129358 A JP2022129358 A JP 2022129358A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- information
- inspection
- examination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 484
- 238000004891 communication Methods 0.000 claims abstract description 20
- 238000007689 inspection Methods 0.000 claims description 109
- 238000000034 method Methods 0.000 claims description 108
- 238000011156 evaluation Methods 0.000 claims description 107
- 208000027418 Wounds and injury Diseases 0.000 claims description 48
- 230000006378 damage Effects 0.000 claims description 48
- 208000014674 injury Diseases 0.000 claims description 48
- 201000010099 disease Diseases 0.000 claims description 43
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 43
- 208000024891 symptom Diseases 0.000 claims description 34
- 208000004210 Pressure Ulcer Diseases 0.000 claims description 30
- 206010011985 Decubitus ulcer Diseases 0.000 claims description 24
- 206010012438 Dermatitis atopic Diseases 0.000 claims description 21
- 201000008937 atopic dermatitis Diseases 0.000 claims description 21
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 16
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 16
- 201000004681 Psoriasis Diseases 0.000 claims description 13
- 208000010201 Exanthema Diseases 0.000 claims description 12
- 208000024780 Urticaria Diseases 0.000 claims description 12
- 230000007812 deficiency Effects 0.000 claims description 12
- 201000005884 exanthem Diseases 0.000 claims description 12
- 206010037844 rash Diseases 0.000 claims description 12
- 206010015150 Erythema Diseases 0.000 claims description 11
- 210000002374 sebum Anatomy 0.000 claims description 11
- 210000003128 head Anatomy 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 9
- 231100000321 erythema Toxicity 0.000 claims description 7
- 238000010191 image analysis Methods 0.000 claims description 6
- 206010063560 Excessive granulation tissue Diseases 0.000 claims description 5
- 206010061218 Inflammation Diseases 0.000 claims description 5
- 206010033733 Papule Diseases 0.000 claims description 5
- 210000002455 dental arch Anatomy 0.000 claims description 5
- 208000002925 dental caries Diseases 0.000 claims description 5
- 210000001126 granulation tissue Anatomy 0.000 claims description 5
- 230000004054 inflammatory process Effects 0.000 claims description 4
- 208000028169 periodontal disease Diseases 0.000 claims description 4
- 230000035945 sensitivity Effects 0.000 claims description 4
- 208000015181 infectious disease Diseases 0.000 claims description 3
- 210000003141 lower extremity Anatomy 0.000 claims description 3
- 210000000214 mouth Anatomy 0.000 claims description 3
- 230000017074 necrotic cell death Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 210000001364 upper extremity Anatomy 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 175
- 230000008569 process Effects 0.000 description 96
- 238000010586 diagram Methods 0.000 description 39
- 238000012790 confirmation Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 19
- 230000009885 systemic effect Effects 0.000 description 15
- 238000003745 diagnosis Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 230000001338 necrotic effect Effects 0.000 description 4
- 206010024438 Lichenification Diseases 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 101100079104 Schizosaccharomyces pombe (strain 972 / ATCC 24843) arm1 gene Proteins 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000282465 Canis Species 0.000 description 1
- 208000035473 Communicable disease Diseases 0.000 description 1
- 201000004624 Dermatitis Diseases 0.000 description 1
- 206010013786 Dry skin Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 208000010668 atopic eczema Diseases 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002757 inflammatory effect Effects 0.000 description 1
- 210000001847 jaw Anatomy 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000037311 normal skin Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 208000017520 skin disease Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Indication In Cameras, And Counting Of Exposures (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Studio Devices (AREA)
Abstract
【課題】 検査用の画像を撮影する撮像装置において、検査に必要となる情報を取得可能となる撮像装置を提供することを目的とする。【解決手段】 検査用の画像を撮影する撮像部と、所定のシステムと通信する通信部とを有する撮像装置であって、検査目的を選択する選択手段と、選択された検査目的に対応する撮像制御情報を、前記通信部を介してシステムから取得する取得手段と検査目的に応じて取得した撮像制御情報に基づいて、撮像条件の設定値、撮像部により撮像される画像と共に表示手段に表示される表示内容、撮像部により撮像された画像に関連付ける情報の項目、の少なくとも1つを設定する制御手段と、を有することを特徴とする。【選択図】 図1
Description
本発明は、例えば医療現場等において、検査用に患者の患部を撮影する撮像装置に関する。
患部の診断を支援するための画像を撮像する医療用の撮像装置がある。特許文献1には、異なる方向を照射する第1光源と第2光源の2つの光源を有する医療用撮像装置について記載があり、通常の撮影状態で患部の撮影を行う第1撮影状態では第1光源を用い、通常の撮影状態とは異なる撮影状態で患部の撮影を行う第2撮影状態では第2光源を用いることが記載されている。
特許文献1においては、通常の撮影状態で患部の撮影を行う第1撮影状態と、通常の撮影状態とは異なる撮影状態で患部の撮影を行う第2撮影状態とで、使用する光源を異ならせている。しかし、撮影者は、患者や検査の種別に適した撮影状態で画像を撮影できずに、検査に必要な情報を取得できない場合がある。
そこで本発明は、検査用の画像を撮影する撮像装置において、検査に必要となる情報を取得可能となる撮像装置を提供することを目的とする。
上述の目的を達成するため、本発明の撮像装置は、
検査用の画像を撮影する撮像部と、所定のシステムと通信する通信部とを有する撮像装置であって、検査目的を選択する選択手段と、選択された検査目的に対応する撮像制御情報を、前記通信部を介してシステムから取得する取得手段と検査目的に応じて取得した撮像制御情報に基づいて、撮像条件の設定値、撮像部により撮像される画像と共に表示手段に表示される表示内容、撮像部により撮像された画像に関連付ける情報の項目、の少なくとも1つを設定する制御手段と、を有することを特徴とする。
検査用の画像を撮影する撮像部と、所定のシステムと通信する通信部とを有する撮像装置であって、検査目的を選択する選択手段と、選択された検査目的に対応する撮像制御情報を、前記通信部を介してシステムから取得する取得手段と検査目的に応じて取得した撮像制御情報に基づいて、撮像条件の設定値、撮像部により撮像される画像と共に表示手段に表示される表示内容、撮像部により撮像された画像に関連付ける情報の項目、の少なくとも1つを設定する制御手段と、を有することを特徴とする。
本発明によれば、検査目的に応じた情報を取得することが可能な撮像装置を提供できる。
〔実施例1〕
本実施形態の医療システムにおいて、医療現場において患者の患部を撮影し、診断を支援する撮像装置について説明する。単一患部を撮影し、その患部に対して診断する褥瘡を例に説明する。
本実施形態の医療システムにおいて、医療現場において患者の患部を撮影し、診断を支援する撮像装置について説明する。単一患部を撮影し、その患部に対して診断する褥瘡を例に説明する。
本実施形態における医療システムの管理対象となる患者は、予め後述する電子カルテシステムに氏名、年齢、性別、既往歴、等が登録されており、患者が一意に特定できる患者管理番号が予め割り振られているものとする。そして、その患者管理番号を示すバーコードがリストバンドとして対応付く患者の腕に装着されているものとする。
また、本実施形態の医療システムにおいて、撮像装置における撮像条件の設定値、画面表示内容(撮影アシスト図形等)、画像付帯情報(検査評価項目等)、を変更制御するための情報を撮像制御情報と記す。撮像制御情報の詳細と撮像装置の制御方法の詳細については、後述する。
また、上述の撮像条件とは、撮像装置における撮像時のパラメータ(設定値)である。具体的には、フォーカス位置、ズーム位置、ISO感度、露出、Tv(シャッタースピード)値、Av(絞り)値、ホワイトバランス、ストロボ発光有無、色調整処理、エッジ強調処理、に関するパラメータ(設定値)とする。
[システム構成]
図1は、本実施形態における医療システムの装置構成を表す医療システム装置構成図である。本実施形態における医療システムでは、下記処理を行う装置で構成されている。
図1は、本実施形態における医療システムの装置構成を表す医療システム装置構成図である。本実施形態における医療システムでは、下記処理を行う装置で構成されている。
本発明である撮像装置101は後述する患者の患部107を撮像して可視光画像データを生成する。以下の説明では、撮像装置101が撮像した画像は可視光画像データとして説明する。また、患者と関連づく患者管理番号などの患者情報を撮像の画像データへ付加し、後述する画像処理装置106へ送信する。また、撮像装置101には市販デジタルカメラと同様に、持ち運び可能な小型の撮像装置であり、撮像した画像の確認が可能な表示デバイスや患者情報の選択などの各種操作のための入出力デバイスが備わっているとする。撮像装置101は、撮影者により電源がONにされたと同時に後述するネットワーク102と接続し、ネットワーク102を介して医療システム内の他の装置と通信できるようになる。そして、電源がOFFされるまで、継続して通信可能な状態を維持する。
画像処理装置106は、撮像装置101と通信し、後述する検査目的と撮像制御情報の送信、検査目的に応じた推論実行とその結果の送信、電子カルテシステム104から患者情報の取得を行う。
電子カルテシステム104は、後述する電子カルテ表示端末103の要求を受け、画像処理装置106、後述する画像管理システム105と通信し、電子カルテ作成および編集処理に伴うデータの送受信を行う。本実施形態における電子カルテシステム104は患者の医療システム内での管理番号、氏名、年齢、性別、既往歴、過去の傷病の体における位置、診断結果、を内部の記憶装置に保持している。そして、画像処理装置106からの患者情報取得要求に応じて、患者の管理番号から患者の一連の情報を取得できるものとする。更には、画像処理装置106からの患者情報取得要求に応じて、後述する画像管理システム105と通信し、過去の傷病の診断に関連づいた画像データ、後述の推論結果の画像も取得できるものとする。
電子カルテ表示端末103は、電子カルテシステム104と通信し、電子カルテの表示と作成時の入力受付、画像へ情報付加処理を行う。
画像管理システム105は、撮像装置101において撮影された画像データを画像処理装置106を介して受信し、患者管理番号および撮影日時と関連付けた状態で内部の記憶装置に記録する。そして、電子カルテシステム104もしくは画像処理装置106から画像データ取得要求があった場合には、指定された条件に当てはまる画像データを要求先と送信する。
患者の患部107は医療システムにおける診察対象を示している。全身の症状の出方で傷病の状態を診断する場合と、一部の症状の出方で傷病の状態を診断する場合があり、全身の症状の出方の場合には、頭、体幹、下肢、上肢、といった大きな範囲を診察対象とする。
画像処理装置106、撮像装置101、電子カルテシステム104、画像管理システム105はネットワーク102を介して通信する。また、電子カルテ表示端末103と電子カルテシステム104の通信はHDMI(登録商標)ケーブルなどで通信を行う。通信手段については例としてネットワーク、HDMI(登録商標)、USBとしているが、これに限定されない。
本実施形態の医療システムでは、撮像装置101、電子カルテ表示端末103、電子カルテシステム104、画像管理システム105、画像処理装置106、をそれぞれ別の装置として説明する。しかし、例えば、電子カルテ表示端末103に撮像装置101の構成を設けるなどして、2つ以上の装置の機能を1つの装置で実現させるようにしてもよい。
[撮像装置]
本実施形態の撮像装置101として動作するデジタルスチルカメラについて説明する。
本実施形態の撮像装置101として動作するデジタルスチルカメラについて説明する。
図2は、本発明の一実施形態に係る撮像装置として動作するデジタルスチルカメラを示すブロック図である。デジタルスチルカメラにおいて所定の制御プログラムを実行することにより以下に説明する撮像処理を実現し、撮像装置として機能する。
図2において、200は撮像部であり、固体撮像素子を用いて光学像を読み込み、アナログデジタル変換して電気的な画像データを生成する。201はデジタルスチルカメラ全体の制御を司るCPUである。202はCPU201の動作処理手順(例えばデジタルスチルカメラの電源をONした時の処理や基本入出力処理等のプログラム)を記憶しているROMである。203はRAMであり、CPU201のメインメモリとして機能する。RAM203には後述の処理を実現するための制御プログラムを含む各種プログラムがROM202等からロードされCPU201によって実行される。また、RAM203はCPU201が各種処理を実行する際のワークエリアを提供する。204は表示装置(表示部)でありCPU201の制御下で各種表示を行なう。たとえば、記憶媒体に記憶されたデータの表示を行う。また、撮像部200で撮像したライブビュー画像や、レリーズボタン(シャッターボタン)が操作されて撮影指示が入力されたことに応じて撮像部200により撮影した撮影画像の表示、各種設定画面などの表示も行う。205は各種操作を行うためのボタン等の入力装置である。たとえば、デジタルスチルカメラの上部に位置するレリーズボタン、背面部に位置する十字キーや設定キー等である。また、表示装置204に設けられるタッチパネル等も入力装置に含まれる。ユーザー(撮影者)は、入力装置に対してユーザー操作を行うことにより、デジタルスチルカメラ(撮像装置101)に各種指示を入力することができる。206はメディアドライブであり、着脱可能な記憶媒体を装着し、データを記憶したり、記憶されたデータを読み出したりすることを可能とする。207はネットワークインターフェイス(通信部)であり、無線の通信回線209を介してコンピュータネットワーク210と接続される。このネットワークインターフェイスによりサーバコンピュータやパーソナルコンピュータからデータを送受信する。208は上述した各ユニット間を接続するシステムバス(アドレスバス、データバスおよび制御バスからなる)である。211は画像処理部である。CPU201は、撮像部200で生成した画像データおよびその際の属性情報を一旦RAM203に記憶する。そして、必要に応じて画像処理部211において人の視覚特性にあった画像データになるよう一連の画像処理を行う。212はファイル生成部である。CPU201は、ファイル生成部において汎用的な静止画フォーマットに変換する。本実施例においてはJPEG画像とする。
なお、本実施形態における撮像装置101のハード構成は通常のデジタルカメラと同じあり、小型の持ち運び可能なデジタルカメラ(可搬型撮像装置)であるものとする。そして、本実施形態の医療システム用の特別な制御プログラムを、撮像装置101の制御プログラムとしてインストールし、ROM202に保持しているものとする。そのため、医療システム用の制御プログラムを新たに用意すれば、本実施形態の医療システム用に新たな撮像装置を用意せずに、既存の通常の撮像装置を用いて本実施形態の撮像装置101を実現することが可能である。
[画像処理装置]
本実施形態の画像処理装置106として動作するコンピュータについて説明する。
本実施形態の画像処理装置106として動作するコンピュータについて説明する。
図3は、本発明の一実施形態に係る画像処理装置として動作するコンピュータを示すブロック図である。コンピュータにおいて所定の制御プログラムを実行することにより以下に説明する画像処理を行い、画像処理装置として機能する。
図3において、301は画像処理装置の制御を司るCPUである。302はCPU301の動作処理手順(例えばコンピュータの立ち上げ処理や基本入出力処理等のプログラム)を記憶しているROMである。303はRAMであり、CPU301のメインメモリとして機能する。RAM303には後述の処理を実現するための制御プログラムを含む各種プログラムがハードディスクドライブ305等からロードされCPU301によって実行される。また、RAM303はCPU301が各種処理を実行する際のワークエリアを提供する。304はディスプレイでありCPU301の制御下で各種表示を行なう。305はハードディスクドライブ(以下、HDD)を示し、アプリケーションプログラムやデータ、ライブラリなどの保存及び読み込み用に用いられる。306はポインティングデバイスやキーボード等の入力装置である。307は記憶媒体装着ユニット(メディアドライブ)であり、着脱可能な記憶媒体を装着し、デジタルスチルカメラで撮影され記憶されたデータを読み出すことを可能とする。308はネットワークインターフェイス(通信部)であり、無線または有線の通信回線310を介してコンピュータネットワーク311と接続される。このネットワークインターフェイス308により通信可能な機器からデータを送受信する。本実施形態においては、このネットワークインターフェイスを介して撮像装置101と接続し、CPU301が撮像装置101へ各種データの送受信を行い、撮像装置101から撮影した画像を取得し、HDD305へ記録する。309は上述した各ユニット間を接続するシステムバス(アドレスバス、データバスおよび制御バスからなる)である。
[傷病の状態を記録する処理のシーケンス]
図4は、本実施形態における医療システムを用いて患者の傷病の状態を記録する処理を示すシーケンス図である。図4においては医療システムを構成する装置間のデータの送受信の流れを中心に説明を行う。これらの処理は、各装置、システムの制御プログラムに基づいて各装置、システムが処理を実行することにより実現される。
図4は、本実施形態における医療システムを用いて患者の傷病の状態を記録する処理を示すシーケンス図である。図4においては医療システムを構成する装置間のデータの送受信の流れを中心に説明を行う。これらの処理は、各装置、システムの制御プログラムに基づいて各装置、システムが処理を実行することにより実現される。
ステップS401において、撮像装置101は、撮影者に患者のリストバンドのバーコードを撮影するように促し、撮影者のシャッターボタン操作にしたがって、撮像制御を行い、バーコードを画像データとして記録する。
ステップS402において、撮像装置101は、ステップS401にて記録したバーコードの画像データ、つまり、患者に対応する患者画像データを画像処理装置106へと送信する。
ステップS403において、画像処理装置106は、撮像装置101からバーコードの画像データを受信し、画像データを解析してバーコードの読み取り処理を行う。バーコードの読み取り処理は一般的な読み取り処理であるものとし、バーコードの示す記号および番号を取得する。本実施形態においては、リストバンドを装着している患者の患者管理番号を取得することになる。
ステップS404において、画像処理装置106は、ステップS403にて取得した患者管理番号を検索条件として、電子カルテシステム104へと患者情報を取得要求する。その際に過去の傷病の診察結果の情報が記憶されている場合には、所定の近傍する日時の傷病の検査内容を患者情報に含めて、取得要求するものとする。本実施形態においては所定の近傍する日時を1ヶ月以内とする。
ステップS405において、電子カルテシステム104は、ステップS404の患者情報取得要求に基づいて、患者管理番号から患者情報を検索する。
ステップS406において、電子カルテシステム104は、ステップS405にて検索した結果となる患者情報を画像処置装置106へと送信する。
ステップS407において、画像処理装置106は、ステップS406において電子カルテシステム104から受信した患者情報を、撮像装置101へと送信する。
ステップS408において、撮像装置101は、ステップS407にて画像処理装置106から受信した患者情報のうち、患者氏名、年齢、性別と、OKボタンとNGボタンを撮像装置101内の表示装置204に表示する。そして、撮影者に検査対象とする患者と一致しているかの確認を促す。撮影者がOKボタンを選択した場合には、後述のステップS409へと進み、NGボタンを選択した場合には、ステップS401へと戻るものとする。
ステップS409において、撮像装置101は、患者情報内に1ヶ月以内の傷病の検査内容が複数含まれていた場合には、検査目的の候補として表示装置204に表示する。また、検査内容がない場合には、すべての検査目的を候補として表示装置204に表示する。以降、検査目的の候補を表示する画面を検査目的選択画面と記す。表示方法については後述する。
ステップS410において、撮像装置101は、撮影者により検査目的の選択操作があったか否かを判定する。検査目的の選択操作があった場合には、ステップS411へと進む。選択操作がない場合には、ステップS409の検査目的の候補の表示を継続する。
ステップS411において、撮像装置101は、ステップS410にて撮影者により選択された検査目的を画像処理装置106へと送信する。
ステップS412において、画像処理装置106は検査目的に応じた撮像制御情報をHDD305からRAM303へ読み込む。検査目的と撮像制御情報の対応に関しては、後述する。
ステップS413において、画像処理装置106は撮像装置101へ撮像制御情報を送信する。
ステップS414において、撮像装置101は撮像制御情報をRAM203に保持し、撮像制御情報に基づいて、患者の部位の候補を表示装置204に表示する。そして、撮影者に部位の選択を促す。以降、部位の候補を表示する画面を部位選択画面と記す。表示方法については後述する。
ステップS415において、撮像装置101は、撮影者により部位の選択操作があったか否かを判定する。部位の選択操作があった場合には、撮像操作を受け付ける状態へと遷移し、後述のステップS416へと進む。選択操作がない場合には、ステップS414の部位の候補の表示を継続する。
ステップS416において、撮像装置101は、撮影者のシャッターボタンへの撮像操作(撮影指示)に従って、一連の撮像処理を行い生成した画像データを患部画像としてメディアドライブ206に記憶する。その際に、本実施形態の医療システムにおいて一意に特定できる画像IDを生成し画像データのヘッダに記録する。
ステップS417において、撮像装置101は、画像処理装置106へとステップS416にて生成した画像データ(患部画像)を、撮影時の撮像条件と、S410で選択された検査目的と、S407で受信した患者情報や患者管理番号、S416で選択された撮影部位と共に送信する。画像データの画像ファイルにこれらの情報を含めて送信してもよいし、別ファイルとしてもよい。画像データと、各情報が関連付けできていればよい。
ステップS418において、画像処理装置106は撮像装置101から受信した、画像データと撮像条件と検査目的と撮影部位と患者管理番号を画像IDに関連付けて、HDD305に記憶する。そして、検査目的に応じて、画像データをRAM303へ展開し、解析し診断補助となる推論を実行する。診断補助となる推論とは、機械学習による患部の領域や状態の推論であるものとする。機械学習で用いる学習モデルは、HDD305に記憶しており、推論実行時にRAM303へと読み込むものとする。そして、患部の面積や状態の数値化できる情報も算出する。褥瘡であれば、患部の面積、褥瘡部分、壊死部分、炎症/感染部分、肉芽組織部分、深さ情報、を解析する。褥瘡部分、壊死組織部分、炎症/感染部分、肉芽祖組織部分、深さ情報については、事前に褥瘡の症例を撮影した画像から、画像を構成する画素の色および分布に基づいて、どの画素がどの状態に当てはまるかを示す教師データを作成する。そして、その教師データを機械学習させ学習モデルを作成し、推論を実行する。前記褥瘡の深さ情報とは、物理的な奥行きの情報ではなく、皮膚の下の組織のどこまで露出しているかの情報を示す。その他の皮脂欠乏症、アトピー性皮膚炎、乾癬、熱傷、蕁麻疹、歯の診察の場合も、それぞれの症状の画像から教師データを作成する。そして、褥瘡と同様に学習モデルを作成し、推論を実行することにより、推論結果(解析結果)を出力する。なお、以下本実施例の説明では推論処理を上述のような機械学習で用いる学習モデルで作成し、推論実行するものとして説明している。しかし、画像の例えば輝度情報や色情報、色相情報、勾配情報などを用いて解析し、勾配情報や領域的な色あるいは強度情報の分布を用いて推論処理を行ってもよい。濃淡分布や輝度勾配の形状特徴情報を用いた特徴マッチングで推論処理を行ったりしてもよく、輝度勾配が一定以上の画素をエッジ情報として抽出し、その位置や重心、傾き検出などのルールベースの画像処理を用いたり併用して推論処理を行ったりしてもよい。
ステップS419において、画像処理装置106は、撮像装置101へと推論結果(解析結果)となる画像データと状態を数値化した情報とを、推論の対象とした画像データの画像IDと共に送信する。撮像装置101は、画像処理装置106から送信された推論結果(解析結果)と画像IDを(画像解析結果受信)受信する。
ステップS420において、撮像装置101は、表示装置204にステップS416にて撮影した画像データ(受信したがぞうIDに対応する画像データ)に重畳して、推論結果(解析結果)である状態を数値化した情報を表示する。加えて、確認ボタンと撮り直しボタンを表示し、撮影者に対象画像と推論結果に間違いがないか確認を促す。以降、推論結果を表示する画面を推論結果表示画面と記す。表示方法については後述する。
ステップS421において、撮像装置101は、撮影者により確認ボタンが選択されたと判定した場合には、ステップS422へと進む。撮り直しボタンが選択されたと判定した場合には、ステップS416へと戻る。
ステップS422において、撮像装置101は、撮像制御情報に基づいて、評価項目とその評価項目に対応付いた候補となる評価値を選択する画面を表示装置204に表示する。そして、撮影者に評価値の編集を促す。以降、前記評価値を編集する画面を評価値編集画面と記す。評価値編集画面において推論結果から状態を数値として取得できている場合には、その数値に対応した評価値が選択された状態で表示されているものとする。推論結果から状態を数値として取得できていない場合には、評価値が未選択の状態で表示されているものとする。また評価値編集画面には完了ボタンが配置されているものとする。表示方法については後述する。
ステップS423において、撮像装置101は、撮影者により完了ボタンが選択されたと判定した場合には、ステップS424へと進む。完了ボタンの選択操作がない場合には、ステップS422の評価値編集画面の表示を継続する。
ステップS424において、撮像装置101は、評価値編集画面において選択された評価値を画像IDと患者管理番号と共に画像処理装置106へと送信する。
ステップS425において、画像処理装置106は画像IDを用いて推論対象となった画像データと撮像装置101から受信した評価値を関連付けてRAM303へと保持する。
ステップS426において、画像処理装置106は患者情報、検査目的、撮影部位と評価値と画像データを含む形で、医療用の画像フォーマットDigital Imaging and Communications in Medicine(登録商標)(以下DICOMと略す)に変換する。
ステップS427において、画像処理装置106はDICOM(登録商標)画像を患者情報(患者管理番号等)、検査目的、撮影部位、推論結果画像と共に画像管理システム105へと送信する。
ステップS428において、画像管理システム105は画像処理装置106へ送信完了の応答を返す。
ステップS429において、画像処理装置106は撮像装置101へ送信完了の応答を返す。
[撮像制御情報]
図5は、本実施形態における撮像制御情報と検査目的の対応関係を示す概念図である。本実施例において、図5に示す情報は画像処理装置106内のHDD305に記憶されているものとし、撮像装置101からステップS411で受信した検査目的に対応する撮像制御情報をステップS412で読み込む際に使用する情報である。
図5は、本実施形態における撮像制御情報と検査目的の対応関係を示す概念図である。本実施例において、図5に示す情報は画像処理装置106内のHDD305に記憶されているものとし、撮像装置101からステップS411で受信した検査目的に対応する撮像制御情報をステップS412で読み込む際に使用する情報である。
501は、検査目的を示す列である。患者の患部の傷病と対応付くものである。
502は、撮像条件を示す列である。検査目的毎に診察補助に適切な画像を撮影するための撮像装置101に指定する撮像条件を保持し撮影者の操作での変更不可とする。撮像条件で指定されていないパラメータに関しては、撮像装置101において撮影者の入力装置205へのユーザ操作により変更可能であるものとする。
503は、部位の候補を示す列である。撮像装置101で表示する部位の候補となる。検査目的毎に適切な部位の候補を保持する。検査目的によっては、全身の症状の出方で傷病の状態を診断する場合と、一部の症状の出方で傷病の状態を診断する場合があり、撮影者が撮像装置101でどちらを記録したいかの選択に応じて部位の候補を切り替えられるものとする。
504は、撮像時のアシスト図形を示す列である。撮像装置101で患部を撮影する際に、表示装置204に被写体像に重畳して表示する図形を示す。検査目的によっては、全身の症状の出方で傷病の状態を診断する場合と、一部の症状の出方で傷病の状態を診断する場合がある。また、全身の症状の出方で、傷病の状態を診断する場合、選択された部位に応じて、アシスト図形が切り替わるものとする。
505は、確認条件を示す列である。検査目的に対して診断に適した画像が撮影できたか否かを判定するための条件を保持する。全身の症状の出方で傷病の状態を診断する場合と、一部の症状の出方で傷病の状態を診断する場合によっても、診断に適した画像が撮影できたか否かの確認条件が変わる。撮影者が撮像装置101でどちらを記録したいかの選択に応じて確認条件が切り替えられるものとする。
506は、推論結果表示に関する情報を示す列である。撮像装置101で画像処理装置106における推論結果を表示するか否かと、推論結果となる情報を保持する。
507は、評価項目を示す列である。検査目的に応じた評価項目を保持する。
508は、評価項目毎の評価値を示す列である。検査目的に応じた評価項目を構成する値を保持する。
509は、複数枚での判断ができるか否かを示す列である。検査目的によって、傷病の状態を複数枚で判断が可能な場合と一枚で判断が可能かの場合があり、そのどちらであるかを保持する。
510は、複数部位の撮影が必須か否かを示す列である。検査目的によって、状態を判断するために必ず撮影すべき部位が複数ある場合があり、撮影すべき部位が複数あるかを保持する。また、撮影に必須となる部位の情報を保持してもよい。さらに、全身で症状を判断する場合(全身フラグON)と、そうでない場合とで、異なる情報が適応されるように情報を保持してもよい。
511は、検査目的となる傷病が褥瘡である場合の撮像制御情報を示す行である。
512は、検査目的となる傷病が熱傷である場合の撮像制御情報を示す行である。
513は、検査目的となる傷病が皮脂欠乏症である場合の撮像制御情報を示す行である。
514は、検査目的となる傷病がアトピー性皮膚炎である場合の撮像制御情報を示す行である。
515は、検査目的となる傷病が乾癬である場合の撮像制御情報を示す行である。
516は、検査目的となる傷病が蕁麻疹である場合の撮像制御情報を示す行である。
517は、検査目的となる対象が歯牙である場合の撮像制御情報を示す行である。
ステップS411において、検査目的が褥瘡であった場合には、ステップS412において、画像処理装置106はCPU301の制御により、褥瘡に対応する511の行の情報をRAM303に読み込む。そして、ステップS413において、撮像装置101へ撮像制御情報を送信する。
ステップS411において、検査目的が熱傷であった場合には、同様に熱傷に対応する512の行の情報をRAM303に読み込み、ステップS413において、撮像装置101へ撮像制御情報を送信する。
検査目的が皮脂欠乏症、アトピー性皮膚炎、乾癬、蕁麻疹、歯の場合も同様に、それぞれに対応する行の撮像制御情報を撮像装置101へと送信する。
[撮像制御処理]
図6は、本実施形態における撮像制御処理を示すフローチャートである。図5および図6を用いて、撮像装置101において、撮像制御情報に基づいて、撮像条件、画面表示内容、画像付帯情報、を変更する方法を説明する。図4において説明済みの処理については対応するステップを記載する。図4においては医療システムを構成する装置間のデータの送受信の流れを中心に説明を行ったが、図6においては撮像装置101における処理を詳細に説明する。このフローチャートの処理は、撮像装置101が制御プログラムを読み出し、読み出した制御プログラムに基づいて処理を実行することにより実現される。
図6は、本実施形態における撮像制御処理を示すフローチャートである。図5および図6を用いて、撮像装置101において、撮像制御情報に基づいて、撮像条件、画面表示内容、画像付帯情報、を変更する方法を説明する。図4において説明済みの処理については対応するステップを記載する。図4においては医療システムを構成する装置間のデータの送受信の流れを中心に説明を行ったが、図6においては撮像装置101における処理を詳細に説明する。このフローチャートの処理は、撮像装置101が制御プログラムを読み出し、読み出した制御プログラムに基づいて処理を実行することにより実現される。
ステップS601において、CPU201は画像処理装置106から患者情報を取得する。ステップS407に対応する。ステップS408における患者確認については、図4にて説明済みのため説明を割愛する。
ステップS602からステップS603は、ステップS409の処理に対応する。
ステップS602において、CPU201は患者情報に含まれる検査目的が1つか否かを判定する。1つである場合には、検査目的が一意に特定できたものとして、後述する検査目的選択画面を表示せず、自動で検査目的を選択し、ステップS605へと進む。検査目的が1つでない場合、ステップS603へと進む。
ステップS603において、CPU201は患者情報内に1ヶ月以内の傷病の検査内容が複数含まれていた場合には、検査目的の候補として後述する検査目的選択画面を表示装置204に表示する。また、検査内容がない場合には、すべての検査目的を候補として後述する検査目的選択画面を表示装置204に表示する。
ステップS604において、CPU201は撮影者により検査目的の選択操作があったか否かを判定する。ステップS410に対応する。検査目的の選択操作があったと判定した場合には、ステップS605へと進む。検査目的の選択操作がない場合には、ステップS603に戻り検査目的選択画面の表示を継続する。
ステップS605において、CPU201はステップS604にて撮影者により選択された検査目的もしくはステップS602において一意に特定した検査目的を画像処理装置106へと送信する。ステップS411に対応する。
ステップS606において、CPU201は画像処理装置106から撮像制御情報を受信しRAM203に記憶する。ステップS413に対応する。
ステップS607からステップS617は、ステップS414からステップS416に対応し、撮像装置101における処理をより詳細にしたものである。
ステップS607において、CPU201は撮像制御情報内の510列の情報を参照し、複数部位撮影が必須か否かを判定する。複数部位撮影が必須と判定した場合には、ステップS609へと進む。複数部位撮影が必須ではないと判定した場合には、ステップS608へと進む。
ステップS608において、CPU201は複数部位の撮影が必須であることを示す複数部位フラグをOFFにする。
ステップS609において、CPU201は複数部位の撮影が必須であることを示す複数部位フラグをONにする。
ステップS610において、CPU201は撮像制御情報内の509列の情報を参照し、複数枚判断が可能か否かを判定する。複数枚判断が有の場合には、ステップS611へと進む。複数枚判断が無の場合には、ステップS613へと進む。
ステップS611において、CPU201は全身症状で評価するか否かを撮影者に選択させる画面を表示装置204に表示し、全身症状で評価することを撮影者が選択する操作があったか否かを判定する。全身症状で評価することが選択された場合は、評価時に、1つの部位だけでなく、複数部位の評価に基づいて、全身症状の評価を行う。全身症状で評価することを撮影者が選択した場合には、ステップS612へと進む。全身症状で評価しないと撮影者が選択した場合には、ステップS613へと進む。
ステップS612において、CPU201は、複数部位を撮影し、複数部位の撮影画像に基づいて全身症状での評価を実施することを示す全身フラグをONにする。
ステップS613において、CPU201は全身症状での評価を実施することを示す全身フラグをOFFにする。
ステップS614において、CPU201は撮像制御情報内の503列の情報を参照し、部位候補の中から撮影対象とする部位を選択するための部位選択画面を表示装置204に表示する。CPU201は、撮像制御情報を参照して、撮影者が選択可能とする部位のみを部位候補として部位選択画面に表示し、選択不可とする部位は部位選択画面には表示しないようにする。また、CPU201は、全身フラグがONかOFFかに応じて、部位の候補が異なる場合には、全身フラグに合致する部位を部位候補として部位選択画面に表示し、撮影者により選択可能な状態にする。なお、部位選択画面の表示については、撮像制御情報内の510列の情報を参照し、撮影必須となる部位については撮影必須であることが識別可能に部位選択画面表示するとよい。例えば、部位候補とともに、撮影必須であることを示す文字や記号、マークを表示したり、撮影必須の部位候補と撮影必須でない部位候補とで、色を異ならせて表示するようにしたりするとよい。
ステップS615において、CPU201は撮影者により部位選択画面において部位の選択操作があったか否かを判定する。ステップS415に対応する。部位の選択操作があった場合には、CPU201は選択された部位を撮影対象の部位として決定し、決定された撮影対象の部位の撮影を行うため、ステップS616へと進む。選択操作がない場合には、ステップS614の部位選択画面の表示を継続する。
ステップS616において、CPU201は撮像制御情報内の撮像条件列502の情報を参照し、撮像条件に合致したパラメータで撮像できるように撮像部200を制御する。全身フラグがONかOFFかに応じて、撮像条件が異なる場合には、全身フラグに合致する撮像条件をパラメータとして採用する。
ステップS617において、CPU201は撮像制御情報内のアシスト図形504列の情報を参照し、撮影したライブビュー画像に重畳して撮影アシスト図形を表示する。撮影アシスト図形とは、撮影者が適切な検査用画像を撮影するのを補助するための図形であり、撮像制御情報に応じて、ライブビュー画像に重畳表示するアシスト画像の種類を変更する。また、全身フラグがONかOFFかに応じて、撮影アシスト図形が異なる場合には、全身フラグに合致する撮影アシスト図形を採用する。撮影アシスト図形が選択した部位の前回撮影時(前回検査時)の患部輪郭線である場合には、ステップS601において患者情報として取得した前回の撮影時の患部画像を読み込み、患部の輪郭線を描画するものとする。ただし、所定の期間内に該当する画像がない場合には、撮影アシスト図形を描画しないものとする。本実施例においては、所定の期間内を1ヶ月とする。
ステップS618において、CPU201は撮影者の撮像操作に従って、撮像部200および画像処理部211およびファイル生成部212を使用して一連の撮像処理を行い生成した画像データをメディアドライブ206に記憶する。ステップS416に対応する。
ステップS619において、CPU201はステップS618で生成した画像データを表示装置204に表示する。
ステップS620において、CPU201は、撮像制御情報内の確認条件列505の情報を参照し、検査目的に適した画像データが生成できたか否かの判定を行う。全身フラグがONかOFFかに応じて、確認条件が異なる場合には、全身フラグに合致する確認条件を採用する。確認条件を満たす場合には、検査目的に適した画像が生成できたものとする。確認条件に達しない場合には、検査目的に適した画像が生成できていないものとする。検査目的に適した画像が生成できたと判定した場合には、ステップS621へと進む。検査目的に適した画像が生成できていないと判定した場合には、未達の確認条件に応じて、撮影を支援する情報を表示し、ステップS618に戻り再撮影を撮影者に促す。ステップS620における確認処理は、図7を用いて後述する。
ステップS621において、CPU201は撮像制御情報内の推論結果表示有無列506の情報を参照し、撮像装置101の表示装置204に推論結果を表示するか否かを判定する。推論結果を表示すると判定した場合には、ステップS622へと進む。推論結果を表示しないと判定した場合には、ステップS626へと進む。
ステップS622において、CPU201は、画像処理装置106へと画像データと撮影時の撮像条件と検査目的と患者管理番号と共に送信する。ステップS417に対応する。
ステップS623において、CPU201は画像処理装置106から推論結果となる画像データと状態を数値化した情報を推論の対象とした画像データの画像IDと共に受信する。ステップS419に対応する。
ステップS624において、CPU201は撮影した画像データに重畳して推論結果と状態を数値化した情報を表示する。ステップS420に対応する。
ステップS625において、CPU201は推論結果の確認が完了したか否かを判定する。撮影者により確認ボタンが選択されたと判定した場合には、ステップS626へと進む。撮り直しボタンが選択されたと判定した場合には、ステップS618へと戻る。ステップS421に対応する。
ステップS626において、CPU201は撮像制御情報内の評価項目列507を参照し、撮像装置101において編集すべき評価値があるか否かを判定する。撮像装置101において編集すべき評価値があると判定した場合には、ステップS627へと進む。撮像装置101において編集すべき評価値がないと判定した場合には、ステップS629へと進む。
ステップS627において、CPU201は撮像制御情報内の評価項目列507および評価値列508の情報に基づいて画面を構成し、表示装置204に後述の評価値編集画面を表示する。ステップS422に対応する。
ステップS628において、CPU201は撮影者により編集完了ボタンが選択されたか否かを判定する。編集完了ボタンが選択されたと判定した場合には、ステップS629へと進む。編集完了ボタンが選択されていない場合には、ステップS627へと戻り、評価値編集画面の表示を継続する。ステップS423に対応する。
ステップS629において、CPU201は撮影済みの部位をRAM203に記憶する。
ステップS630において、CPU201は全身フラグもしくは複数部位フラグがONか否かを判定する。全身フラグもしくは複数部位フラグがONの場合には、ステップS631へと進む。全身フラグも複数部位フラグもOFFの場合には、複数部位の撮影は不要と判定し、ステップS634へと進む。
ステップS631において、CPU201は撮像制御情報内の複数部位撮影必須か列510を参照し、ステップS629でRAM203に記憶されている撮影済み部位と照合して、未撮影の部位があるか否かを判定する。全身フラグがONかOFFかに応じて、撮影必須部位が異なる場合には、全身フラグに合致する部位の情報を採用する。未撮影の部位があると判定した場合には、ステップS614に戻る。未撮影の部位がないと判定した場合には、ステップS632へと進む。
ステップS632において、CPU201は全身フラグがONか否かを判定する。全身フラグがONの場合には、ステップS633へと進む。全身フラグがOFFの場合には、ステップS634へと進む。
ステップS633において、CPU201は全身の症状から傷病の評価をするため、評価値を算出する。アトピー性皮膚炎の全身評価値をeasiScoreとして算出方法を式1に示す。式1において、頭部/頸の紅斑、湿潤・丘疹、掻破痕、苔癬化の評価値、湿潤面積の部位スコアをそれぞれ、head1、head2、head3、head4、head5とする。体幹の紅斑、湿潤・丘疹、掻破痕、苔癬化の評価値、湿潤面積の部位スコアをそれぞれ、body1、body2、body3、body4、body5とする。上肢の紅斑、湿潤・丘疹、掻破痕、苔癬化の評価値、湿潤面積の部位スコアをそれぞれ、arm1、arm2、arm3、arm4、arm5とする。下肢の紅斑、湿潤・丘疹、掻破痕、苔癬化の評価値、湿潤面積の部位スコアをそれぞれ、foot1、foot2、foot3、foot4、foot5、とする。
easiScore=
(head1+head2+head3+head4)×head5×0.1+(body1+body2+body3+body4)×body5×0.3+(arm1+arm2+arm3+arm4)×arm5×0.2+(foot1+foot2+foot3+foot4)×foot5×0.4…式1
easiScore=
(head1+head2+head3+head4)×head5×0.1+(body1+body2+body3+body4)×body5×0.3+(arm1+arm2+arm3+arm4)×arm5×0.2+(foot1+foot2+foot3+foot4)×foot5×0.4…式1
同様に、熱傷、皮脂欠乏症、乾癬、蕁麻疹についても、一般的な全身症状からの傷病評価式に基づいて算出するものとする。
ステップS634において、CPU201はステップS627にて選択された評価値およびステップS632において算出した評価値を画像IDと患者管理番号と共に画像処理装置106へと送信する。評価値がない場合には、CPU201は画像処理装置106へと未送信の画像データと患者管理番号と共に送信する。
[撮影画像の確認処理]
図7は、本実施形態における撮影画像の確認処理を示すフローチャートである。本処理により検査目的に適した画像が生成できたかを確認する。前述のステップS620の処理を詳細化したものである。検査目的が褥瘡だった場合を例に説明を行う。なお、このフローチャートの処理は、撮像装置101が制御プログラムを読み出し、読み出した制御プログラムに基づいて処理を実行することにより実現される。
図7は、本実施形態における撮影画像の確認処理を示すフローチャートである。本処理により検査目的に適した画像が生成できたかを確認する。前述のステップS620の処理を詳細化したものである。検査目的が褥瘡だった場合を例に説明を行う。なお、このフローチャートの処理は、撮像装置101が制御プログラムを読み出し、読み出した制御プログラムに基づいて処理を実行することにより実現される。
ステップS701において、CPU201は撮像制御情報内の確認条件列505の情報をRAM203に読み込む。検査目的が褥瘡だった場合には、合焦位置:中央、被写体距離:所定値範囲、被写体と正対、所定の色が分布している領域の切れ:無し、明度・エッジ評価値:所定値範囲であることを後述するステップS702以降により確認することとなる。評価に際しては、画像データおよび画像データと関連づけてRAM203に記憶されている撮像条件やフォーカス合わせのための測距センサの測定情報を用いるものとする。
ステップS702において、CPU201は撮像時の合焦位置が画像内の中央になっている否かを判定する。画像中の合焦位置は、画像データに付帯されているヘッダ情報内に座標情報で保持されているものとする。合焦位置が画像の中央座標から所定の範囲内であれば、合焦位置が中央と判定し、ステップS703へと進む。合焦位置が中央でないと判定した場合、ステップS709へと進む。
ステップS703において、CPU201は撮像装置101のセンサ面と被写体の距離が所定範囲内か否かを判定する。センサ面と被写体の距離については、撮像時の測距センサの情報に基づいて、算出できるものとする。そして、被写体距離情報として、画像データに付帯されているヘッダ情報内に距離を示す数値で保持されているものとする。被写体距離が所定範囲と判定した場合には、ステップS704へと進む。所定の範囲外と判定した場合には、ステップS710へと進む。
ステップS704において、CPU201は撮像装置101のセンサ面と被写体が正対しているか否かを判定する。正対しているか否かは、画像上の測距評価値を用いて判定するものとし、画像上の上、下、右、左で著しく被写体距離が異なる場合には、被写体と正対していないものと判定する。被写体が正対していると判定した場合は、ステップS705へと進む。被写体が正対していないと判定した場合には、ステップS713へと進む。
ステップS705において、CPU201は所定の色が分布している領域が画像上で切れているか否かを判定する。所定の色とは、褥瘡の場合、正常な肌の色味よりも赤みのつよい領域であるものとする。所定の色が分布している領域が、画像の端からはみ出ているか否かにより判定する。はみ出ていると判定した場合には、ステップS714へと進む。はみ出ていないと判定した場合には、ステップS706へと進む。
ステップS706において、CPU201は画像の明度が所定の範囲内か否かを判定する。画像の明度が所定の範囲内か否かの判定については、画像を構成する画素値の平均値が所定の範囲内か否かによって判定を行うものとする。画像の明度が所定の範囲内であると判定した場合には、ステップS707へと進む。画像の明度が所定の範囲外であると判定した場合には、ステップS715へと進む。
ステップS707において、CPU201はエッジ評価値が所定の範囲内か否かを判定する。エッジ評価値は、画像の輝度の画素値に対して平滑化フィルタをかけて、元画像と平滑化後の画像の輝度の画素値の差の平均値とする。そして、エッジ評価値が所定の値より小さい場合には、精細さに欠ける画像データであると判定する。エッジ評価値が所定の範囲内であると判定した場合には、ステップS708へと進む。エッジ評価値が所定の範囲外であると判定した場合には、ステップS718へと進む。
ステップS708において、CPU201は検査目的に適した画像が生成できたものとし、RAM203に確認結果OKとして、画像データと関連付けて保持する。
ステップS709において、CPU201は合焦位置が中央からずれていることを撮影者に通知するために、患部が中央になるように撮影してくださいと表示装置204に表示する。
ステップS710において、CPU201は被写体距離が遠すぎるか否かを判定する。被写体距離が遠すぎると判定した場合には、ステップS711へと進む。被写体距離が遠すぎない、すなわち、近すぎると判定した場合には、ステップS712へと進む。
ステップS711において、CPU201は被写体距離が遠すぎることを撮影者に通知するために、被写体までの距離が遠すぎますと表示装置204に表示する。
ステップS712において、CPU201は被写体距離が近すぎることを撮影者に通知するために、被写体までの距離が近すぎますと表示装置204に表示する。
ステップS713において、CPU201は被写体が撮像装置に正対していないことを撮影者に通知するために、被写体とカメラが正対するようにしてくださいと表示装置204に表示する。
ステップS714において、CPU201は患部の領域が画像からはみ出ていることを撮影者に通知するために、患部が画像内に収まっていない可能性がありますと表示装置204に表示する。
ステップS715において、CPU201は画像の明度が明るすぎるか否かを判定する。明るすぎると判定した場合には、ステップS716へと進む。明るすぎない、すなわち、暗すぎると判定した場合には、ステップ717へと進む。
ステップS716において、CPU201は撮影環境が明るすぎることを撮影者に通知するために撮影環境が明るすぎます暗くなるようにしてくださいと表示装置204に表示する。
ステップS717において、CPU201は撮影環境が暗すぎることを撮影者に通知するために撮影環境が暗すぎます明るくなるようにしてくださいと表示装置204に表示する。
ステップS718において、CPU201は著しくエッジがなく精細さに欠ける画像データになっていることを撮影者に通知する。この通知では、例えば、「手振れか被写体ブレしている可能性があります、カメラをなるべく固定して、患者様も動かないようにして撮影してください」と、表示装置204に表示する。
ステップS719において、CPU201は検査目的に適した画像が生成できていないものとし、RAM203に確認結果NGとして、画像データと関連付けて保持する。そして、再撮影を促す。
[撮像装置のユーザーインターフェイス]
図8は、本発明の一実施形態に係る撮像装置として動作するデジタルスチルカメラを背面から見た様子を示す図である。本実施形態による撮像装置として動作するデジタルスチルカメラの各種ボタンとユーザーインターフェイスの詳細について図8を用いて説明する。図8は、前述の検査目的選択画面を表示している例である。電源ボタン801以外の全てのボタンに関しては、デジタルスチルカメラに電源が入っているときの動作を説明する。
図8は、本発明の一実施形態に係る撮像装置として動作するデジタルスチルカメラを背面から見た様子を示す図である。本実施形態による撮像装置として動作するデジタルスチルカメラの各種ボタンとユーザーインターフェイスの詳細について図8を用いて説明する。図8は、前述の検査目的選択画面を表示している例である。電源ボタン801以外の全てのボタンに関しては、デジタルスチルカメラに電源が入っているときの動作を説明する。
801は、電源のON/OFFを切り替える電源ボタンである。デジタルスチルカメラの電源が入っていない状態で、撮影者が押下するとCPU201は撮影者から電源入力の指示があったと判定し、電源を入れる。電源が入っている状態で、撮影者が押下するとCPU201は撮影者から電源切りの指示があったと判定し、電源を切る。
802は、レリーズボタンである。撮影者がレリーズボタン802を押下した場合、CPU201が静止画の撮像指示があったものと判定する。
803は上方向ボタン、804は右方向ボタン、805は下方向ボタン、806は左方向ボタン、807は決定ボタンであり、入力装置205の機能を果たす。803から806のボタンを撮影者が押下した場合、CPU201は、撮影者から選択対象切り替え操作があったものと判定し、後述するディスプレイ808における選択対象を切り替える。807のボタンを撮影者が押下した場合、CPU201は、撮影者から決定操作があったものと判定し、選択された情報をRAM203に保持すると共に、撮像装置101の状態を切り替える。前述のステップS604の選択操作およびステップS614における選択操作に該当する。
808はディスプレイであり表示装置204の機能を持つ。809は、表示機能と共にタッチパネル機能を持ち、入力装置205の機能を果たす。撮影者が指で画面上の任意の点を押下した時、CPU201は撮影者からの入力指示があったと判定して、押下された位置から操作の内容を判定して、表示更新などの各種処理を行う。
809は画面タイトルであり、撮影者に何を選択する必要があるかを知らせる文字列を表示する。
810はフォーカス枠であり、撮影者に選択中の状態の項目を知らせるための枠である。
811は選択項目表示領域であり、選択肢の候補を列挙する領域である。
812はスクロールバーであり、選択項目表示領域に選択項目の候補を表示しきれない場合に表示領域を切り替えるものである。
フォーカス枠810は、撮影者が803から806のボタン押下した場合、CPU201は撮影者から選択変更操作があったものと判定し、フォーカス枠810を選択項目表示領域811内で移動させる。
図9は、本発明の一実施形態に係る撮像装置として動作するデジタルスチルカメラを背面から見た様子を示す図である。検査目的が褥瘡の場合の部位選択画面の例を示す。図8と同じ機能を果たす部材には、図8の対応する番号を付す。
901,902,903,904,905,906,907は、候補となる部位である。S614で説明した通り、撮像制御情報の検査目的が褥瘡の行511の部位候補列503を表示している。
図10は、本発明の一実施形態に係る撮像装置として動作するデジタルスチルカメラを背面から見た様子を示す図である。検査目的が褥瘡の場合の撮影アシスト図形を描画している例を示す。
1001は患者情報表示の一例であり、患者の氏名、性別、年齢を表示する。撮影者が患者を間違えないようにするために、撮影時に被写体像と重畳して、表示する。
1002は前回撮影時の日の情報である。
1003は前回撮影時の患部の輪郭線である。同一の患者に対して、同一の部位の診察を行う場合に、比較しやすい画像データを入手できるように描画を行う。
1001から1003の情報は、ステップS601において画像処理装置106から受信する患者情報に含まれるものとする。
図11は、本発明の一実施形態に係る撮像装置として動作するデジタルスチルカメラを背面から見た様子を示す図である。検査目的が褥瘡の場合の推論結果表示画面の例を示す。
1101は数値化した推論結果の表示例である。褥瘡における褥瘡部分、壊死部分、炎症感染部分、肉芽組織部分の面積を算出した結果を表示している。面積の算出は画像処理装置106にて、撮像時の被写体距離と画角から三角関数で画像上の距離と実世界上の距離の対応を算出し、画像を構成する画素数から面積を算出するものとする。
1102は褥瘡部分を画像に重畳して着色した例である。
1103は壊死部分を画像に重畳して着色した例である。
1104は炎症感染部分を画像に重畳して着色した例である。
1105は確認ボタンであり、右方向ボタン806の操作で選択された後に、決定ボタン807を撮影者が押下した場合、CPU201は、撮影者により確認ボタンが選択されたと判定する。
1106は撮り直しボタンであり、左方向ボタン804の操作で選択された後に、決定ボタン807を撮影者が押下した場合、CPU201は、撮影者により撮り直しボタンが選択されたと判定する。ステップS421とステップS625の処理に対応する。
図12は、本発明の一実施形態に係る撮像装置として動作するデジタルスチルカメラを背面から見た様子を示す図である。検査目的が褥瘡の場合の評価値編集画面の例を示す。
1201と1202は推論から算出できなかった評価値の表示例である。画像データからの推論から評価値が取得できなくても、患部を観察して、同じ時に記録しておくべき評価値をその場で入力することができる。また、患部を観察して、推論による評価値を変更すべきと撮影者が判断した場合には、撮影者は評価値を変更する操作を行う。撮影者が変更する対象の評価値のところフォーカス枠810を上下左右方向ボタン803、804、805、806で合わせて決定ボタン807を押下すると、CPU201は撮影者から評価値変更操作があったものと判定し、評価値の候補を表示する。そして、上下方向ボタン803、805、により、撮影者がフォーカス枠810を移動し、決定ボタン807を押下すると、CPU201は評価値選択操作があったものと判定する。そしてCPU201は、選択された評価値に表示を更新すると共に、RAM203に選択された評価値を記憶する。
1203は完了ボタンであり、下方向ボタン807の操作で選択された後に、決定ボタン807を撮影者が押下した場合、CPU201は、撮影者により完了ボタンが選択されたと判定する。ステップS423とステップS628の処理に対応する。
尚、本実施例において、ステップS634において、評価値を画像IDと患者管理番号と共に画像処理装置106へと送信するとした。しかし、評価値の根拠となる患部の画像が撮像装置101のRAM203もしくはメディアドライブ206に記憶されている場合には、画像のヘッダ情報として、評価値を書きこんで、画像データと共に画像処理装置106へ送信してもよい。そうすれば、画像処理装置106で評価値と画像IDを受信してから、画像IDと対象となる画像を関連づけなくても、画像の付帯情報として評価値を保持することができる。
尚、本実施例で患者と関連づく検査目的が1つの時は、撮像装置の検査目的候補画面を表示しない例を示したが、常にすべての検査目的を候補として表示してもよいし、撮像装置の管理元となる診療科に応じて、候補となる検査目的を画像処理装置で設定してもよい。すべての検査目的を候補とし、撮像装置で選択する構成にすれば、ひとりの患者に対して様々な検査を同時に実施することができる。また、画像処理装置において、検査目的を選択し撮像装置が受信する構成として、画像処理装置において検査目的が設定されていれば、撮影者が検査目的を誤って選択することを未然に防ぐことができる。
尚、本実施例で、評価項目を、検査目的となる傷病が褥瘡であればDESIGN-R(登録商標)、皮脂欠乏症であればspecified symptom sum score system with grading of scaling, roughness, redness and cracks(以下、SRRCと略す)とした。検査目的となる傷病がアトピー性皮膚炎であればEczema Area and Severity Index(以下、EASIと略す)とした。検査目的となる傷病が乾癬ならPsoriasis Area Severity Index(以下、PASIと略す)とした。検査目的となる傷病が熱傷であればTotal Body Surface Area(以下、TBSAと略す)および熱傷深度とした。しかし、国や地域によって、評価項目および評価値が異なる場合には、図5に示した撮像制御情報の評価項目列507と評価値508を変更すればよい。そうすることで、撮像装置内のプログラムを改変することなく、新たな評価項目および評価値に対応することができる。
以上説明した通り、本実施形態の撮像装置によれば、検査目的に応じて画像処理装置から撮像制御情報を受信して、撮像条件、画面表示内容、画像付帯情報を変更するので、新たな検査目的が加わっても、図5に示した撮像制御情報に追加すればよい。そうすることで、撮像装置内のプログラムを改変することなく、新たな検査目的に対応することができる。
以上説明した通り、本実施形態の撮像装置によれば、検査目的が、撮像した画像から確認可能か否かを判定し、判定結果を通知する。よって、適切な画像を撮影できたか撮影者は確認できる。更に、撮影に際しての問題を撮影者に通知するため、撮影者の熟練度によらず、安定した画像データを記録することが可能となる。
尚、本実施例において、推論結果として、図11で説明した通り、褥瘡であれば、患部の面積、褥瘡部分、壊死部分、炎症/感染部分、肉芽組織部分、深さ情報、であることを例に説明した。他の検査目的についても、図5の推論結果表示列506に記載の通り、画像処理装置で推論した結果を表示すればよい。皮脂欠乏症であれば、患部の面積、皮脂欠乏症の部分、患部の面積、皮膚の粗さ、皮膚の赤み、皮膚の亀裂部分を表示する。アトピー性皮膚炎であれば、患部の面積、紅斑部分、湿潤/丘疹部分、掻破痕部分、苔癬化部分を表示する。乾癬であれば、患部の面積、紅斑部分、湿潤部分、落屑部分を表示する。熱傷であれば、患部の面積、熱傷部分、熱傷深度を表示する。蕁麻疹であれば、患部の面積、膨疹部分、蕁麻疹の数を表示する。また、検査目的が歯、すなわち、口腔内の傷病の場合には、歯牙の種類、歯牙の有無、補綴物の有無、う蝕の有無、う蝕の部分、歯周病部分、を撮像装置で表示してもよい。さらに、画像処理装置における推論の性能向上により、傷病の評価に役に立つ情報が取得可能になれば、追加してもよい。もし、撮像装置の推論結果表示画面において、すべての推論結果を合成することが困難な場合には、画像処理装置において撮像装置で表示を期待する画像を生成して送信するようにすればよい。
以上説明した通り、本実施形態の撮像装置および画像処理装置で構成されるシステムによれば、撮像制御情報に基づいて、画像処理装置に撮像画像を送信し、推論実行を画像処理装置で行い、その結果を撮像装置が受信する。そのため、機械学習の学習モデルや推論アルゴリズム、あるいは画像処理アルゴリズムの性能向上に伴い、推論や画像処理アルゴリズムの性能が向上した場合でも、撮像装置内のプログラムを改変することなく、性能向上の恩恵を受けることができる。加えて、撮像装置で推論結果を合成することが困難な場合には、画像処理装置で合成済みの画像を生成して送信し、撮像装置でその受信画像を表示することが可能となる。
以上説明した通り、本実施形態の撮像装置によれば、撮像制御情報に基づいて、検査目的に応じた検査評価項目に変更する。そして、その評価値を画像に付帯して記憶する。それにより、検査目的に対応する評価値をその場で記録することができるため、記録漏れを未然に防ぐことができる。また、画像処理装置における推論結果が不適切であった場合にも、その場で修正が容易となる。
以上説明した通り、本実施形態の撮像装置によれば、撮像制御情報に基づいて検査目的に応じた撮像条件で撮影することとなる。よって、撮影者の熟練度によらず、安定した画像データを記録することが可能となる。
以上説明した通り、本実施形態の撮像装置によれば、全身フラグのON,OFFの選択に応じて、部位候補を変更し、全身フラグがONの場合は部位候補となる部位を大きくし、全身フラグがOFFの場合は、部位候補となる部位を小さくする。つまり、検査目的となる傷病を患者の全身における割合で診断するか否かに応じて、部位情報の粒度を変更する。検査目的が全身の症状から傷病の状態を評価する場合においては、複数部位の撮影を促すことになるが、粒度を高くすることにより全身を撮影するための撮影回数を減少させることができる。また、部位候補の撮影し忘れを防ぐことができ、全身に対する傷病の評価値を算出することができる。
尚、本実施例において撮影アシスト図形として、前回撮影時の患部の輪郭線を描画することを例に説明したが、検査目的や全身フラグ、撮影対象の部位に応じて、体の部位に対応する輪郭線を表示するようにしてもよい。例えば、全身の症状の割合で診断する傷病において撮影部位が体幹であれば、肩および胴の輪郭線を表示すればよい。撮影部位が頭/頸であれば頭から頸にかけての輪郭線、上肢であれば上肢の輪郭線、下肢であれば、下肢の輪郭線、を表示すればよい。
以上説明した通り、本実施形態の撮像装置によれば、撮像制御情報に基づいて検査目的に応じた撮影アシスト図形をライブビュー画像に重畳して表示する。よって、撮影者や撮影する日が異なっても比較しやすく安定した画像データを記録することが可能となる。
以上説明した通り、本実施形態の撮像装置によれば、検査目的と患者情報と画像データと推論結果と評価値を関連付けて画像管理システムへと送信する。そのため、患者の検査目的毎の経過を観察することが容易となる上、検査目的や部位の選択やアシスト図形を、次の撮影時に表示することにより、撮像装置における選択操作や撮像操作が簡便になる。
以上説明した通り、本実施形態の撮像装置によれば、撮像制御情報に検査目的および部位に応じた撮影必要か否かの情報がある。そして、撮影必要な部位に関して、未撮影部位がある場合には、通知するため、撮影必要部位の撮影し忘れを未然に防ぐことが可能となる。
以上説明した通り、本実施形態の撮像装置によれば、撮像装置と被写体との相対的位置や撮影環境における光源等の条件が制御しきれない場合においても、検査目的に応じた適切な撮影、画像処理、検査項目の記録をすることができる。
〔実施例2〕
本実施例において、複数の患部を撮影し、複数の画像に対して、画像処理装置の方で診断する歯の診察を例に説明する。
本実施例において、複数の患部を撮影し、複数の画像に対して、画像処理装置の方で診断する歯の診察を例に説明する。
まず、検査目的が歯だった場合の撮像制御処理について、図6を用いて説明する。歯の診察ならではのところ中心に説明し、他の検査目的と同一である場合には、説明を省略する。
ステップS605において、CPU201は検査目的を歯として画像処理装置106へと送信する。
ステップS606において、CPU201は画像処理装置106から撮像制御情報を受信しRAM203に記憶する。検査目的が歯の場合、撮像制御情報として、歯の診察のための行507の情報を受信する。
ステップS607において、CPU201は撮像制御情報内の510列の情報を参照し、複数部位撮影が必須か否かを判定する。歯の診察のための行507の撮像制御情報の通り、複数部位の撮影が必須であるため、ステップS609へと進む。
ステップS610において、CPU201は撮像制御情報内の509列の情報を参照し、複数枚判断が可能か否かを判定する。歯の診察のための行507の撮像制御情報の通り、複数枚判断があるため、ステップS611へと進む。
ステップS611において、CPU201は全身症状で評価するか否かを撮影者に選択させる画面を表示し、全身症状で評価することを撮影者が選択する操作があったか否かを判定する。歯の診察の場合、全身症状での判断はないので、ステップS613へと進む。
ステップS614において、CPU201は撮像制御情報内の503列の情報を参照し、部位候補を部位選択画面に表示する。歯の診察のための行507の撮像制御情報の通り、上顎、下額、正面、左面、右面、を列挙する。歯の診察の場合の部位選択画面の例を図13に示す。図13については、後述する。
ステップS616において、CPU201は撮像制御情報内の撮像条件列502の情報を参照し、撮像条件に合致したパラメータで撮像できるように撮像部200を制御する。歯の診察のための行507の撮像制御情報の通り、フォーカス位置、ズーム位置、露出、ISO、Tv値、Av値、WB、ストロボ発光を行う。フォーカス位置に関しては、部位選択で選択された歯牙の像面上の位置とする。上顎を選択した場合には凸方向の歯列弓の位置、下顎を選択した場合には凹方向の歯列弓の位置、正面、左面、右面の場合には中央の位置とする。
ステップS617において、CPU201は撮像制御情報内のアシスト図形504列の情報を参照し、結像した被写体像に重畳して撮影アシスト図形を描画する。歯の診察のための行507の撮像制御情報の通り、上顎・下額の場合には歯列弓の輪郭線と中心を通る垂直線、正面・左面・右面の場合には、中心を通る垂直線と水平線を描画する。歯の診察の場合の撮像アシスト画面の例を図14に示す。図14については、後述する。
ステップS620において、CPU201は、撮像制御情報内の確認条件列505の情報を参照し、検査目的に適した画像データが生成できたか否かの判定を行う。歯の診察のための行507の撮像制御情報の通り、判定を行う。ステップS620における確認処理は、図15を用いて後述する。
ステップS621において、CPU201は撮像制御情報内の推論結果表示有無列506の情報を参照し、撮像装置101の表示装置204に推論結果を表示するか否かを判定する。歯の診察のための行507の撮像制御情報の通り、推論結果表示は無なので、ステップS626へと進む。
ステップS626において、CPU201は撮像制御情報内の評価項目列507を参照し、撮像装置101において編集すべき評価値があるか否かを判定する。歯の診察のための行507の撮像制御情報の通り、無なので、ステップS629へと進む。
ステップS629において、CPU201は撮影済みの部位をRAM203に記憶する。
ステップS630において、CPU201は全身フラグもしくは複数部位フラグがONか否かを判定する。歯の診察の場合、前述の通り複数部位フラグがONなので、ステップS631へと進む。
ステップS631において、CPU201は撮像制御情報内の複数部位撮影必須か列510を参照し、ステップS629でRAM203に記憶されている撮影済み部位と照合して、未撮影の部位があるか否かを判定する。歯の診察のための行507の撮像制御情報の通り、上顎と下顎が必須なので、RAM203に記憶されている撮影済み部位と照合して未撮影の部位があると判定した場合には、ステップS614に戻る。未撮影の部位がないと判定した場合には、ステップS632へと進む。
ステップS632において、CPU201は全身フラグがONか否かを判定する。歯の診察の場合、前述の通り全身フラグがOFFなので、ステップS634へと進む。
ステップS634において、CPU201はステップS627にて選択された評価値およびステップS632において算出した評価値を画像IDと共に画像処理装置106へと送信する。評価値がない場合には、CPU201は画像処理装置106へと未送信の画像データと撮影時の撮像条件と検査目的と患者管理番号と共に送信する。歯の診察の場合には、評価値がないので、画像処理装置106へと未送信の画像データと撮影時の撮像条件と検査目的と患者管理番号と共に送信する。
図13は、本発明の一実施形態に係る撮像装置として動作するデジタルスチルカメラを背面から見た様子を示す図である。検査目的が歯の場合の部位選択画面の例を示す。図8および図9と同じ機能を果たす部材には、図8と図9の対応する番号を付す。
1301と1302は、共に撮影状態を示す。
1301は、対象とする患者の部位901が未撮影であることを示す。
1302は、対象とする患者の部位902が撮影済みであることを示す。
撮影済みであるか否かは、CPU201がRAM203に撮影済み部位として記憶しているか否かで判定を行う。なお、撮影済みである部位については、すべての部位について撮影済みであることを表示するとよいが、未撮影である部位については、撮影必須の部位にのみ未撮影であることを示す情報を表示するようにしてもよい。
図14は、本発明の一実施形態に係る撮像装置として動作するデジタルスチルカメラを背面から見た様子を示す図である。検査目的が歯の場合で、且つ撮影対象の部位が上顎の場合の撮影アシスト図形を描画している例を示す。図8および図10と同じ機能を果たす部材には、図8と図10の対応する番号を付す。
1001は患者情報表示の一例であり、患者の氏名、性別、年齢を表示する。撮影者が患者を間違えないようにするために、撮影時に被写体像と重畳して、表示する。
1401は歯列弓の輪郭線である。上顎の場合は、凸方向の弓形、下顎の場合は凹方向の弓形の図形を描画する。
1402は、被写体像となる画角の中心点を通る垂直線である。
1401と1402の撮影アシスト図形を参考に患部を撮影することにより、異なる撮影者でも、撮影者の熟練度によらず、同様の位置で撮像が可能となる。
[撮影画像の確認処理]
図15は、本実施形態における撮影画像の確認処理を示すフローチャートである。本処理により検査目的に適した画像が生成できたかを確認する。前述のステップS620の処理を詳細化したものである。検査目的が歯の場合で、且つ撮影対象の部位が上顎の場合を例に説明を行う。図7と同様の処理については、図7の番号を付し、説明を省略する。
図15は、本実施形態における撮影画像の確認処理を示すフローチャートである。本処理により検査目的に適した画像が生成できたかを確認する。前述のステップS620の処理を詳細化したものである。検査目的が歯の場合で、且つ撮影対象の部位が上顎の場合を例に説明を行う。図7と同様の処理については、図7の番号を付し、説明を省略する。
ステップS1501において、CPU201は、CPU201は撮像時の合焦位置が画像内の撮影アシスト図形の輪郭線の座標付近になっている否かを判定する。画像中の合焦位置は、画像データに付帯されているヘッダ情報内に座標情報で保持されているものとする。合焦位置が画像の輪郭線の座標から所定の範囲内であれば、合焦位置が輪郭線の座標付近であるものと判定し、ステップS703へと進む。合焦位置が輪郭線の座標付近でないと判定した場合、ステップS1502へと進む。
ステップS1502において、CPU201は合焦位置が歯の位置からずれていることを撮影者に通知するために、患部が撮影アシスト図形に沿った位置になるように撮影してくださいと表示装置204に表示する。
ステップS1503において、CPU201は所定の色が分布している領域が撮影アシスト図形の輪郭線の座標付近に分布しているか否かを判定する。所定の色とは、歯の場合、白色および、補綴物や矯正器具で銀色、金色、であるものとする。輪郭線の座標付近に分布していると判定した場合には、ステップS714へと進む。分布していないと判定した場合には、ステップS1504へと進む。
ステップS1504において、CPU201は輪郭線に沿って歯を撮影できていないことを撮影者に通知するために、患部が撮影アシスト図形に沿った位置になるように撮影してくださいと表示装置204に表示する。
図16は、本実施形態における画像処理装置における推論実行処理を示すフローチャートである。図6のステップS634において、撮像装置101は、評価値等の結果もしくは画像データを画像処理装置106へ送信する。その後、画像処理装置106において、図16に示す推論実行処理を実行する。
ステップS634において、CPU201はステップS627にて選択された評価値およびステップS632において算出した評価値を画像IDと患者管理番号と共に画像処理装置106へと送信する。評価値がない場合には、CPU201は画像処理装置106へと未送信の画像データと患者管理番号と共に送信する。
ステップS1601において、CPU301は、評価値、画像ID、患者管理番号、もしくは、画像データと患者管理番号を受信する。
ステップS1602において、CPU301は、画像が検査目的に関して評価済みか否かを判定する。評価済みか否かは、S1601において受信した評価値があるか否かで判定する。評価済みではないと判定した場合、ステップS1603へと進む。評価済みであると判定した場合、ステップS1607へと進む。
ステップS1603において、CPU301は、患者管理番号に関連づいた検査目的に即して推論を実行する。推論は、ステップS418と同様である。複数画像で推論を実行し、同じ部位について異なる推論結果が出力された場合には、より確からしさの数値の高い推論結果を採用してもよいし、より症状の悪い結果を採用してもよい。
ステップS1604において、CPU301は、推論結果を検査目的に即して、表示する。検査目的が歯である場合には、歯式を示す図の各歯の位置に吹き出しの形で健全、う蝕、金属補綴物、白色補綴物、WSD、インプラント、矯正器具の装着有無といった推論結果を表示する。歯周病については、歯式を示す図の歯茎の位置に吹き出しの形で歯周病と表示する。上顎の右側の犬歯、第一臼歯、等の歯の種類については、個々に表示はしないが、内部的に歯の種類と推論結果の症状を対応付けることにより歯式を示す図上で各歯の吹き出しとして症状を表示する。
ステップS1605において、CPU301は、評価値を編集する画面へと遷移する。撮像装置101の評価値編集画面のような機能を果たす画面へと遷移してもよいし、ステップS1604の推論結果となる吹き出しを選択できるようにし、入力装置306によりユーザーが変更してもよい。そして、画面内に編集完了ボタンを配置する。
ステップS1606において、CPU301は、編集完了ボタンが選択されたか否かを判定する。編集完了ボタンが選択されたと判定した場合には、ステップS1607へと進む。編集完了ボタンが選択されていない場合には、ステップS1605へと戻り、評価値編集が可能な画面の表示を継続する。
ステップS1607において、CPU301は、警告が必要か否かを選択する。警告が必要か否かは検査目的毎に事前にユーザーが指定した条件を満たすか否かで判定するものとする。また、警告と共に、他に通知すべきシステムや診療科がある場合には、その情報もユーザーが、設定しておくものとする。画像処理装置で利用する情報ではあるが、検査目的毎の情報なので、図5に示す撮像制御情報に付帯する形で記憶してもよい。検査目的毎の条件および通知先は、HDD305に記憶されており、本処理に際しては、RAM303に読み込みCPU301が判定する。CPU301は、ユーザーが指定した条件に当てはまる場合、警告が必要と判定し、ステップS1608へと進む。CPU301は、ユーザーが指定した条件に当てはまる場合、警告が不要と判定し、ステップS1610へと進む。警告が必要な例としては、検査目的が褥瘡の場合、壊死組織部分が拡大している場合、深さが骨に達している場合である。検査目的が、アトピー性皮膚炎、皮脂欠乏症、乾癬の場合、体の全体面積に対する割合が拡大傾向にある場合、炎症が所定値以上に悪化している場合である。検査目的が熱傷の場合、感染症を発見した場合、検査目的が歯の場合、歯周病を発見した場合である。
ステップS1608において、CPU301は、警告を表示する。
ステップS1609において、CPU301は、ユーザーが設定した通知先に患者管理番号に関連付けて評価値と警告内容を送信する。検査目的が褥瘡の場合の警告通知先としては、褥瘡ケアプランナーのケアプラン管理システムや給食システムである。アトピー性皮膚炎、皮脂欠乏症、乾癬、熱傷の場合は、内科の診療科のシステムである。歯の場合は、産婦人科や内科の診療科のシステムである。
ステップS1610において、CPU301は、既定の電子カルテシステム104と画像データがある場合には、画像管理システム105へと送信する。
尚、本実施例について、歯の推論結果を歯式の図中に吹き出しの形で表示する例を挙げたが、歯式コードの形で、各歯と状態を対にして出力してもよい。
本実施例において、画像処理装置で推論結果を表示する例を説明したが、更に電子カルテシステム104と通信して、電子カルテ表示端末103に表示してもよい。その場合には、ステップS1603の後に電子カルテシステム104へと送信し、ステップS1605以降ステップS1609まで処理を電子カルテシステムの機能で提供すればよい。
以上説明した通り、本実施形態の撮像装置によれば、撮像制御情報に基づいて画像解析結果を表示するか否かを変更する。よって、撮像制御情報の設定次第で、検査目的に応じて、推論を撮像装置で表示することもできるし、画像処理装置で表示することも可能となる。
以上説明した通り、本実施形態の撮像装置によれば、撮像制御情報に基づいて検査目的および部位に応じて撮影アシスト図形が変わる。本実施例における歯の診察においては、正面を撮影する際には、噛み合わせ位置用の水平方向(横方向)の直線と歯の中央位置用の垂直方向(縦方向)の直線を表示するようにしてもよい。歯の噛み合わせ位置が水平線に沿うように、前歯の中央位置が垂直線に沿うように撮影ができる。よって、撮影者や撮影する日が異なっても比較しやすく安定した画像データを記録することが可能となる。
以上説明した通り、本実施形態の撮像装置および画像処理装置で構成されるシステムによれば、検査目的に応じて警告が必要か否かを切り替え、警告が必要な場合には、通知する。さらに、必要に応じて、関連する診療科の医療システムにも通知する。これにより、治療の対応漏れを未然に防ぐことが可能となる。
〔実施例3〕
本実施例において、発疹を含む症状を持つ傷病に関してさらに適切な撮影を実現する例を説明する。発疹を含む症状を持つ傷病は、患部の特徴が細かくかつ広範囲領域に及ぶことがあるため、診断画像として、細部を確認する拡大画像に加え、全体像を確認する俯瞰画像を撮影することが望ましい。そこで、複数の画角で患部を撮影し、画角毎の画像に対して、画像処理装置の方で診断するアトピー性皮膚炎の診察を例に説明する。
本実施例において、発疹を含む症状を持つ傷病に関してさらに適切な撮影を実現する例を説明する。発疹を含む症状を持つ傷病は、患部の特徴が細かくかつ広範囲領域に及ぶことがあるため、診断画像として、細部を確認する拡大画像に加え、全体像を確認する俯瞰画像を撮影することが望ましい。そこで、複数の画角で患部を撮影し、画角毎の画像に対して、画像処理装置の方で診断するアトピー性皮膚炎の診察を例に説明する。
まず、検査目的がアトピー性皮膚炎だった場合の撮像制御処理について、図17および図18を用いて説明する。アトピー性皮膚炎の診察ならではのところ中心に説明し、他の検査目的と同一である場合には、説明を省略する。
図17は、本実施形態における撮像制御情報と検査目的の対応関係を示す概念図である。本実施例において、図17に示す情報は画像処理装置106内のHDD305に記憶されているものとし、撮像装置101からステップS411で受信した検査目的に対応する撮像制御情報をステップS412で読み込む際に使用する情報である。図5と同様の情報については、図5の番号を付し、説明を省略する。
1701は、撮像条件を示す列である。検査目的毎に診察補助に適切な画像を撮影するための撮像装置101に指定する撮像条件を保持する。撮像条件で指定されていないパラメータに関しては、撮像装置101において撮影者が変更可能であるものとする。502とは異なり、俯瞰画像と拡大画像を撮るために全身フラグによらずズーム位置をマニュアルと設定する。
図18は、本実施形態における撮像制御処理を示すフローチャートである。図18においては撮像装置101における処理を詳細に説明する。図6と同様の処理については、図6の番号を付し、アトピー性皮膚炎の診察ならではのところ以外は説明を省略する。
ステップS605において、CPU201は検査目的をアトピー性皮膚炎として画像処理装置106へと送信する。
ステップS606において、CPU201は画像処理装置106から撮像制御情報を受信しRAM203に記憶する。検査目的がアトピー性皮膚炎の場合、撮像制御情報として、アトピー性皮膚炎の診察のための行514の情報を受信する。
ステップS1801において、CPU201はステップS604にて撮影者により選択された検査目的もしくはステップS602において一意に特定した検査目的の傷病の症状が発疹を含むか否かを判定する。発疹を含む場合には、ステップS1802へ進む。発疹を含まない場合には、ステップS629へ進む。
ステップS1802において、CPU201は評価済みの画角をRAM203に記憶する。
評価済みの画角が俯瞰画像であるか、拡大画像であるかの判定については、図20を用いて後述する。
ステップS1803において、CPU201は俯瞰画像および拡大画像の両方が撮影済みか否かを判定する。両方撮影済みである場合には、ステップS629へ進む。両方撮影済みでない場合には、ステップS1804へ進む。
ステップS1804において、CPU201は俯瞰画像が撮影済みか否かを判定する。俯瞰画像が撮影済みである場合には、ステップS1805へ進む。俯瞰画像が撮影済みでない場合には、ステップS1806へ進む。
ステップS1805において、CPU201は次に拡大画像を撮影することを撮影者に通知するために、拡大画像を撮影してくださいと表示装置204に表示する。撮影のためにステップS616へ戻る。
ステップS1806において、CPU201は次に俯瞰画像を撮影することを撮影者に通知するために、俯瞰画像を撮影してくださいと表示装置204に表示する。撮影のためにステップS616へ戻る。
図19は、本発明の一実施形態に係る撮像装置として動作するデジタルスチルカメラを背面から見た様子を示す図である。検査目的がアトピー性皮膚炎の場合の患部画像の例を示す。図8および図10と同じ機能を果たす部材には、図8と図10の対応する番号を付す。
図19(a)は俯瞰画像の例である。
図19(b)は拡大画像の例である。
1901は患部であり、アトピー性皮膚炎の場合は発疹部分である。
1902は健常部である。
1903は患部1901および健常部1902以外の背景部であり、例えば壁である。
1904は画角表示の一例であり、レンズの焦点距離情報である。表示しなくてもよい。
図20は、本実施形態における評価済みの画角が俯瞰画像であるか、拡大画像であるかを判定するフローチャートである。ステップS1802にて行う処理となる。
ステップS2001において、撮影時のレンズの焦点距離が50mm以下であるか否かを判定する。レンズの焦点距離が50mm以下である場合には、ステップS2002へ進む。レンズの焦点距離が50mm以下でない場合には、ステップS2003へ進む。
ステップS2002において、評価済みの画角は俯瞰であると判定する。
ステップS2003において、評価済みの画角は拡大であると判定する。
図20ではレンズの焦点距離の閾値を50mmとしたが、これ以外の任意の値でもよく、検査目的の傷病に応じて複数の閾値を設けてもよい。
また、これ以外の方法で評価済みの画角が俯瞰画像であるか、拡大画像であるかを判定してもよく、例えば色情報などによる画像解析を行い、背景部1903が存在する場合は俯瞰、背景部1903が存在しない場合は拡大であると判定してもよい。さらに、撮影者に撮影画像が俯瞰画像であるか、拡大画像であるか選択させる形式でもよい。
以上説明した通り、本実施形態の撮像装置によれば、検査目的が発疹を含む症状を持つ傷病である場合においては、俯瞰画像と拡大画像の撮影を促すことになり、撮影し忘れを未然に防ぐことができる。
以上説明した通り、本実施形態の撮像装置によれば、検査目的に応じて、適切な画像を撮影できたか確認でき、更に、撮影に際しての問題を撮影者に通知するため、撮影者の熟練度によらず、安定した画像データを記録することが可能となる。
〔実施例4〕
本実施例においては、撮影の前に撮像装置の事前画像より推定し、部位を選択入力するための手間を削減したり、さらにその選択結果を用いて撮影条件をより好適に変更したりする例を図21~27を用いて説明する。本実施形態は、基本的には実施例1と同様の処理を行い、一部の処理だけ実施例1と異なる。本実施例において、実施例1と異なる処理について、図21を用いて説明する。図21は図4のうち、検査目的送信S411より推論実行S418までの処理を抜粋し、本実施例の処理の流れを説明する図である。図21の処理のうち、S411~S412及びS414~S418までの処理は、図4と同様であるので説明を省略する。なお、図21の処理は、図4と同様に、各装置、システムの制御プログラムに基づいて各装置、システムが処理を実行することにより実現される。
本実施例においては、撮影の前に撮像装置の事前画像より推定し、部位を選択入力するための手間を削減したり、さらにその選択結果を用いて撮影条件をより好適に変更したりする例を図21~27を用いて説明する。本実施形態は、基本的には実施例1と同様の処理を行い、一部の処理だけ実施例1と異なる。本実施例において、実施例1と異なる処理について、図21を用いて説明する。図21は図4のうち、検査目的送信S411より推論実行S418までの処理を抜粋し、本実施例の処理の流れを説明する図である。図21の処理のうち、S411~S412及びS414~S418までの処理は、図4と同様であるので説明を省略する。なお、図21の処理は、図4と同様に、各装置、システムの制御プログラムに基づいて各装置、システムが処理を実行することにより実現される。
撮像制御情報を読み込んだ撮像装置は、事前画像送信S2101を行う。ここで、事前画像を送信するタイミングは、撮影者が患部画像を撮影するのと同様に、撮影者が自分でシャッターを押下して、事前画像を撮影して、画像処理装置に送信してもよい。あるいは、S416で患部画像を撮影する前の撮影待機時に、撮像装置がライブビュー画像(ライブ画像)を表示するライブビュー機能を実行している場合は、ライブビュー用に撮影した画像を、自動的に画像処理装置に事前画像として送信するようにしてもよい。
図22は、撮影者がシャッターを押下して撮影して事前画像を送信する場合の撮像装置の表示例であり、図23は、ライブビュー機能を実行し、患部画像の撮影待機時に自動で事前画像を送信する場合の、撮像装置での表示例である。
S2101で事前画像を受信した画像処理装置は、S2102で部位推定を行う。部位推定では、事前画像の輝度情報や色情報、色相情報、勾配情報などを用いて人体を抽出する。その後、勾配情報や領域的な色あるいは強度情報の分布を用いて部位推定する。あるいは、濃淡分布や輝度勾配の形状特徴情報を用いたマッチングで部位推定してもよく、輝度勾配が一定以上の画素をエッジ情報として抽出し、その位置や重心、傾きなどを用いて部位推定したりしてもよい。また、深層学習のようなニューラルネットワークを用いた機械学習によって人体各部位の教師データを作成しておき、受信した事前画像に含まれる部位を推定するようにしてもよい。また、本実施形態では、画像処理装置において部位推定を行うものとするが、部位推定を撮像装置において実行するようにしてもよい。そして、画像処理装置は、S2103において、S2102での部位推定で推定された部位情報である部位推定結果と、S412で読み込んだ撮像制御情報を、撮像装置に送信する。なお、撮像制御情報と部位推定結果とを図21のように同時に撮像装置に送信するようにしてもよいし、別で送信するようにしてもよい。例えば、画像処理装置は、S411で検査目的を受信したことに応じて、検査目的に応じた撮像制御情報を撮像装置に送信する。そして、S2101撮像装置から事前画像を受信したことに応じて、S2102の部位推定を実行し、部位推定結果を撮像装置に送信するようにしてもよい。また、検査目的の前に事前画像を撮像装置から画像処理装置に送信できるようにしてもよい。
S2102において画像処理装置が部位推定を行い、S2103で撮像装置が部位推定結果を取得(部位取得)することで、図22のように、事前画像と共に画像処理装置で推定した部位を撮像装置において表示することができる。図22でのような構図であれば「頭部」が部位として推定され、事前画像と共に推定部位として「頭部」が表示される。図23のように、事前画像としてライブビュー画像を用いる場合、撮像装置はライブビュー画像として撮影した画像を所定間隔で事前画像としてS2101で画像処理装置に送信する。そして、画像処理装置では、所定間隔で受信する事前画像それぞれについて、S2102で部位推定をして、S2103で推定した部位の部位情報を部位推定結果として撮像装置に送信する。つまり、S414、S415において部位が撮影者により選択されるまで、S2101~SS2103の処理を繰り返し、撮像装置は、画像処理装置で推定された部位を現在のライブビュー画像と共に表示する。撮像装置に表示される部位は、現在のライブ画像ではなく、事前画像として送信した画像により推定された部位であるため、部位の表示は多少遅延することがある。そして、撮像装置での構図を変化させることによりライブ画像が変化すると、変化したライブ画像に応じて、S2102で推定される部位も変化する。例えば、図23では、図23(a)全身→図23(b)腰、上半身→図23(c)上半身→図23(d)頭部」のように、部位推定結果が変化して表示される。なお、図22、23では、画像と共に推定部位を表示するものとしたが、推定部位だけでなく、S407で撮像装置が受信した患者情報や、S410で選択した検査目的も表示するようにしてもよい。
S2102において部位推定を行う際には、1つの部位のみを部位推定結果とするだけでなく、複数の部位を推定結果としてもよい。撮影された画像データによっては人体の撮影された領域が広く、複数の部位が推定結果に含まれることが考えられるが、その際には推定された複数の部位を、全て部位推定結果としてもよい。部位推定結果として複数の部位が含まれる場合は、推定の確度が高いものがわかるように、例えば確度が高いものから列挙したり、確度が高い部位にフラグを立てたりして部位推定結果を生成し、撮像装置に送信するようにしてもよい。
また、事前画像だけでなく、S411で受信した検査目的や、S404において電子カルテシステムから受信した患者情報を用いて部位推定を行うようにしてもよい。例えば、S411で受信した検査目的において、1か月以内に既往歴があった際の撮影部位が「頭部」であった場合は、推定結果として頭部が選択されるようにしたり、既往歴があった場合の過去の撮影部位が選択されやすくなるようにしてもよい。既往歴があった際の撮影部位と、事前画像からの推定結果が異なる場合は、既往歴の撮影部位と事前画像からの推定結果の両方の部位を、部位推定結果として撮像装置に送信するようにしてもよい。
図22のように、撮影者が事前画像の撮影指示を行って事前撮影をした場合は、画像処理装置から部位推定結果をS2103で受信した後、図23のようにライブビュー画像を事前画像として自動で送信する。この場合は、撮影者から部位選択の指示があったことに応じて、撮像装置は、S414の部位候補表示を行う。
S414では、実施例1と同様に図25のように部位候補を表示する。なお、本実施例では、S2103において画像処理装置から受信した部位推定結果を、部位候補として表示する。実施例1と同様に、S2103において受信した部位推定結果の部位が1つの場合は、S414の部位候補(部位選択画面)の表示を実行せずに、S2103で部位推定結果として受信した部位を、S415において撮影対象の部位として撮像装置(CPU201)が自動で選択して設定するようにしてもよい。また、S2101の事前画像送信を行わずに、撮影者により部位選択のための操作がなされた場合は、部位推定結果を用いずに、実施例1と同様に部位候補の表示を行うようにしてもよい。また、S414において部位候補を表示する際や、図22,23のように、推定結果の部位を表示する際には、検査目的に対応する部位と対応しない部位とで区別して表示するようにしてもよい。S411において選択された検査目的において部位候補に含まれない部位であることがわかるように、区別して表示する。例えば。S2103で画像処理装置から受信した部位推定結果に含まれる部位が、S411において選択された検査目的において撮影対象の部位候補とならない部位である場合は、その部位をグレーアウト表示にしたり、色や表示形態を変えて表示したりする。または、図22、23のように、画像と共に部位推定結果を表示するときには検査目的に対応しない部位はグレーアウト表示し、S414の部位候補の表示においては検査目的に対応しない部位は選択不可であるため非表示にするようにしてもよい。また、部位推定結果に、推定の確度に関する情報が含まれる場合は、図22,23の部位推定結果の表示、図24,25の部位候補の表示(部位選択画面)において、推定確度の高い部位と低い部位とを区別して表示するようにしてもよい。例えば、推定確度の高い部位は太字にしたり、色を変えて表示する。
このように、部位推定のための事前画像を部位選択(S414、S415)の前に画像処理装置に送信し、画像処理装置で推定された部位のみを部位候補とすることで、部位選択を容易にすることができる。ライブビュー画像を用いて事前画像を自動送信すれば、撮影者は特別な操作を行わなくても、部位候補を推定結果の部位に絞り込むことができる。さらに、部位推定結果の部位が1つの場合は、S414の部位候補の表示を行わずに、S415において推定結果の部位を撮像装置が自動で選択するようにしてもよい。こうすることで、撮影者による部位の選択が不要となる。また、推定結果の部位を画像と共に表示することで撮影者は推定された部位を確認できる。撮影者は、推定結果の部位が撮影対象とする部位と異なる場合は、構図を変更することで推定結果の部位が変更されるようにすることもできる。撮影部位と、推定結果の部位が異なる場合は、正しい構図となっていない場合が考えられるため、撮影者は正しい構図で撮影できているかを確認することもできる。
なお、部位推定を部位情報の選択や構図の確認のために用いずに、部位推定した結果の部位情報をS416で撮影した患部画像と対応付けて記録/送信するためだけに用いることも考えられる。その場合は、事前画像の送信は行わずに、S416で撮影してS417で画像処理装置に送信した患部画像を用いて部位推定を行うようにしてもよい。
より好適な患部画像を撮影したい場合、撮影する部位によって大きさや奥行き変化量、適切な構図などが異なるため、撮影条件や確認条件が異なる場合がある。
そこで、図26,図27を参照して実施例4の変形例について説明する。
図27では、上述で説明した図21のフローに、S2104の撮影条件更新処理が追加されている。S2104の撮像条件更新処理においては、画像処理装置は、S2102での部位推定結果に応じて、推定された部位に対応した撮像条件となるように画像処理装置に送信する撮像条件を更新する。そして、S2103において、S2104で更新された撮影制御情報と、S2102での部位推定結果を送信する。なお、このような撮像条件更新は、S2102での部位推定結果に応じて行うだけでなく、S415での部位選択の結果に応じて実行してもよい。その場合、S415で選択された部位を画像処理装置に通知(送信)して、画像処理装置で撮像条件情報を更新して、更新した撮像条件情報を撮像装置に送信し、撮像装置では、受信した撮像条件情報に基づいて、撮像装置の撮像条件を設定する。あるいは、予め検査目的に対応する複数の部位候補に対応する撮像条件情報を画像処理装置から撮像装置に送信しておき、撮像装置で部位が選択されたことに応じて、その部位に対応する撮像条件情報から、撮像装置の撮像条件を設定するようにしてもよい。
図26は検査目的が褥瘡だった場合の部位候補毎の撮像条件と確認条件の例を示している。例えば頭部や、手、腕はそれほどサイズが大きくないので、被写体距離がそれほど離れる必要がない。被写体距離が近い場合、絞りを開いても合焦することが可能なので、絞りを開き、ISO感度低め、シャッタースピード速めで、ノイズと被写体ぶれを抑える設定としたりする。一方で、背中や腰、脚部分はサイズが大きかったり、奥行き変化量が大きいため、被写体距離や被写界深度を大きく取る必要があるので、撮影画像の明るさを増幅するために、ISO値を高く設定したり、シャッター速度を遅くしたりしている。
検査目的と部位推定結果に基づき撮影条件を更新する例を挙げたが、更に被写体となる患者の特性に基づいて、更に調整してもよい。例えば、患者の肌の色が暗い色で皮膚疾患の患部の撮影をする場合には、ISO感度を推奨する範囲内で上げる。患者が乳児で且つ部位が手足であり、被写体ぶれが想定される場合には、シャッタースピードを推奨する範囲内で速くする。
〔その他の実施形態〕
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
また、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
Claims (39)
- 検査用の画像を撮影する撮像部と、所定のシステムと通信する通信部とを有する撮像装置であって、検査目的を選択する選択手段と、
前記選択手段により選択された検査目的に対応する撮像制御情報を、前記通信部を介して前記システムから取得する取得手段と、
前記検査目的に応じて取得した前記撮像制御情報に基づいて、撮像条件の設定値、前記撮像部により撮像される画像と共に表示手段に表示される表示内容、前記撮像部により撮像された画像に関連付ける情報の項目、の少なくとも1つを設定する制御手段と、
を有することを特徴とする撮像装置。 - 前記撮像装置は、可搬型の撮像装置であることを特徴とする請求項1に記載の撮像装置。
- 前記制御手段は、前記検査目的に応じて取得した前記撮像制御情報に基づいて、前記撮像条件の設定値を設定し、
前記撮像条件は、フォーカス位置、ズーム位置、ISO感度、露出、シャッタースピード、絞り、ホワイトバランス、色調整、ストロボ発光有無、の少なくとも1つを含む、
ことを特徴とする請求項1に記載の撮像装置。 - 前記制御手段は、前記検査目的に応じて受信した前記撮像制御情報に基づいて、前記撮像部により撮像される画像と共に前記表示部に表示する撮影アシスト図形の種類を決定し、決定された撮影アシスト図形を前記撮像装置の表示部に表示するように制御することを特徴とする請求項1に記載の撮像装置。
- 前記撮影アシスト図形の種類は、前回検査時の患部を示す図形、検査する部位の輪郭を示す図形、歯の噛み合わせ位置用の直線、歯列弓の輪郭線、のうちの少なくとも1つを含む、
ことを特徴とする請求項4に記載の撮像装置。 - 前記制御手段は、前記検査目的に応じて取得した前記撮像制御情報に基づいて、前記撮像部により撮像された画像に関連付ける検査評価項目を設定することを特徴とする請求項1に記載の撮像装置。
- 前記制御手段は、前記検査目的に応じて取得した前記撮像制御情報に基づいて、DESIGN-R、SRRC、EASI、PASI、TBSAのうちの少なくとも1つを含む複数の検査評価項目の中から、前記検査評価項目を設定することを特徴とする請求項6に記載の撮像装置。
- 前記制御手段は、
前記検査目的が褥瘡の場合は、DESIGN-R、
前記検査目的が皮脂欠乏症の場合は、SRRC、
前記検査目的がアトピー性皮膚炎の場合は、EASI、
前記検査目的が乾癬の場合は、PASI、
前記検査目的が熱傷の場合は、TBSAおよび熱傷深度、
を前記検査評価項目として設定される、
ことを特徴とする請求項7に記載の撮像装置。 - 前記選択手段は、前記通信部を介して前記システムから取得した複数の検査目的の中から検査目的をユーザー操作に応じて選択することを特徴とする請求項1に記載の撮像装置。
- 前記選択手段は、前記システムから取得した検査目的が1つの場合は、自動で検査目的を選択する、ことを特徴とする請求項9に記載の撮像装置。
- 前記撮像制御情報は、撮像条件の設定値を含み、さらに、撮影すべき部位の候補に関する部位情報、評価項目に関する情報、撮影必須な部位に関する情報の少なくとも1つを含む、ことを特徴とする請求項1に記載の撮像装置。
- 前記撮像部により撮影した患者画像を前記通信部により前記システムに送信し、前記システムから、前記患者画像の患者に対応する患者情報を前記通信部により受信して取得する患者情報取得手段を有することを特徴とする請求項1に記載の撮像装置。
- 前記患者情報取得手段は、患者に関するコードを撮影した画像を前記患者画像として前記システムに送信し、前記システムが前記患者画像を解析して得たコードに対応する患者情報を前記システムから受信する、ことを特徴とする請求項12に記載の撮像装置。
- 前記選択手段は、前記患者情報に対応する検査目的の中から検査目的を選択する、ことを特徴とする請求項12に記載の撮像装置。
- 前記選択手段は、前記患者情報に対応する検査目的がない場合は、前記患者情報に関わらない複数の検査目的の中から検査目的を選択する、ことを特徴とする請求項14に記載の撮像装置。
- 前記制御手段は、前記検査目的に応じて取得した前記撮像制御情報に基づいて設定された撮像条件の設定値は、ユーザー操作に応じて変更不可にし、前記撮像制御情報に基づいて設定されていない撮像条件の設定値はユーザー操作に応じて変更可能とする、ことを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。
- 前記撮像部により撮影した画像を前記システムに前記通信部を介して送信し、前記システムでの当該画像の画像解析結果を前記システムから前記通信部を介して受信する画像解析結果受信手段を有し、
前記制御手段は、前記画像解析結果受信手段により受信した画像解析結果に基づく情報を、前記画像と共に表示するように制御することを特徴とする請求項1に記載の撮像装置。 - 前記制御手段は、
前記検査目的が褥瘡の場合は、患部の面積、褥瘡部分、壊死部分、炎症/感染部分、肉芽組織部分、深さ情報、の少なくともいずれかを表示し、
前記検査目的が皮脂欠乏症の場合は、患部の面積、皮脂欠乏症の部分、患部の面積、皮膚の粗さ、皮膚の赤み、皮膚の亀裂部分、の少なくともいずれかを表示し、
前記検査目的がアトピー性皮膚炎での場合は、患部の面積、紅斑部分、湿潤/丘疹部分、掻破痕部分、苔癬化部分、の少なくともいずれかを表示し、
前記検査目的が乾癬の場合は、患部の面積、紅斑部分、湿潤部分、落屑部分、の少なくともいずれかを表示し、
前記検査目的が熱傷の場合は、患部の面積、熱傷部分、熱傷深度、の少なくともいずれかを表示し、
前記検査目的が蕁麻疹の場合は、患部の面積、膨疹部分、蕁麻疹の数、の少なくともいずれかを表示し、
前記検査目的が口腔内の傷病の場合は、歯牙の種類、歯牙の有無、補綴物の有無、う蝕の有無、う蝕の部分、歯周病部分、の少なくともいずれかを表示する、
ように制御する、ことを特徴とする請求項17に記載の撮像装置。 - 前記撮像制御情報に含まれる部位情報に基づいて撮影対象の部位を選択する部位選択手段を更に有することを特徴とする請求項1に記載の撮像装置。
- 前記部位選択手段は、前記撮像制御情報に基づいて決定される部位候補の中から、前記撮影対象の部位を選択する、ことを特徴とする請求項19に記載の撮像装置。
- 前記検査目的となる傷病を患者の全身で評価するか否かに応じて、前記部位選択手段により選択可能とする前記部位候補の粒度を変更することを特徴とする請求項20に記載の撮像装置。
- 前記検査目的となる傷病を患者の全身で評価する場合は、体の広い範囲をしめす部位を前記部位候補とし、
前記検査目的となる傷病を患者の全身で評価しない場合は、体の狭い範囲をしめす部位を前記部位候補とすることを特徴とする請求項21に記載の撮像装置。 - 前記制御手段は、前記部位候補の中から前記撮影対象の部位を選択するための部位選択画面を前記表示手段に表示するように制御する請求項20に記載の撮像装置。
- 前記制御手段は、前記撮像制御情報に含まれる撮影必須な部位に関する情報に基づいて、撮影必須な部位候補が識別可能となるように前記部位選択画面を表示するように制御することを特徴とする請求項23に記載の撮像装置。
- 前記撮像制御情報は、撮影必須の部位に関する情報を含み、
前記検査目的が皮脂欠乏症、アトピー性皮膚炎、乾癬、熱傷、蕁麻疹のいずれかの場合は、頭部/頸、体幹、上肢、下肢、を撮影必須の部位とする情報が前記撮像制御情報に含まれ、
前記検査目的が口腔内の傷病の場合は、上顎、下顎、を撮影必須の部位とする情報が前記撮像制御情報に含まれる、
ことを特徴とする請求項1に記載の撮像装置。 - 前記検査目的となる傷病が発疹を含むか否かに応じて、前記部位候補の粒度を変更することを特徴とする請求項20に記載の撮像装置。
- 前記制御手段は、前記検査目的となる傷病の症状が発疹を含む場合、前記撮像部により複数の異なる画角の画像を撮影するように制御することを特徴とする請求項1に記載の撮像装置。
- 前記制御手段は、前記検査目的となる傷病の症状が発疹を含む場合、前記複数の異なる画角の画像を撮影していない場合に、未撮影の画角の画像の撮影を促すことを特徴とする請求項27に記載の撮像装置。
- 前記制御手段は、前記検査目的となる傷病の症状が発疹を含む場合、俯瞰画像および拡大画像を撮影するように制御することを特徴とする請求項27に記載の撮像装置。
- 前記制御手段は、俯瞰画像および拡大画像が撮影されたか否かを、撮影画像のレンズの焦点距離情報に応じて判定することを特徴とする請求項29に記載の撮像装置。
- 前記発疹を含む傷病は、皮脂欠乏症、アトピー性皮膚炎、乾癬、蕁麻疹のいずれかであることを特徴とする請求項26に記載の撮像装置。
- 撮影対象の部位を選択する部位選択手段を有し、
前記選択手段は、前記撮像部により撮影された画像に基づいて推定された部位を撮影対象の部位として選択することを特徴とする請求項1に記載の撮像装置。 - 前記選択手段は、前記撮像部により撮影待機時に撮影された画像に基づいて推定された部位を撮影対象の部位として選択し、
前記制御手段は、ユーザーからの撮影指示に応じて前記撮像部より撮影された患部画像と、前記部位選択手段により選択された部位の情報とを関連付けて前記システムに送信する、
ことを特徴とする請求項32に記載の撮像装置。 - 前記撮像部により撮影された画像に基づいて推定された部位を取得する部位取得手段を有し、
前記部位取得手段は、前記撮像部により撮影待機時に撮影された画像を前記システムに送信し、前記システムから、前記画像に基づいて推定された部位を取得する、
ことを特徴とする請求項32に記載の撮像装置。 - 前記部位選択手段は、前記部位取得手段により取得した複数の部位の中から部位選択画面を介してユーザーに部位を選択させる、ことを特徴とする請求項32に記載の撮像装置。
- 前記選択手段は、前記撮像部により撮影待機時に撮影された画像に基づいて推定された部位を撮影対象の部位として選択し、
前記制御手段は、前記撮像部により撮影されたライブ画像と共に、前記選択された部位を表示部に表示するように制御する、
ことを特徴とする請求項32に記載の撮像装置。 - 前記制御手段は、前記検査目的に応じて取得した前記撮像制御情報と、前記選択手段により選択された部位に基づいて、撮像条件の設定値を設定することを特徴とする請求項33に記載の撮像装置。
- 検査用の画像を撮像する撮像部と、所定のシステムと通信する通信部とを有する撮像装置の制御方法であって、
検査目的を選択する選択工程と
前記選択された検査目的に対応する撮像制御情報を、前記通信部を介して前記システムから取得する取得工程と
前記検査目的に応じて取得した前記撮像制御情報に基づいて、撮像条件の設定値、前記撮像部により撮像される画像と共に表示手段に表示される表示内容、前記撮像部により撮像された画像に関連付ける情報の項目、の少なくとも1つを設定する制御工程と、
を有することを特徴とする撮像装置の制御方法。 - コンピュータを、請求項1乃至37のいずれか1項に記載の各手段として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/004173 WO2022181277A1 (ja) | 2021-02-24 | 2022-02-03 | 撮像装置 |
EP22759317.5A EP4298991A1 (en) | 2021-02-24 | 2022-02-03 | Image capturing device |
US18/453,124 US20240007734A1 (en) | 2021-02-24 | 2023-08-21 | Imaging apparatus, control method, and storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021027613 | 2021-02-24 | ||
JP2021027613 | 2021-02-24 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022129358A true JP2022129358A (ja) | 2022-09-05 |
Family
ID=83150207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021204385A Pending JP2022129358A (ja) | 2021-02-24 | 2021-12-16 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022129358A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024068009A1 (en) * | 2022-09-30 | 2024-04-04 | Essity Hygiene And Health Aktiebolag | Method, computer readable medium and computer program for assisting a first user in capturing a digital image of a transparent wound dressing, and for assisting a second user in reviewing digital images of a transparent wound dressing |
-
2021
- 2021-12-16 JP JP2021204385A patent/JP2022129358A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024068009A1 (en) * | 2022-09-30 | 2024-04-04 | Essity Hygiene And Health Aktiebolag | Method, computer readable medium and computer program for assisting a first user in capturing a digital image of a transparent wound dressing, and for assisting a second user in reviewing digital images of a transparent wound dressing |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109922754B (zh) | 用于牙齿图像的方法和装置 | |
JP6878628B2 (ja) | 生理学的モニタのためのシステム、方法、及びコンピュータプログラム製品 | |
JP6904901B2 (ja) | 患者の口内の視覚化装置 | |
JP5607640B2 (ja) | 眼の特徴の画像を得る方法と装置 | |
ES2724115T3 (es) | Interfaz gráfica de usuario para el marcado de márgenes asistido por ordenador sobre dentaduras | |
KR102267197B1 (ko) | 디지털 치아 영상에 치아 진료 데이터를 기록 및 표시하는 방법 및 장치 | |
JP6126224B2 (ja) | 撮影評価・検出ユニット及び遠隔診断システム | |
WO2012096312A1 (ja) | 口腔内撮影表示システム | |
TWI691933B (zh) | 一種圖像處理方法及裝置 | |
CN108430307A (zh) | 视网膜图像捕获 | |
JP2012157683A (ja) | 歯科診療システム | |
JP6830082B2 (ja) | 歯科分析システムおよび歯科分析x線システム | |
CN108629845B (zh) | 手术导航装置、设备、系统和可读存储介质 | |
JP2022129358A (ja) | 撮像装置 | |
CN111867446A (zh) | 裂隙灯显微镜及眼科系统 | |
JP2022105634A (ja) | スリットランプ顕微鏡及び眼科システム | |
TWI286927B (en) | Method and apparatus for producing images of infrared radiation of a patient | |
WO2022181277A1 (ja) | 撮像装置 | |
JP2000138927A (ja) | 画像比較表示装置 | |
US20220361739A1 (en) | Image processing apparatus, image processing method, and endoscope apparatus | |
KR20200129599A (ko) | 치과용 파노라마 엑스선 촬영 장치 및 방법 | |
CN216090895U (zh) | 一种手术显微镜诊疗系统 | |
JPH06269413A (ja) | 眼科画像処理装置 | |
KR20200135002A (ko) | 치과용 파노라마 촬영 장치 및 방법 | |
CN105899123B (zh) | 用于内窥镜的视频处理器和具有该视频处理器的内窥镜系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |