JP2020151461A - Imaging apparatus, information processing apparatus, and information processing system - Google Patents
Imaging apparatus, information processing apparatus, and information processing system Download PDFInfo
- Publication number
- JP2020151461A JP2020151461A JP2020023400A JP2020023400A JP2020151461A JP 2020151461 A JP2020151461 A JP 2020151461A JP 2020023400 A JP2020023400 A JP 2020023400A JP 2020023400 A JP2020023400 A JP 2020023400A JP 2020151461 A JP2020151461 A JP 2020151461A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- information
- posture
- imaging
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 75
- 230000010365 information processing Effects 0.000 title claims description 67
- 208000004210 Pressure Ulcer Diseases 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims description 57
- 238000004891 communication Methods 0.000 claims description 43
- 206010011985 Decubitus ulcer Diseases 0.000 claims description 23
- 230000036544 posture Effects 0.000 description 133
- 238000012545 processing Methods 0.000 description 36
- 230000008569 process Effects 0.000 description 35
- 238000011156 evaluation Methods 0.000 description 22
- 238000000605 extraction Methods 0.000 description 17
- 241000282341 Mustela putorius furo Species 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000035876 healing Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000037380 skin damage Effects 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 208000034693 Laceration Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000001217 buttock Anatomy 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 206010063560 Excessive granulation tissue Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010052428 Wound Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000416 exudates and transudate Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000001126 granulation tissue Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 238000011221 initial treatment Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001338 necrotic effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
本発明は、撮像装置、情報処理装置、情報処理システム、制御方法に関するものである。 The present invention relates to an image pickup apparatus, an information processing apparatus, an information processing system, and a control method.
人や動物が横になっている状態では体重により接地面と体の接触部位が圧迫されることで褥瘡、いわゆる床ずれが発症することがある。褥瘡を発症した患者は、体圧分散ケアやスキンケア等の褥瘡ケアを施し、定期的に褥瘡を評価および管理していく必要がある。 When a person or animal is lying down, pressure sores, so-called bedsores, may occur when the contact patch between the contact patch and the body is pressed by the body weight. Patients who develop pressure ulcers need to receive pressure ulcer care such as body pressure distribution care and skin care, and evaluate and manage pressure ulcers on a regular basis.
非特許文献1には、褥瘡評価のツールとして、日本褥瘡学会学術教育委員会が開発した褥瘡状態判定スケール、DESIGN−R(登録商標)が提案されている。DESIGN−Rは、褥瘡をはじめとする傷の治癒過程を評価するためのツールである。このスケールの命名は、深さ(Depth)、滲出液(Exudate)、大きさ(Size)、炎症・感染(Inflammation/Infection)、肉芽組織(Granulation)、壊死組織(Necrotic tissue)の各観察項目の頭文字をとっている。 Non-Patent Document 1 proposes DESIGN-R (registered trademark), a pressure ulcer condition determination scale developed by the Academic Board of Education of the Japanese Society of Pressure Ulcers, as a tool for evaluating pressure ulcers. DESIGN-R is a tool for evaluating the healing process of wounds such as pressure ulcers. The name of this scale is for each observation item of depth, exudate, size, inflammation / infection, granulation tissue, and necrotic tissue. It is an acronym.
DESIGN−Rは、日常の簡便な評価のための重症度分類用と、詳細に治癒過程の流れが示される経過評価用との2つがある。重症度分類用のDESIGN−Rは、6つの評価項目を軽度と重度の2つに区分して、軽度はアルファベットの小文字を用いて表し、重度は大文字を用いて表す。
初療時に重症度分類用を用いて評価することで、褥瘡の大まかな状態を把握することができる。どの項目が問題であるかがわかるため、治療方針を容易に決定できる。
There are two types of DESIGN-R, one for severity classification for simple daily evaluation and the other for progress evaluation that shows the flow of the healing process in detail. DESIGN-R for severity classification divides six evaluation items into two categories, mild and severe, with mild being represented using lowercase letters and severe being represented using uppercase letters.
The general condition of pressure ulcers can be grasped by evaluating using a severity classification device at the time of initial treatment. Since it is possible to know which item is the problem, the treatment policy can be easily decided.
一方、経過評価用として、経過評価に加え患者間の重症度比較もできるDESIGN−Rも定められている。Rはrating(評価・評点)を表す。各項目に異なる重み付けをしており、深さ以外の6項目の合計点(0〜66点)がその褥瘡の重症度を表す。治療開始後に治療経過を詳細かつ客観的に評価でき、個人の経過評価だけでなく、患者間の重症度比較もできる。
ここで、DESIGN−RのSize評価は、皮膚損傷範囲の長径と短径(長径と直交する最大径)を測定し(cm)、各々を掛け合わせた数値であるSizeを7段階に分類するものである。この7段階とは、s0:皮膚損傷なし、s3:4未満、s6:4以上16未満、s8:16以上36未満、s9:36以上64未満、s12:64以上100未満、S15:100以上、である。
On the other hand, DESIGN-R, which can compare the severity between patients in addition to the progress evaluation, is also defined for the progress evaluation. R represents ratting (evaluation / rating). Each item is weighted differently, and the total score (0 to 66 points) of the 6 items other than the depth indicates the severity of the pressure ulcer. The course of treatment can be evaluated in detail and objectively after the start of treatment, and not only individual course evaluation but also severity comparison between patients can be performed.
Here, the size evaluation of DESIGN-R measures the major axis and the minor axis (maximum diameter orthogonal to the major axis) of the skin damage range (cm), and classifies the size, which is a numerical value obtained by multiplying each of them, into seven stages. Is. These 7 stages are s0: no skin damage, s3: 4 or less, s6: 4 or more and less than 16, s8: 16 or more and less than 36, s9: 36 or more and less than 64, s12: 64 or more and less than 100, S15: 100 or more, Is.
DESIGN−Rの採点は、非特許文献1に記載があるように、褥瘡の治癒経過を評価し、適切なケア選択を行うために1週間から2週間に1回採点することが推奨されており、褥瘡は定期的に病状を評価し管理していく必要がある。また、褥瘡の病状の変化を確かめるために、評価には正確性が求められる。 As described in Non-Patent Document 1, it is recommended that DESIGN-R be scored once every 1 to 2 weeks in order to evaluate the healing process of pressure ulcers and make appropriate care choices. , Pressure ulcers need to be evaluated and managed on a regular basis. In addition, accuracy is required for evaluation in order to confirm changes in the pathological condition of pressure ulcers.
しかしながら、褥瘡を撮影する場合であっても患者の姿勢によって、褥瘡の形、面積、およびポケット形状が変わってしまうために、撮影の度に、褥瘡の見え方が変わってしまう可能性がある。そのため、褥瘡を撮影した画像を比較しても、経過を正確に比較することが困難な場合があった。なお、これは褥瘡に限られるものではなく、火傷や裂傷を撮影する場合であっても同様である。
本発明は、上述したような問題点に鑑みてなされたものであり、患部の比較を容易にするための画像の撮影ができるようにすることを目的とする。
However, even when the pressure ulcer is photographed, the appearance of the pressure ulcer may change each time the pressure ulcer is photographed because the shape, area, and pocket shape of the pressure ulcer change depending on the posture of the patient. Therefore, even if the images of pressure ulcers are compared, it may be difficult to accurately compare the progress. This is not limited to pressure ulcers, and is the same even when photographing burns and lacerations.
The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to enable an image to be taken for facilitating comparison of affected areas.
本発明の撮像装置は、撮像手段と、被写体の患部を過去に撮影したときの前記被写体の姿勢情報を取得し、前記撮像手段により前記被写体の患部を撮影する場合に、前記被写体の姿勢情報をユーザに通知するように制御する制御手段と、を有することを特徴とする。 The imaging device of the present invention acquires the posture information of the subject when the affected part of the subject is photographed in the past with the imaging means, and when the imaged means captures the affected part of the subject, the posture information of the subject is obtained. It is characterized by having a control means for controlling the user to be notified.
本発明によれば、患部の比較を容易にするための画像の撮影ができるようになる。 According to the present invention, it becomes possible to take an image for facilitating comparison of affected areas.
以下、本発明に係る実施形態について図面を参照して説明する。
<第1の実施形態>
図1は、情報処理システム1の機能構成の一例を示す図である。
情報処理システム1は、手持ち可能なポータブルデバイスである撮像装置200と、情報処理装置300とを有する。
Hereinafter, embodiments according to the present invention will be described with reference to the drawings.
<First Embodiment>
FIG. 1 is a diagram showing an example of a functional configuration of the information processing system 1.
The information processing system 1 includes an
図2は、情報処理システム1により患部を評価される患者である被写体101の一例を示す図である。本実施形態では、被写体101の臀部に生じた患部102の病態の一例を、臀部に生じた褥瘡として説明する。
被写体101にはバーコードタグ103が付帯されている。バーコードタグ103には被写体を識別する識別情報としての患者IDが含まれる。したがって、情報処理システム1では、被写体101の識別情報と、患部102を撮影した画像データとを関連付けて管理することができる。なお、識別情報は、バーコードタグ103に限られず、QRコード(登録商標)等の2次元コードや数値であってもよく、診察カード等のIDカードに付帯されるデータやID番号であってもよい。
FIG. 2 is a diagram showing an example of a
A
情報処理システム1では、撮像装置200は被写体101の患部102と、識別情報であるバーコードタグ103を撮影し、情報処理装置300に送信する。情報処理装置300は、受信した識別情報に関連付けられた姿勢情報として、過去に同一の被写体101の患部102を撮影したときの被写体101の姿勢情報を撮像装置200に送信する。撮像装置200は受信した姿勢情報に基づく表示をすることで、ユーザは過去に同一の被写体101の患部102を撮影したときの被写体101の姿勢を把握することができる。なお、姿勢情報には、被写体が少なくとも、うつ伏せ、横臥(右下横臥または左下横臥)、および、座位のうち何れか一つの姿勢を識別できる情報を含んでいればよい。また、本実施形態では、患部102が褥瘡である場合を例に挙げて説明を行うが、褥瘡に限られず、火傷や裂傷であってもよい。
In the information processing system 1, the
図3は、撮像装置200のハードウェア構成の一例を示す図である。
撮像装置200は、一般的な一眼カメラ、コンパクトデジタルカメラ、あるいは、オートフォーカス機能付きのカメラを備えたスマートフォンやタブレット端末等を用いることができる。
撮像ユニット211は、レンズ群212、シャッタ213、イメージセンサ214を有する。レンズ群212に含まれる複数のレンズの位置を変更することで、フォーカス位置とズーム倍率を変更することができる。レンズ群212は、露出量を調節するための絞りも備える。
FIG. 3 is a diagram showing an example of the hardware configuration of the
As the
The
イメージセンサ214は、光学像を電気データに変換するCCDやCMOSセンサ等の電荷蓄積型の固体イメージセンサで構成される。レンズ群212およびシャッタ213を通過した被写体からの反射光はイメージセンサ214に結像される。イメージセンサ214は被写体像に応じた電気信号を生成し、生成した電気信号に基づく画像データを出力する。
The
シャッタ213は、羽根部材の開閉動作を行うことによって、イメージセンサ214への露出や遮光を行い、イメージセンサ214の露光時間を制御する。なお、シャッタ213は、イメージセンサ214の駆動によって露光時間を制御する電子シャッタであってもよい。CMOSセンサで電子シャッタを行う場合には、画素ごと、あるいは、複数画素からなる領域ごと(例えばラインごと)に、画素の蓄積電荷量をゼロにするリセット走査を行う。その後、リセット走査を行った画素あるいは領域ごとに、それぞれ所定の時間を経過してから電荷の蓄積量に応じた信号を読み出す走査を行う。
ズーム制御回路215は、レンズ群212に含まれるズームレンズを駆動するためのモータを制御し、レンズ群212の光学倍率を制御する。
The
The
測距システム216は、被写体までの距離情報を算出する。測距システム216は、AF制御回路218の出力に基づいて距離情報を生成してもよい。また、画面内にAFの対象となるエリアが複数ある場合には、測距システム216はAF制御回路218がAF処理をエリアごとに繰り返して動作させることで、エリアごとに距離情報を生成してもよい。なお、測距システム216は、TOF(Time Of Flight)センサを用いてもよい。TOFセンサは、照射波の送信タイミングと、当該照射波が物体で反射された反射波の受信タイミングとの時間差(または位相差)に基づいて、当該物体までの距離を測定するセンサである。更に、測距システム216には、受光素子にPSD(Position Sensitive Device)を用いたPSD方式等を用いてもよい。
The
画像処理回路217は、イメージセンサ214から出力された画像データに対して、所定の画像処理を施す。画像処理回路217は、撮像ユニット211から出力された画像データ、あるいは、内部メモリ221に記憶されている画像データに対して、ホワイトバランス調整、ガンマ補正、色補間またはデモザイキング、フィルタリング等の様々な画像処理を行う。また、画像処理回路217は、画像処理を行った画像データに対して、JPEG等の規格で圧縮処理を行う。
The
AF制御回路218は、測距システム216で得られた距離情報に基づいて、レンズ群212に含まれるフォーカスレンズの位置を決定し、フォーカスレンズを駆動するモータを制御する。AF制御回路218は、画像データの高周波成分を抽出して積分し、積分値が最大となるフォーカスレンズの位置を決定するTV−AFまたはコントラストAFを行ってもよい。なお、フォーカス制御方式は、コントラストAFに限られず、位相差AFやその他のAF方式であってもよい。また、AF制御回路218は焦点の調節量、または、フォーカスレンズの位置を検出し、フォーカスレンズの位置に基づいて被写体までの距離情報を取得してもよい。
The
通信装置219は、無線のネットワークを介して、情報処理装置300等の外部機器と通信を行うための通信インターフェースである。ネットワークの具体的な一例としては、Wi−Fi(登録商標)規格に基づくネットワークが挙げられる。なお、Wi−Fiを用いた通信はルータを介して実現してもよい。また、通信装置219は、USBやLAN等の有線の通信インターフェースにより実現されてもよい。
The
システム制御回路220は、CPU(Central Processing Unit)を有し、内部メモリ221内に記憶されたプログラムを実行することによって、撮像装置200の全体制御を行う。また、システム制御回路220は、撮像ユニット211、ズーム制御回路215、測距システム216、画像処理回路217およびAF制御回路218等の制御を行う。なお、システム制御回路220はCPUを有する場合に限られず、FPGAやASIC等を用いてもよい。
The
内部メモリ221は、例えば、フラッシュメモリやSDRAM等の書き換え可能なメモリを用いることができる。内部メモリ221は、撮像装置200の動作に必要な画像撮影時のピント位置の情報等の各種設定情報、撮像ユニット211が撮影した画像データ、画像処理回路217により画像処理された画像データ等を一時的に記憶する。また、内部メモリ221は、通信装置219が情報処理装置300と通信して受信した、画像データや被写体のサイズに関する情報等の解析データを一時的に記憶してもよい。
As the
外部メモリ222は、撮像装置200に装着可能、あるいは、撮像装置200に内蔵された不揮発性の記録媒体である。外部メモリ222は、例えば、SDカードやCFカード等を用いることができる。外部メモリ222は、画像処理回路217により画像処理された画像データ、通信装置219が情報処理装置300と通信して受信した画像データや解析データ等を記録する。また、外部メモリ222は、再生時には記録された画像データが読み出され、撮像装置200の外部に出力することも可能である。
The
表示装置223は、例えば、TFT(Thin Film Transistor)液晶ディスプレイ、有機ELディスプレイ、EVF(電子ビューファインダ)等を用いることができる。表示装置223は、内部メモリ221に一時的に記憶されている画像データや外部メモリ222に記録された画像データを表示したり、撮像装置200の設定画面等を表示したりする。
As the
操作部224は、撮像装置200に設けられたボタン、スイッチ、キー、モードダイアル、あるいは、表示装置223に兼用されるタッチパネル等で構成される。ユーザによるモード設定や撮影指示等の指令は、操作部224を経由して、システム制御回路220に通知される。
傾き検知装置225は、撮像装置200の傾きを検知する。本実施形態では、撮像装置200の傾きは水平を基準とした角度をいうものとする。傾き検知装置225は、例えば、ジャイロセンサ、加速度センサ等を用いることができる。
共通バス226は、撮像装置200の各構成部の間で信号の送受信を行うための信号線である。
The
The
The common bus 226 is a signal line for transmitting and receiving signals between each component of the
図4は、情報処理装置300のハードウェア構成の一例を示す図である。
情報処理装置300は、CPU310、記憶装置312、通信装置313、出力装置314、補助演算装置317等を備える。
CPU310は演算装置311を備える。CPU310は、記憶装置312に記憶されたプログラムを実行することで情報処理装置300の全体制御を行うと共に、図1に示す情報処理装置300の機能構成が実現される。
FIG. 4 is a diagram showing an example of the hardware configuration of the
The
The
記憶装置312は主記憶装置315(ROMやRAM等)と補助記憶装置316(磁気ディスク装置やSSD(Solid State Drive)等)を備える。
通信装置313は、無線のネットワークを介して、撮像装置200等の外部機器と通信を行うための無線通信モジュールである。
出力装置314は、情報処理装置300に接続されたディスプレイ、プリンタあるいは外部ネットワークに、演算装置311が加工したデータや記憶装置312に記憶されたデータ等を出力する。
The
The
The
補助演算装置317はCPU310の制御の下で動作する補助演算用ICである。補助演算装置317は、GPU(Graphic Processing Unit)等が用いることができる。GPUは、元々は画像処理用のプロセッサであるが、複数の積和演算器を有し、行列計算を得意としているため、信号学習用の処理を行うプロセッサとしても用いられることができる。したがって、GPUは深層学習を行う処理において用いられることが一般的である。補助演算装置317には、例えば、NVIDIA社のJetsonTX2 moduleを用いることができる。また、補助演算装置317として、FPGAやASIC等を用いてもよい。補助演算装置317は、画像データから患部領域の抽出処理を行う。
The auxiliary
なお、情報処理装置300が備えるCPU310および記憶装置312は1つであっても複数であってもよい。すなわち、少なくとも1以上のCPUと少なくとも1つの記憶装置とが接続されており、少なくとも1以上のCPUが少なくとも1以上の記憶装置に記憶されたプログラムを実行した場合に、情報処理装置300は後述する各機能を実行する。なお、CPUに限られず、FPGAやASIC等であってもよい。
The
図5は、情報処理システム1の処理の一例を示すフローチャートである。
図5において、S501〜S519が撮像装置200による処理であり、S521〜S550が情報処理装置300による処理である。図5のフローチャートは、撮像装置200と情報処理装置300とが、無線LAN規格であるWi−Fi規格のネットワークにそれぞれ接続することで開始される。
FIG. 5 is a flowchart showing an example of processing of the information processing system 1.
In FIG. 5, S501 to S519 are processes by the
S521では、情報処理装置300のCPU310は、接続する撮像装置200の探索処理を、通信装置313を介して行う。
S501では、撮像装置200のシステム制御回路220は、情報処理装置300による探索処理に対して応答処理を、通信装置219を介して行う。なお、ネットワークを介して機器を探索する技術としては、UPnP(Universal Plug and Play)が用いられる。ここでUPnPにおいて個々の装置の識別はUUID(Universally Unique IDentifier)によって行われる。
In S521, the
In S501, the
S502では、システム制御回路220は、表示装置223を用いて、患部を撮影するときの被写体の姿勢を把握できる全体姿勢と、被写体を特定するためのバーコードタグを撮影するよう、ユーザに案内を出す。撮像ユニット211は、ユーザによる撮影指示に応じて、被写体の姿勢および被写体のバーコードタグをそれぞれ撮影する。
ここでは、被写体の患部を撮影する前に、被写体には、例えば、うつ伏せ、横臥または座位の姿勢になってもらい、患部を撮影するときの被写体の姿勢を把握できる全体姿勢を撮影する。このとき、システム制御回路220は、傾き検知装置225から出力される傾き情報に基づいて、姿勢を撮影したときの撮像装置200の傾き情報を生成する。
In S502, the
Here, before photographing the affected part of the subject, the subject is asked to be in a prone, lying down or sitting posture, for example, and the whole posture is photographed so that the posture of the subject when photographing the affected part can be grasped. At this time, the
次に、S503〜S511までのライブビューの処理について説明する。
S503では、AF制御回路218は、被写体にピントが合うようにレンズ群212の駆動制御を行うAF処理を行う。
ここでは、ユーザが画面の中央に患部が位置するように撮像装置200を構えていることを想定しているために、AF制御回路218は画面の中央に位置するエリアでAF処理を行う。また、AF制御回路218は、焦点の調節量またはフォーカスレンズの移動量に基づいて被写体までの距離情報を出力する。
Next, the live view processing from S503 to S511 will be described.
In S503, the
Here, since it is assumed that the user holds the
S504では、システム制御回路220は、表示装置223を用いて、被写体の患部を撮影するよう、ユーザに案内を出す。撮像ユニット211は、ユーザによる撮影指示に応じて、被写体を撮影する。
S505では、画像処理回路217は、撮影された画像データを取得して現像および圧縮処理を行い、例えばJPEG規格の画像データを生成する。画像処理回路217は、圧縮処理された画像データに対してリサイズ処理を行い、画像データのサイズを小さくする。
In S504, the
In S505, the
なお、撮像装置200は、後述するS508において、リサイズ処理された画像データを無線通信により送信する。送信する画像データのサイズが大きいほど無線通信に時間が掛かるために、S505ではシステム制御回路220は、許容される通信時間に基づいて、リサイズ処理する画像データのサイズを決定し、画像処理回路217に指示を出す。
なお、後述するS532では、情報処理装置300がリサイズ処理された画像データから患部領域を抽出する。画像データのサイズは、患部領域を抽出する時間および精度に影響するために、S505ではシステム制御回路220は抽出する時間および精度に基づいて、リサイズ処理する画像データのサイズを決定する。
The
In S532, which will be described later, the
また、S505でのリサイズ処理は、ライブビュー内での処理であるため、処理時間が長いとライブビュー画像のフレームレートが遅くなる。したがって、S505では、システム制御回路220はライブビュー中の処理ではない後述するS514でのリサイズ処理よりも小さいサイズあるいは同一のサイズにリサイズ処理することが好ましい。
本実施形態では、720ピクセル×540ピクセルで8ビットRGBカラーとして画像サイズが略1.1メガバイトとなるようにリサイズする。ただし、リサイズ処理する画像データのサイズはこの場合に限られない。
Further, since the resizing process in S505 is a process in the live view, the frame rate of the live view image becomes slow if the processing time is long. Therefore, in S505, it is preferable that the
In the present embodiment, the image size is resized to be approximately 1.1 megabytes as an 8-bit RGB color with 720 pixels × 540 pixels. However, the size of the image data to be resized is not limited to this case.
S506では、システム制御回路220は、被写体までの距離情報を生成する。具体的には、システム制御回路220は、測距システム216が出力した距離情報に基づいて、撮像装置200から被写体までの距離情報を生成する。なお、システム制御回路220は、S503においてAF制御回路218が画面内の複数のエリアについてそれぞれAF処理をした場合には、複数のエリアごとに距離情報を生成してもよい。また、距離情報の生成する方法として、測距システム216が算出した被写体までの距離情報を用いてもよい。
In S506, the
S507では、システム制御回路220は、傾き検知装置225から出力される傾き情報に基づいて、ライブビューにおける撮像装置200の傾き情報を生成する。
ここでは、ユーザが撮影範囲に患部を含むように撮像装置200を構えていることを想定しているために、システム制御回路220はユーザが患部に向けて構えたときの撮像装置200の傾き情報を生成する。
In S507, the
Here, since it is assumed that the user holds the
S508では、システム制御回路220は、各種情報を、通信装置219を介して情報処理装置300に送信する。具体的には、システム制御回路220は、S505においてリサイズ処理された患部の画像データ、S506において生成された被写体までの距離情報、S507において生成したライブビューにおける撮像装置200の傾き情報を送信する。また、システム制御回路220は、S502において撮影した姿勢の画像データ、姿勢を撮影したときの撮像装置200の傾き情報、バーコードタグの画像データを情報処理装置300に送信する。なお、バーコードタグの画像データに含まれる患者IDは変化する情報ではないために、同一の患者においては、バーコードタグの画像データは最初の一回だけ送信する。また、姿勢の画像データ、姿勢を撮影したときの撮像装置200の傾き情報についても、同一の患者においては、最初の一回だけ送信する。
In S508, the
次に、情報処理装置300による処理に移る。
S531では、情報処理装置300のCPU310は、撮像装置200が送信した、患部の画像データ、被写体までの距離情報、ライブビューにおける撮像装置200の傾き情報を、通信装置313を介して受信する。また、CPU310は、姿勢の画像データ、姿勢を撮影したときの撮像装置200の傾き情報、バーコードタグの画像データを、同一の患者においては最初の一回だけ受信する。
Next, the process proceeds to the processing by the
In S531, the
S532では、CPU310は、補助演算装置317を用いて、受信した患部の画像データから、患部領域を抽出(患部領域と他の領域とを分割する)する。領域分割の手法として、深層学習による意味的領域分割を行う。すなわち、予め学習用のコンピュータに、複数の実際の褥瘡の患部領域の画像を教師データとして用いて、ニューラルネットワークのモデルを学習させて、学習済モデルを生成する。補助演算装置317は、コンピュータから学習済モデルを取得して、学習済モデルに基づいて画像データから褥瘡のエリアを推定する。ニューラルネットワークのモデルの一例として、深層学習を用いたセグメンテーション・モデルである完全畳み込みネットワーク(FCN(Fully Convolutional Network))を適用することができる。深層学習の推論は、積和演算の並列実行を得意とする補助演算装置317に含まれるGPUにより処理される。ただし、深層学習の推論は、FPGAやASIC等が実行してもよい。なお、他の深層学習のモデルを用いて領域分割を実現してもよい。また、セグメンテーション手法は深層学習に限られず、例えば、グラフカット、領域成長、エッジ検出、統治分割法等を用いてもよい。更に、補助演算装置317の内部で、褥瘡の患部領域の画像を教師データとしたニューラルネットワークのモデルの学習を行ってもよい。
In S532, the
S533では、CPU310の演算装置311は、抽出された患部領域のサイズに関する情報として、患部領域の面積を計算する。演算装置311は、抽出された患部領域の画像データ上のサイズを、画像データの画角または画素サイズに関する情報、および、システム制御回路220が生成した距離情報に基づいて変換することで、患部領域の面積を計算する。
In S533, the
図6は、患部領域の面積の計算方法を説明するための図である。
撮像装置200が一般的なカメラである場合には、図6に示すようにピンホールモデルとして扱うことができる。入射光601はレンズ212aのレンズ主点を通り、イメージセンサ214の撮像面で受光する。撮像面からレンズ主点までの距離が焦点距離F602である。ここで、レンズ群212を厚みのない単一のレンズ212aに近似した場合には、前側主点と後側主点の2つの主点は一致するとみなせる。イメージセンサ214の平面に像が結像するようにレンズ212aのピント位置を調整することで、撮像装置200は被写体604に焦点を合わせることができる。撮像面からレンズ主点までの距離である焦点距離F602を変更することで画角θ603が変更され、ズーム倍率が変わる。このとき、撮像装置200の画角θ603と被写体距離D605の関係から、幾何学的に合焦面における被写体の幅W606が決定される。被写体の幅W606は、三角関数を用いて計算される。すなわち、被写体の幅W606は、焦点距離F602に応じて変化する画角θ603と、被写体距離D605との関係によって決定する。被写体の幅W606の値を対応するイメージセンサ214のライン上のピクセル数で除算することにより、画像上の1ピクセルに対応する合焦面上の長さが取得される。
FIG. 6 is a diagram for explaining a method of calculating the area of the affected area.
When the
演算装置311は、S532において領域分割された結果から得られる領域のピクセル数と、画像上の1ピクセルに対応する合焦面上の長さから得られる1ピクセルの面積の積として、患部領域の面積を計算する。なお、被写体の幅W606もしくは画像上の1ピクセルに対応する合焦面上の長さを求める式は、被写体の幅W606が既知の被写体を、被写体距離D605を変化させて撮影することによりデータを取得することで回帰的に求めてもよい。
なお、被写体距離D605が単一の場合、演算装置311が正しく患部領域の面積を求めるには、被写体604が平面であり、かつ、この平面が光軸に対して垂直であることが前提となる。ただし、S506において複数のエリアごとに距離情報を生成している場合には、演算装置311は被写体の奥行き方向の傾きや変化を検出し、検出した傾きや変化に基づいて患部領域の面積を計算してもよい。
The
When the subject distance D605 is single, in order for the
S534では、画像処理回路217は、患部領域を抽出する対象とした画像データに対して、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを生成する。
図7(a)および図7(b)は、患部領域の抽出結果を示す情報、および、患部領域のサイズに関する情報を画像データに重畳する方法を説明するための図である。
図7(a)に示す画像701は、重畳処理前の画像データを表示した一例であり、被写体101および患部102を含む。図7(b)に示す画像702は、重畳処理後の画像データを表示した一例である。
In S534, the
7 (a) and 7 (b) are diagrams for explaining a method of superimposing the information showing the extraction result of the affected area and the information on the size of the affected area on the image data.
The
図7(b)に示す画像702の左上隅には、黒地の背景に白色の文字で、患部領域の面積の文字列712を表示したラベル711が重畳される。ここでは、患部領域のサイズに関する情報は、文字列712であって、演算装置311により計算された患部領域の面積である。なお、ラベル711の背景色と文字列の色は見やすいものであれば黒、白に限られない。また、透過量を設定してαブレンドすることで、ラベル711が重なった部分の画像をユーザが確認できるようにしてもよい。
In the upper left corner of the
また、画像702には、S532において抽出された患部領域の推定エリアを示す指標713が重畳される。推定エリアを示す指標713と、画像701の元となる画像データをαブレンドすることで、患部領域の面積を算出する元となる推定エリアが妥当か否かをユーザが確認することができる。推定エリアを示す指標713の色は、被写体の色と異なる色にすることが好ましい。また、αブレンドの透過率の範囲は、推定エリアと元の患部102とが識別できる範囲であることが好ましい。なお、患部領域の推定エリアを示す指標713が重畳して表示されていれば、ラベル711を表示しなくても、ユーザは推定エリアが妥当か否かを確認することができるためにS533を省略してもよい。
Further, the
S535では、CPU310は、バーコードタグの画像データから患者IDを読取る。S536では、CPU310は、読取った患者IDを、記憶装置312に予め登録された被写体の患者IDと照合して、被写体の名前の情報を取得する。
In S535, the
S537では、CPU310は、患部の画像データに、患者IDおよび被写体の名前の情報を紐付けて、記憶装置312に記憶させる。CPU310は、次に撮影されたバーコードタグの画像データを受信するまで、S531において受信する患部の画像データを、同一の患者IDおよび同一の被写体の名前の情報として処理する。
また、CPU310は、対象の患者IDに対応する被写体情報が記憶装置312に記憶されているか否かを判定する。対象の患者IDに対応する被写体情報が記憶されていない場合には、CPU310は患者IDおよび被写体の名前の情報に対応する被写体情報を生成する。一方、対象の患者IDに対応する被写体情報が既に記憶装置312に記憶されている場合にはS538に進む。
In S537, the
Further, the
図9(a)は、被写体情報900のデータ構成の一例を示す図である。被写体情報900は、患者IDごとに管理される。
被写体情報900は、患者ID欄901、被写体の名前欄902、姿勢情報903、患部情報908を含む。
患者ID欄901には、患者IDが記憶される。被写体の名前欄902には、被写体の名前が記憶される。
姿勢情報903には、姿勢アイコン欄904、姿勢の画像データ欄905、第1の傾き情報欄906、第2の傾き情報欄907がある。姿勢アイコン欄904には、患部を撮影するときの被写体の姿勢を模式的に示す姿勢アイコン、あるいは、姿勢アイコンの識別情報が記憶される。姿勢アイコンは表示アイテムの一例に対応する。
FIG. 9A is a diagram showing an example of the data structure of the
The
The patient ID is stored in the
The
図9(b)は、姿勢アイコンの一例を示す図である。
姿勢アイコン921は、うつ伏せの姿勢を示すアイコンである。姿勢アイコン922は、右側を下にした右下横臥の姿勢を示すアイコンである。姿勢アイコン923は、左側を下にした左下横臥の姿勢を示すアイコンである。姿勢アイコン924は、座位の姿勢を示すアイコンである。
FIG. 9B is a diagram showing an example of a posture icon.
The
姿勢の画像データ欄905には、S502において被写体の姿勢を撮影した姿勢の画像データ、あるいは、姿勢の画像データが記憶されているアドレス情報が記憶される。
第1の傾き情報欄906には、S502において姿勢を撮影したときの撮像装置200の傾き情報が記憶される。第2の傾き情報欄907には、ライブビューを終了して記録用に患部を撮影する記録用撮影における撮像装置200の傾き情報が記憶される。第2の傾き情報欄907には、対象の患者IDにおいて最初または最後に記録用撮影したときの撮像装置200の傾き情報、あるいは、複数回に亘って記録用撮影したときの撮像装置200の傾き情報の平均値が記憶される。第2の傾き情報欄907の傾き情報は、後述する傾き情報欄912に記憶された、記録用撮影における撮像装置200の傾き情報に基づいて記憶されたり更新されたりする。第2の傾き情報欄907に記憶された傾き情報を、ユーザが記録用撮影をするときに参照することで、患部表面に対して撮像装置200を正対させるのに用いることができる。
なお、姿勢情報903には、被写体の姿勢を「うつ伏せ」、「座位」、「右下横臥」、「左下横臥」等の文字で表した文字情報等、被写体の姿勢を識別できる情報を記憶してもよい。
In the posture
In the first
Note that the
患部情報908は、撮影日時欄909、患部の画像データ欄910、評価情報欄911、傾き情報欄912を含む。撮影日時欄909には、後述するS513において記録用撮影したときの日時が記憶される。患部の画像データ欄910には、記録用撮影した患部の画像データ、あるいは、患部の画像データが記憶されているアドレス情報が記憶される。評価情報欄911には、患部領域の評価結果を示す情報が記憶される。傾き情報欄912には、記録用撮影における撮像装置200の傾き情報が記憶される。
The affected
S537において対象の患者IDに対応する被写体情報900が記憶されていない場合、CPU310は生成した被写体情報900の姿勢情報903のうち、姿勢アイコン欄904、姿勢の画像データ欄905、第1の傾き情報欄906に情報を追加して、記憶装置312に記憶する。具体的に、CPU310が姿勢アイコン欄904に追加するには、まず補助演算装置317がS531において受信した姿勢の画像データに基づいて、被写体の姿勢が図9(b)に示す姿勢アイコン921〜924の何れに相当するかを判定する。次に、CPU310は、姿勢アイコン、あるいは、姿勢アイコンの識別情報を、姿勢アイコン欄904に記憶する。また、CPU310は、S531において受信した姿勢の画像データを、姿勢の画像データ欄905に記憶する。更に、CPU310は、S531において受信した姿勢を撮影したときの撮像装置200の傾き情報を、第1の傾き情報欄906に記憶する。
一方、S537において対象の患者IDに対応する被写体情報900が記憶されている場合、過去に患部を撮影しており、被写体情報900の姿勢情報903および患部情報908には各情報が既に記憶されていることからS538に進む。
When the
On the other hand, when the
S538では、情報処理装置300のCPU310は、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを、通信装置313を介して撮像装置200に送信する。本実施形態では、CPU310は、S534において生成された、患部の画像データに、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを撮像装置200に送信する。
また、CPU310は、過去に患部を撮影したときの被写体の姿勢をユーザに対して通知するために、被写体情報900の姿勢情報903を、通信装置313を介して撮像装置200に送信する。具体的には、CPU310は、姿勢アイコン、姿勢の画像データ、姿勢を撮影したときの撮像装置200の傾き情報、記録用撮影における撮像装置200の傾き情報を送信する。CPU310がライブビューの間に複数回に亘って、患部の画像データに、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを送信する場合には、姿勢情報903を最初の一回だけ送信する。なお、CPU310は、S531において受信したライブビューにおける撮像装置200の傾き情報を送信してもよい。また、過去に記録用撮影をしていないために、S537において対象の患者IDに対応する被写体情報900が記憶されていない場合には、第2の傾き情報欄907に情報が記憶されていないことから、記録用撮影における撮像装置200の傾き情報は送信されない。
In S538, the
Further, the
次に、撮像装置200の処理に移る。
S509では、撮像装置200のシステム制御回路220は、情報処理装置300から送信された、患部の画像データに、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを、通信装置219を介して受信する。また、システム制御回路220は、情報処理装置300から送信された姿勢アイコン、姿勢の画像データ、姿勢を撮影したときの撮像装置200の傾き情報、記録用撮影における撮像装置200の傾き情報を、通信装置219を介して受信する。
Next, the process of the
In S509, the
S510では、システム制御回路220は、患部の画像データに、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを、表示装置223に表示する。このように、ライブビューの画像データに対して、患部の抽出結果を示す情報等を重畳して表示することで、ユーザは患部領域の推定エリアおよび面積が妥当であるか否かを確認した上で、記録用撮影に進むことができる。
また、システム制御回路220は受信した、姿勢アイコン、姿勢の画像データ、姿勢を撮影したときの撮像装置200の傾き情報の少なくとも何れかの姿勢情報を、表示装置223に表示する。このように、過去に患部を撮影したときの被写体の姿勢情報をユーザに対して通知する。なお、システム制御回路220は、記録用撮影における撮像装置200の傾き情報、ライブビューにおける撮像装置200の傾き情報を表示してもよい。
In S510, the
Further, the
図10(a)および図10(b)は、姿勢情報を含む画像データの一例を示す図である。なお、図7(a)および図7(b)と同様の画像には同一符号を付して適宜、説明を省略する。
図10(a)に示す画像1001は、図7(b)に示す画像702に姿勢アイコン1002を重畳した画像データを表示した一例である。
システム制御回路220は、図7(b)に示す画像702に、S509において受信した、姿勢アイコンあるいは姿勢アイコンの識別情報に基づいた姿勢アイコン1002を重畳した画像1001を、表示装置223に表示する。
ここで、姿勢アイコン1002は表示装置223に兼用されるタッチパネルを介してユーザがタッチ操作することができるボタンとして機能する。システム制御回路220は、ユーザによる姿勢アイコン1002に対するタッチ操作に応じて、画面を遷移して図10(b)に示す画像1003を表示する。
10 (a) and 10 (b) are diagrams showing an example of image data including posture information. The same reference numerals are given to the same images as those in FIGS. 7 (a) and 7 (b), and the description thereof will be omitted as appropriate.
The
The
Here, the
図10(b)に示す画像1003は、姿勢の画像データを表示した一例である。画像1003の左上隅には、黒地の背景に白色の文字で、傾き情報1004および文字列1005を含むラベル1006が表示される。
システム制御回路220は、S509において受信した姿勢の画像データに、ラベル1006を重畳した画像1003を、表示装置223に表示する。なお、システム制御回路220は、S509において受信した、姿勢を撮影したときの撮像装置200の傾き情報に基づいて、傾き情報1004を表示する。また、システム制御回路220は、S509において受信した姿勢情報に、姿勢を示す文字情報等が含まれている場合に、姿勢の文字情報等に基づいてラベル1006の文字列1005を表示する。
The
このように、記録用に患部を撮影する前に、同一の被写体の患部を過去に撮影したときの被写体の姿勢情報をユーザに通知することで、ユーザは過去に被写体の患部を撮影したときの姿勢を把握することができる。したがって、ユーザは被写体に対して過去に撮影したときの姿勢と同じ姿勢にしてもらうことで、適切に被写体の患部を撮影することができる。 In this way, by notifying the user of the posture information of the subject when the affected part of the same subject was photographed in the past before photographing the affected part for recording, the user can photograph the affected part of the subject in the past. You can grasp your posture. Therefore, the user can appropriately photograph the affected part of the subject by having the subject take the same posture as when the subject was photographed in the past.
具体的には、被写体の姿勢を模式的に示す姿勢アイコン1002を表示することで、ユーザは過去に被写体の患部を撮影したときの被写体の姿勢を即座に把握することができる。また、被写体の姿勢を撮影した画像1003を表示することで、過去に被写体の患部を撮影したときの被写体の姿勢を正確に把握することができる。更に、撮像装置200の傾き情報1004を表示することで、姿勢を撮影したときの撮像装置200の傾きを把握することができる。ただし、姿勢情報を表示する画像は、図10(a)および図10(b)に示す場合に限られず、ユーザが被写体の姿勢を把握できれば、どのような画像であってもよい。
Specifically, by displaying the
なお、システム制御回路220は、S509において受信した、記録用撮影における撮像装置200の傾き情報を表示してもよい。ユーザは表示された傾き情報を参照することで、過去に患部を撮影したときと同様な傾きで患部を撮影することができ、患部表面に対して撮像装置200を正対させることができる。
このとき、システム制御回路220は、S507において生成された、あるいは、S509において受信した、ライブビューにおける撮像装置200の傾き情報を表示してもよい。この場合、ユーザは現時点における撮像装置200の傾きを参照できるので、過去に患部を撮影したときの傾きに一致させることができる。また、システム制御回路220は、記録用撮影における撮像装置200の傾き情報と、ライブビューにおける撮像装置200の傾き情報との差分の情報を表示してもよい。差分の情報は、撮像装置200のシステム制御回路220が生成してもよく、情報処理装置300が生成して撮像装置200が受信してもよい。
The
At this time, the
S511では、システム制御回路220は操作部224に含まれるレリーズボタンをユーザが押下することによる撮影指示を受け付けたか否かを判定する。
撮影指示を受け付けた場合にはS512以降において、記録用として、患部を撮影する処理に進む。一方、撮影指示を受け付けていない場合にはS503に戻り、上述したS503以降の処理を行う。したがって、撮影指示を受け付けるまで、S503〜S511までの処理を繰り返すことで、撮像装置200はライブビューの画像データを連続して情報処理装置300に送信する。また、撮像装置200は、送信するごとに情報処理装置300から、患部の画像データに、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを受信する。
In S511, the
When the imaging instruction is received, in S512 or later, the process proceeds to image the affected area for recording. On the other hand, if the shooting instruction is not received, the process returns to S503 and the above-mentioned processing after S503 is performed. Therefore, by repeating the processes S503 to S511 until the shooting instruction is received, the
S512では、AF制御回路218は、被写体にピントが合うようにレンズ群212の駆動制御を行うAF処理を行う。この処理は、S503と同様の処理である。
S513では、撮像ユニット211は、ユーザによる撮影指示に応じて被写体を撮影する。具体的には、撮像ユニット211は、記録用に患部を静止画で撮影する。
なお、システム制御回路220は、S537において対象の患者IDに対応する被写体情報900が記憶されていないと判定した場合に、最初に記録用に患部を撮影した後、被写体の姿勢を撮影するようにユーザに案内を出してもよい。具体的には、システム制御回路220は患部を撮影した後に被写体の全身が撮影されるように撮像ユニット211の倍率調整を行い撮影する。このように自動的に被写体の姿勢を撮影する場合には、S502における被写体の姿勢を撮影する処理を省略することができる。なお、対象の患者IDに対応する被写体情報900が記憶されていない旨の情報は、S509において情報処理装置300から受信することができる。
In S512, the
In S513, the
When the
S514では、画像処理回路217は、撮影された画像データを取得して、現像および圧縮処理を行い、例えばJPEG規格の画像データを生成する。この処理は、S505と同様の処理である。ただし、患部領域を計測する際の精度を優先するために、S505における画像データのサイズよりも大きいか、同じ大きさでリサイズ処理することが好ましい。リサイズ処理された画像データのサイズとして、例えば、1440ピクセル×1080ピクセルで4ビットRGBカラーの場合には略4.45メガバイトになる。ただし、リサイズ処理された画像データのサイズは、この場合に限られない。
In S514, the
S515では、システム制御回路220は、被写体までの距離情報を生成する。この処理は、S506と同様の処理である。
S516では、システム制御回路220は、傾き検知装置225から出力される傾き情報に基づいて、記録用撮影における撮像装置200の傾き情報を生成する。この処理は、S507の処理と同様である。
S517では、システム制御回路220は、S514においてリサイズ処理された患部の画像データ、S515において生成された被写体までの距離情報、S516において生成された記録用撮影における撮像装置200の傾き情報を、通信装置219を介して情報処理装置300に送信する。
In S515, the
In S516, the
In S517, the
次に、情報処理装置300の処理に移る。
S541では、情報処理装置300のCPU310は、撮像装置200が送信した、患部の画像データ、被写体までの距離情報、記録用撮影における撮像装置200の傾き情報を、通信装置313を介して受信する。
S542では、CPU310は、受信した患部の画像データから患部領域を、補助演算装置317を用いて抽出(患部領域と他の領域とを分割する)する。この処理は、S532と同様の処理である。
Next, the process of the
In S541, the
In S542, the
S543では、CPU310の演算装置311は、抽出された患部領域のサイズに関する情報として、患部領域の面積を計算する。この処理は、S533の処理と同様の処理である。
S544では、演算装置311は、患部領域の評価情報を算出する。具体的には、演算装置311はS543で求めた画像上の1ピクセルに対応する合焦面上の長さに基づいて、抽出した患部領域の長径と短径の長さ、および、患部領域に外接する矩形の面積を算出する。褥瘡の評価指標のDESIGN−Rの中で、褥瘡のサイズは長径と短径の積の値を計測することが定められている。本実施形態の情報処理システム1において、長径と短径の解析を行うことで、今までDESIGN−Rで計測されたデータとの互換性を確保することができる。DESIGN−Rは厳密な定義がないため、数学的には複数の長径、短径の算出方法が考えられる。
In S543, the
In S544, the
長径と短径の算出方法の第1例として、演算装置311が患部領域に外接する矩形のうち、面積が最小となる矩形(Minimum bounding rectangle)を算出する。次に、この矩形の長辺と短辺の長さを算出し、長辺の長さを長径とし、短辺の長さを短径として算出する。次に、S543で求めた画像上の1ピクセルに対応する合焦面上の長さに基づいて矩形の面積を算出する。
長径と短径の算出方法の第2例として、演算装置311が長径として最大のキャリパー長である最大フェレ径を選択し、短径として最小フェレ径を選択する。なお、長径として最大のキャリパー長である最大フェレ径を選択し、短径として最大フェレ径の軸に直交する方向で計測した長さを選択してもよい。
長径と短径の計算方法は、従来の計測結果との互換性に基づいて任意の方法を選択することができる。
As a first example of the method of calculating the major axis and the minor axis, the
As a second example of the method of calculating the major axis and the minor axis, the
Any method can be selected for the calculation method of the major axis and the minor axis based on the compatibility with the conventional measurement results.
なお、患部領域の長径と短径の長さおよび矩形面積を算出する処理は、S531において受信した画像データに対しては実行されない。ライブビュー中は、患部領域の抽出結果をユーザが確認できるようにすることを目的としているために、S531において受信した画像データに対してS544に相当する画像解析の処理を省くことで、処理時間を削減している。 The process of calculating the length of the major axis and the minor axis of the affected area and the rectangular area is not executed for the image data received in S531. Since the purpose is to allow the user to confirm the extraction result of the affected area during the live view, the processing time is obtained by omitting the image analysis process corresponding to S544 for the image data received in S531. Is being reduced.
S545では、画像処理回路217は、患部領域を抽出する対象とした画像データに対して、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを生成する。ここでの患部領域のサイズに関する情報には、患部領域の長径と短径等の患部領域の評価情報が含まれる。
図8(a)、図8(b)および図8(c)は、患部領域の抽出結果を示す情報、および、患部領域の長径と短径等を含む患部領域のサイズに関する情報を画像データに重畳する方法を説明するための図である。患部領域のサイズに関する情報は複数、想定されるために図8(a)〜(c)を参照して説明する。
In S545, the
8 (a), 8 (b) and 8 (c) show information showing the extraction result of the affected area and information on the size of the affected area including the major axis and the minor axis of the affected area as image data. It is a figure for demonstrating the superimposing method. Since a plurality of pieces of information regarding the size of the affected area can be assumed, they will be described with reference to FIGS. 8A to 8C.
図8(a)に示す画像801は、長径、短径の算出方法としてMinimum bounding rectangleを用いたものである。画像801の左上隅には、患部領域のサイズに関する情報として、図7(b)と同様に、黒地の背景に白色の文字で患部領域の面積の文字列712を表示したラベル711が重畳される。
また、画像801の右上隅には、患部領域のサイズに関する情報として、Minimum bounding rectangleに基づいて算出した長径および短径を表示したラベル812が重畳される。ラベル812には、文字列813とは文字列814とが含まれる。文字列813は長径の長さ(単位はcm)を表し、文字列814は短径の長さ(単位はcm)を表す。また、画像801は、患部領域にMinimum bounding rectangleを表す矩形の枠815が重畳される。矩形の枠815を長径および短径の長さと一緒に重畳することで、ユーザは画像中のどの箇所の長さが計測されているのかを確認することができる。
The
Further, in the upper right corner of the
また、画像801の右下隅には、スケールバー816が重畳される。スケールバー816は患部102のサイズを測定するためのものであり、距離情報に応じて画像データに対するスケールバーのサイズが変更される。具体的には、スケールバー816は、S543で得られた画像上の1ピクセルに対応する合焦面上の長さに基づいて、1cm単位で5cmまでの目盛りを刻んだバーであり、撮像装置200の合焦面上すなわち被写体上のサイズに対応したものである。ユーザはスケールバー816を参照することにより、被写体もしくは患部102の大きさを把握することができる。
Further, a
また、画像801の左下隅には、上述したDESIGN−RのSize評価の指標817が重畳される。DESIGN−RのSize評価の指標817では、皮膚損傷範囲の、長径と短径(長径と直交する最大径)を測定し(単位はcm)、各々を掛け合わせた数値から上述した7段階に分類されている。本実施形態では長径と短径をそれぞれの算出方法によって出力された値に置き換えて得られる指標817が重畳される。
Further, the above-mentioned DESIGN-R
図8(b)に示す画像802は、長径として最大フェレ径を、短径として最小フェレ径を用いたものある。画像802の右上隅には、長径の長さを示す文字列823および短径の長さを示す文字列824を表示したラベル822が重畳される。また、画像802の患部領域には、最大フェレ径の計測位置に相当する補助線825と、最小フェレ径に相当する補助線826が表示される。補助線825、826を長径および短径の長さを示す文字列823、824と一緒に重畳することで、ユーザは画像中のどの箇所の長さが計測されているのかを確認することができる。
In the
図8(c)に示す画像803は、長径が画像802と同じであるが、短径が最小フェレ径ではなく最大フェレ径の軸に直交する方向で計測した長さとして計測したものである。画像803の右上隅には、長径の長さを示す文字列823および短径の長さを示す文字列834を表示したラベル832が重畳される。また、画像803の患部領域には、最大フェレ径の計測位置に相当する補助線825と、最大フェレ径の軸に直交する方向で計測した長さに相当する補助線836が表示される。
The
なお、図8(a)〜(c)に示した、画像データに重畳する各種情報は、何れか1つまたは複数の組み合わせであってもよく、ユーザが表示する情報を選択できるようにしてもよい。また、図7(a)、図7(b)、図8(a)、図8(b)および図8(c)に示す画像は一例であって、患部102および患部領域のサイズに関する情報の表示形態、表示位置、サイズ、フォント、フォントサイズ、フォントの色、あるいは、位置関係等は様々な条件に応じて変更できる。
The various information superimposed on the image data shown in FIGS. 8A to 8C may be any one or a combination of two or more, and the information to be displayed can be selected by the user. Good. Further, the images shown in FIGS. 7 (a), 7 (b), 8 (a), 8 (b) and 8 (c) are examples, and information on the size of the affected
S546では、情報処理装置300のCPU310は、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを、通信装置313を介して撮像装置200に送信する。本実施形態では、CPU310は、S545において生成した、患部の画像データに、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを撮像装置200に送信する。
In S546, the
S547では、CPU310は、バーコードタグの画像データから患者IDを読取る。なお、S535において既に患者IDを読取っている場合には処理を省略することができる。
S548では、CPU310は、読取った患者IDを予め登録された被写体の患者IDと照合して、被写体の名前の情報を取得する。なお、S536において既に被写体の名前の情報を取得している場合には処理を省略することができる。
In S547, the
In S548, the
S549では、CPU310は、対象の患者IDに対応する被写体情報900の患部情報908の撮影日時欄909、患部の画像データ欄910、評価情報欄911、傾き情報欄912に情報を追加して、記憶装置312に記憶する。
具体的には、CPU310は、S513において撮影した日時の情報を撮影日時欄909に記憶する。また、CPU310は、S541において受信した患部の画像データを、患部の画像データ欄910に記憶する。また、CPU310は、S544で算出した評価情報を、評価情報欄911に記憶する。また、CPU310は、S541で受信した、記録用撮影における撮像装置200の傾き情報を、傾き情報欄912に記憶する。なお、図9(a)の被写体情報900において説明したように、CPU310は、傾き情報欄912に記憶した傾き情報に基づいて、姿勢情報903の第2の傾き情報欄907の傾き情報を、記憶したり更新したりすることができる。
In S549, the
Specifically, the
なお、対象の患者IDに対応する被写体情報が記憶装置312に記憶されていない場合には、CPU310は患者IDおよび被写体の名前の情報に対応する被写体情報を生成して、被写体情報900の姿勢情報903および患部情報908に情報を記憶する。
また、対象の患者IDに対応する被写体情報が記憶装置312に記憶されている場合、CPU310は、既に姿勢の画像データ欄905に記憶された画像データと、今回の撮影のS502において得られた姿勢の画像データとが一致しているか否かを判定してもよい。ここで、画像データが一致するとは、両方の画像データに含まれる被写体の姿勢が同じ場合であることを意味する。したがって、例えば、CPU310は一方の画像データに含まれる被写体がうつ伏せであり、他方の画像データに含まれる被写体が横臥である場合には、画像データが一致しないと判定する。CPU310は、画像データが一致しない場合には、既に姿勢の画像データ欄905に記憶された画像データを、今回の撮影のS502において得られた姿勢の画像データに更新して記憶する。なお、姿勢の画像データに限られず、CPU310は、姿勢情報903の姿勢アイコン欄904および第1の傾き情報欄906のうち少なくとも何れかを更新して記憶してもよい。
When the subject information corresponding to the target patient ID is not stored in the
Further, when the subject information corresponding to the target patient ID is stored in the
次に、撮像装置200の処理に移る。
S518では、撮像装置200のシステム制御回路220は、情報処理装置300から送信された、患部の画像データに、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを、通信装置219を介して受信する。
S519では、システム制御回路220は受信した、患部の画像データに、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを表示装置223に所定時間表示する。ここでは、システム制御回路220は、図8(a)〜(c)に示す画像801〜803の何れかを表示し、所定時間が経過することでS503の処理に戻る。
Next, the process of the
In S518, the
In S519, the
以上、本実施形態によれば、ユーザが撮像装置200で患部を撮影するときに、同一の被写体の患部を過去に撮影したときの被写体の姿勢情報をユーザに通知することで、被写体の姿勢を過去に撮影したときと同じ姿勢にして撮影することができる。したがって、ユーザが経過比較をより正確に行うことができる画像を撮影することができる。
また、本実施形態では褥瘡の評価指標としてDESIGN−R(登録商標)を用いているが、これに限定されるものではない。Bates−Jensen Wound Assessment Tool(BWAT)、Pressure Ulcer Scale for Healing(PUSH)、Pressure Sore Status Tool(PSST)などの、他の評価指標を用いてもよい。
As described above, according to the present embodiment, when the user photographs the affected portion with the
Further, in the present embodiment, DESIGN-R (registered trademark) is used as an evaluation index of pressure ulcer, but the present invention is not limited to this. Other evaluation indicators such as Bates-Jensen Wound Assessment Tool (BWAT), Pressure Ulcer Scale for Healing (PUSH), and Pressure Sore Status Tool (PSST) may be used.
(第1の変形例)
上述した図5のフローチャートのS502では、被写体の姿勢を撮影する場合について説明したが、この場合に限られない。例えば、S502において、撮像装置200はユーザにより被写体の姿勢を選択できるように構成してもよい。具体的には、S502において、システム制御回路220は、図9(b)に示す姿勢アイコン921〜924、あるいは、姿勢を示す文字情報を表示装置223に選択可能に表示する。したがって、ユーザは被写体の姿勢に相当する姿勢アイコン、あるいは、文字情報を選択することができる。S508では、システム制御回路220はユーザが選択した姿勢アイコン(姿勢アイコンの識別情報を含む)、あるいは、文字情報を情報処理装置300に送信する。
このようにユーザが被写体の姿勢を選択できるようにすることで容易に被写体の姿勢を特定することができる。また、姿勢の画像データを送受信する処理を省略することができるので、情報処理システム1の処理負担を軽減することができる。
(First modification)
In S502 of the flowchart of FIG. 5 described above, the case where the posture of the subject is photographed has been described, but the case is not limited to this case. For example, in S502, the
By allowing the user to select the posture of the subject in this way, the posture of the subject can be easily specified. Further, since the process of transmitting and receiving the posture image data can be omitted, the processing load of the information processing system 1 can be reduced.
(第2の変形例)
上述した図5のフローチャートのS538では、過去に患部を撮影したときの被写体の姿勢をユーザに対して通知するために、被写体情報900の姿勢情報903を撮像装置200に送信する場合について説明したが、この場合に限られない。例えば、S537において、対象の患者IDに対応する被写体情報900が記憶装置312に記憶されていないと判定された場合には、CPU310は姿勢情報903を撮像装置200に送信しなくてもよい。すなわち、S537において対象の患者IDに対応する被写体情報900が記憶装置312に記憶されていない場合とは、今回、初めて被写体を撮影するために、過去に患部を撮影したときの被写体の姿勢をユーザに通知する必要性は少ないためである。
(Second modification)
In S538 of the flowchart of FIG. 5 described above, the case where the
(第3の変形例)
上述した図5のフローチャートのS510では、システム制御回路220が過去に患部を撮影したときの被写体の姿勢を表示装置223に表示する場合について説明したが、この場合に限られない。例えば、システム制御回路220は、図示しない音響装置を用いて音により過去に患部を撮影したときの被写体の姿勢を通知してもよい。
(Third variant)
In S510 of the flowchart of FIG. 5 described above, the case where the
以上、本発明を種々の実施形態および変形例と共に説明したが、本発明は上述した実施形態および変形例にのみ限定されるものではなく、本発明の範囲内で変更等が可能であり、上述した実施形態および変形例を適時、組み合わせてもよい。例えば、情報処理装置300において解析する対象は患部に限られず、画像データに含まれるオブジェクトであってもよい。
Although the present invention has been described above with various embodiments and modifications, the present invention is not limited to the above-described embodiments and modifications, and changes and the like can be made within the scope of the present invention. The embodiments and modifications described above may be combined in a timely manner. For example, the object to be analyzed by the
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
<Other Embodiments>
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or recording medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
1:情報処理システム
200:撮像装置
211:撮像ユニット
216:測距システム
217:画像処理回路
219:通信装置
220:システム制御回路
223:表示装置
225:傾き検知装置
300:情報処理装置
311:演算装置
312:記憶装置
313:通信装置
317:補助演算装置
1: Information processing system 200: Imaging device 211: Imaging unit 216: Distance measuring system 217: Image processing circuit 219: Communication device 220: System control circuit 223: Display device 225: Tilt detection device 300: Information processing device 311: Arithmetic logic unit 312: Storage device 313: Communication device 317: Auxiliary arithmetic unit
Claims (20)
被写体の患部を過去に撮影したときの前記被写体の姿勢情報を取得し、前記撮像手段により前記被写体の患部を撮影する場合に、前記被写体の姿勢情報をユーザに通知するように制御する制御手段と、
を有することを特徴とする撮像装置。 Imaging means and
A control means for acquiring the posture information of the subject when the affected part of the subject is photographed in the past and controlling the posture information of the subject to be notified to the user when the affected part of the subject is photographed by the imaging means. ,
An imaging device characterized by having.
前記被写体の姿勢情報を表示装置に表示させることを特徴とする請求項1に記載の撮像装置。 The control means
The imaging device according to claim 1, wherein the posture information of the subject is displayed on the display device.
前記姿勢情報として、前記被写体の姿勢を模式的に示した表示アイテム、前記被写体の姿勢を撮影した画像データ、前記被写体の姿勢を撮影したときの該撮像装置の傾き情報、および、前記被写体の姿勢を文字で表した文字情報のうち少なくとも何れか一つを前記表示装置に表示させることを特徴とする請求項2に記載の撮像装置。 The control means
As the posture information, a display item schematically showing the posture of the subject, image data obtained by photographing the posture of the subject, tilt information of the imaging device when the posture of the subject is photographed, and the posture of the subject. The imaging device according to claim 2, wherein at least one of the character information represented by characters is displayed on the display device.
前記姿勢情報は、前記被写体が少なくとも、うつ伏せ、横臥、および、座位のうち何れかの一つの姿勢を識別できる情報を含むことを特徴とする請求項1ないし3の何れか1項に記載の撮像装置。 The affected area is a pressure ulcer,
The imaging according to any one of claims 1 to 3, wherein the posture information includes information capable of identifying at least one posture of the subject in a prone position, lying down, or sitting position. apparatus.
前記撮像手段により撮影されたライブビューの画像データに前記被写体の姿勢情報を重畳して前記表示装置に表示させることを特徴とする請求項2ないし4の何れか1項に記載の撮像装置。 The control means
The imaging device according to any one of claims 2 to 4, wherein the posture information of the subject is superimposed on the image data of the live view captured by the imaging means and displayed on the display device.
前記撮像手段により撮影されたライブビューの画像データが表示された画面からユーザによる操作に応じて異なる画面に遷移することで、前記被写体の姿勢情報を前記表示装置に表示させることを特徴とする請求項2ないし5の何れか1項に記載の撮像装置。 The control means
The claim is characterized in that the posture information of the subject is displayed on the display device by transitioning from the screen on which the image data of the live view captured by the imaging means is displayed to a different screen according to an operation by the user. Item 2. The imaging device according to any one of Items 2 to 5.
前記制御手段は、
前記通信手段により前記識別情報を前記外部装置に送信し、前記識別情報に関連付けられた姿勢情報を前記外部装置から受信することを特徴とする請求項1ないし7の何れか1項に記載の撮像装置。 It has a communication means for transmitting the identification information of the subject to an external device.
The control means
The imaging according to any one of claims 1 to 7, wherein the identification information is transmitted to the external device by the communication means, and the posture information associated with the identification information is received from the external device. apparatus.
前記制御手段は、
前記通信手段により送信され、前記外部装置で記憶された前記姿勢情報を、前記通信手段を介して前記外部装置から受信することを特徴とする請求項1ないし7の何れか1項に記載の撮像装置。 It has a communication means for transmitting the posture information of the subject to an external device when the affected part of the subject is photographed by the imaging means.
The control means
The imaging according to any one of claims 1 to 7, wherein the posture information transmitted by the communication means and stored in the external device is received from the external device via the communication means. apparatus.
前記撮像手段により前記被写体の姿勢を撮影した画像データを前記外部装置に送信することを特徴とする請求項9に記載の撮像装置。 The communication means
The imaging device according to claim 9, wherein image data obtained by photographing the posture of the subject by the imaging means is transmitted to the external device.
複数の姿勢情報からユーザにより選択された姿勢情報を前記外部に送信することを特徴とする請求項9に記載の撮像装置。 The communication means
The imaging device according to claim 9, wherein the posture information selected by the user from a plurality of posture information is transmitted to the outside.
前記通信手段は、前記被写体の識別情報と前記被写体の姿勢情報とを前記撮像装置から受信し、
前記通信手段により受信した前記識別情報と同一の識別情報に関連付けられて前記記憶装置に記憶された姿勢情報が、前記通信手段により受信した姿勢情報と一致していない場合、前記記憶装置に記憶された姿勢情報を前記通信手段により受信した姿勢情報に更新する制御手段を有することを特徴とする請求項12に記載の情報処理装置。 The subject identification information and the posture information of the subject are associated and stored in the storage device.
The communication means receives the identification information of the subject and the posture information of the subject from the image pickup apparatus.
When the posture information stored in the storage device associated with the same identification information as the identification information received by the communication means does not match the posture information received by the communication means, it is stored in the storage device. The information processing device according to claim 12, further comprising a control means for updating the posture information to the posture information received by the communication means.
前記通信手段により受信した前記識別情報に対応する被写体情報が記憶装置に記憶されていない場合に、前記通信手段により受信した、前記識別情報と前記姿勢情報とを関連付けて前記記憶装置に記憶させる制御手段を有することを特徴とする請求項12に記載の情報処理装置。 The communication means receives the identification information of the subject and the posture information of the subject from the image pickup apparatus.
Control to associate the identification information received by the communication means with the posture information and store the subject information corresponding to the identification information received by the communication means in the storage device when the subject information corresponding to the identification information is not stored in the storage device. The information processing apparatus according to claim 12, wherein the information processing apparatus has means.
前記情報処理装置は、
被写体の識別情報を前記撮像装置から受信し、前記識別情報に関連付けられた、前記被写体の患部を過去に撮影したときの前記被写体の姿勢情報を前記撮像装置に送信する通信手段を有し、
前記撮像装置は、
撮像手段と、
前記撮像手段により前記被写体の患部を撮影する場合に、前記通信手段により送信された前記被写体の姿勢情報をユーザに通知する制御手段と、
を有することを特徴とする情報処理システム。 An information processing system having an image pickup device and an information processing device.
The information processing device
It has a communication means that receives the identification information of the subject from the imaging device and transmits the posture information of the subject when the affected part of the subject is photographed in the past, which is associated with the identification information, to the imaging device.
The image pickup device
Imaging means and
When the affected portion of the subject is photographed by the imaging means, the control means for notifying the user of the posture information of the subject transmitted by the communication means.
An information processing system characterized by having.
前記被写体の姿勢情報をユーザに通知するように制御するステップと、
被写体の患部を撮影するステップと、
を有することを特徴とする撮像装置の制御方法。 The step of acquiring the posture information of the subject when the affected part of the subject was photographed in the past, and
A step of controlling the posture information of the subject to be notified to the user, and
Steps to shoot the affected part of the subject and
A method for controlling an imaging device, which comprises.
前記識別情報に関連付けられた、前記被写体の患部を過去に撮影したときの前記被写体の姿勢情報を、前記撮像装置に送信するステップと、
を有することを特徴とする情報処理装置の制御方法。 The step of receiving the identification information of the subject from the imaging device,
A step of transmitting the posture information of the subject when the affected part of the subject is photographed in the past, which is associated with the identification information, to the image pickup apparatus.
A method for controlling an information processing device, which comprises.
被写体の識別情報を前記撮像装置から前記情報処理装置に送信するステップと、
前記識別情報に関連付けられた、前記被写体の患部を過去に撮影したときの前記被写体の姿勢情報を前記情報処理装置から前記撮像装置に送信するステップと、
前記撮像装置が取得した姿勢情報をユーザに通知するように制御するステップと、
前記被写体の患部を撮影するステップと、
を有することを特徴とする情報処理システムの制御方法。 It is a control method of an information processing system having an image pickup device and an information processing device.
A step of transmitting subject identification information from the imaging device to the information processing device, and
A step of transmitting the posture information of the subject when the affected part of the subject is photographed in the past, which is associated with the identification information, from the information processing device to the imaging device.
A step of controlling the posture information acquired by the imaging device to notify the user, and
The step of photographing the affected part of the subject and
A control method of an information processing system, characterized in that it has.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/008448 WO2020184230A1 (en) | 2019-03-12 | 2020-02-28 | Imaging device, information processing device, and image processing system |
US17/470,645 US20210401327A1 (en) | 2019-03-12 | 2021-09-09 | Imaging apparatus, information processing apparatus, image processing system, and control method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019045041 | 2019-03-12 | ||
JP2019045041 | 2019-03-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020151461A true JP2020151461A (en) | 2020-09-24 |
JP7527803B2 JP7527803B2 (en) | 2024-08-05 |
Family
ID=72556817
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020023400A Active JP7527803B2 (en) | 2019-03-12 | 2020-02-14 | Imaging device, information processing device, and control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7527803B2 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015172891A (en) | 2014-03-12 | 2015-10-01 | キヤノン株式会社 | Imaging device, imaging processing system and imaging method |
JP6391785B2 (en) | 2017-08-10 | 2018-09-19 | キヤノン株式会社 | Imaging apparatus, authentication method, and program |
JP2017205615A (en) | 2017-08-30 | 2017-11-24 | キヤノン株式会社 | Photographing device, control method thereof, program, and photographing processing system |
-
2020
- 2020-02-14 JP JP2020023400A patent/JP7527803B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP7527803B2 (en) | 2024-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI425828B (en) | Image capturing apparatus, method for determing image area ,and computer-readable recording medium | |
JP7322097B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM AND RECORDING MEDIUM | |
US11600003B2 (en) | Image processing apparatus and control method for an image processing apparatus that extract a region of interest based on a calculated confidence of unit regions and a modified reference value | |
JP5467992B2 (en) | Imaging device | |
CN109478227A (en) | Calculate the iris in equipment or the identification of other physical feelings | |
JP2006271840A (en) | Diagnostic imaging support system | |
WO2019230724A1 (en) | Image processing system, imaging device, image processing device, electronic device, control method thereof, and storage medium storing control method thereof | |
US11475571B2 (en) | Apparatus, image processing apparatus, and control method | |
WO2020184230A1 (en) | Imaging device, information processing device, and image processing system | |
US11599993B2 (en) | Image processing apparatus, method of processing image, and program | |
JP2008209306A (en) | Camera | |
KR100874186B1 (en) | Method and apparatus for photographing snow-collected images of subjects by themselves | |
JP7527803B2 (en) | Imaging device, information processing device, and control method | |
JP7536463B2 (en) | Imaging device, control method thereof, and program | |
JP7317498B2 (en) | Processing system, processing apparatus, processing method, and program | |
JP2017229102A (en) | Image processing apparatus, imaging apparatus, and program | |
CN115810039A (en) | Portable electronic device and wound size measuring method | |
JP5995610B2 (en) | Subject recognition device and control method therefor, imaging device, display device, and program | |
JP2021049248A (en) | Image processing system and method for controlling the same | |
JP2021049262A (en) | Image processing system and method for controlling the same | |
US20240000307A1 (en) | Photography support device, image-capturing device, and control method of image-capturing device | |
JP2006086887A (en) | Image information processor and digital camera | |
JP2020146200A (en) | Image processing device, image browsing device and image processing system | |
JP2007081992A (en) | Image pickup device and control method thereof | |
JP2013152151A (en) | Size measuring device, imaging device, size measuring method and size measuring program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240513 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240625 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240724 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7527803 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |