JP2023103480A - 画像処理装置及びプログラム - Google Patents
画像処理装置及びプログラム Download PDFInfo
- Publication number
- JP2023103480A JP2023103480A JP2023085852A JP2023085852A JP2023103480A JP 2023103480 A JP2023103480 A JP 2023103480A JP 2023085852 A JP2023085852 A JP 2023085852A JP 2023085852 A JP2023085852 A JP 2023085852A JP 2023103480 A JP2023103480 A JP 2023103480A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame image
- arrangement information
- frame
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 98
- 230000002269 spontaneous effect Effects 0.000 claims abstract description 8
- 238000003384 imaging method Methods 0.000 claims description 56
- 230000009747 swallowing Effects 0.000 claims description 15
- 210000000988 bone and bone Anatomy 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 8
- 238000002601 radiography Methods 0.000 claims description 8
- 210000003205 muscle Anatomy 0.000 claims description 5
- 230000004397 blinking Effects 0.000 claims description 4
- 230000005855 radiation Effects 0.000 description 33
- 238000010191 image analysis Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 208000031481 Pathologic Constriction Diseases 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 210000002409 epiglottis Anatomy 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 230000036262 stenosis Effects 0.000 description 8
- 208000037804 stenosis Diseases 0.000 description 8
- 230000005856 abnormality Effects 0.000 description 7
- 230000000399 orthopedic effect Effects 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 201000008482 osteoarthritis Diseases 0.000 description 5
- 206010073306 Exposure to radiation Diseases 0.000 description 4
- 210000002310 elbow joint Anatomy 0.000 description 4
- 210000003238 esophagus Anatomy 0.000 description 4
- 238000002438 flame photometric detection Methods 0.000 description 4
- 208000034869 Cervical myelopathy Diseases 0.000 description 3
- 208000008558 Osteophyte Diseases 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 210000004705 lumbosacral region Anatomy 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 208000003947 Knee Osteoarthritis Diseases 0.000 description 2
- 230000032683 aging Effects 0.000 description 2
- 210000000845 cartilage Anatomy 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000000278 spinal cord Anatomy 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 241001567848 Capitellum Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000003026 hypopharynx Anatomy 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 231100000862 numbness Toxicity 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Primary Health Care (AREA)
- Quality & Reliability (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- General Engineering & Computer Science (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Discrete Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】画像処理装置によれば、制御部は、被写体の自発的動作による動きの経過を放射線撮影することにより取得された複数のフレーム画像からなる動態画像において基準フレーム画像を決定し、基準フレーム画像中の所定の構造物上に複数の特徴点を設定し、設定された複数の特徴点の位置関係から、基準フレーム画像内での前記所定の構造物の配置状態を示す配置情報を生成する。そして、基準フレーム画像において設定された複数の特徴点の位置を動態画像の他のフレーム画像において特定し、他のフレーム画像における前記所定の構造物の配置情報を生成する。
【選択図】図3
Description
被写体の自発的動作による動きの経過を放射線撮影することにより取得された複数のフレーム画像からなる動態画像において基準フレーム画像を決定する決定手段と、
前記基準フレーム画像中の所定の構造物上に複数の特徴点を設定する設定手段と、
前記設定手段により設定された複数の特徴点の位置関係から、前記基準フレーム画像内での前記所定の構造物の配置状態を示す配置情報を生成する第1の配置情報生成手段と、
前記設定手段により設定された複数の特徴点の位置を前記動態画像の他のフレーム画像において特定し、前記他のフレーム画像における前記所定の構造物の配置情報を生成する第2の配置情報生成手段と、
を備える。
前記配置情報は、複数の前記特徴点を結んだ直線又は曲線、複数の前記特徴点から構成される面、前記直線又は前記面が基準となす角度、複数の前記特徴点間の距離、複数の前記特徴点から構成される面の面積のいずれか一つ又は複数の組み合わせである。
複数の前記フレーム画像間における前記配置情報の差分情報を算出する差分情報算出手段を備える。
前記差分情報が予め定められた閾値を超えているか否かを判定する判定手段を備える。
前記動態画像の撮影時の撮影部位、モダリティー、前記被写体の年齢、性別、体格、治具の有無、体内含有の人工物の有無のいずれか一つ又は複数の組み合わせに応じて前記閾値を設定する閾値設定手段を備える。
前記複数のフレーム画像において生成された前記配置情報に基づいて前記所定の構造物の動きを示すグラフもしくはアニメーション画像を作成して出力するか、又は、前記配置情報に連動する外部模型装置に前記配置情報を出力する出力手段を備える。
前記アニメーション画像を作成する際の、人体の複製範囲、複製サイズ、平面か立体か、色、骨部又は筋組織の有無、のいずれか一つ以上の条件を、撮影時の撮影条件又は患者情報に応じて設定する条件設定手段を備える。
前記配置情報を保存する保存手段を備える。
前記保存手段は、前記配置情報の値が前記複数のフレーム画像から算出された配置情報の最大値、最小値、平均値、最初に変化する値、のいずれかに該当するフレーム画像を対象外とし、他のフレーム画像に対しては解像度を落とすか又は圧縮した状態で保存する。
前記配置情報を単独で、又は、前記動態画像もしくは当該配置情報に対応する前記フレーム画像のいずれか一つ以上と組み合わせて表示手段に表示させる表示制御手段を備える。
前記表示制御手段は、前記表示手段において前記動態画像の各フレーム画像が順次切り替わる動作に連動して、表示された前記フレーム画像に対応する配置情報を順次切り替えながら表示するか、又は、前記動態画像の各フレーム画像が切り替わっても、予め指定された条件に応じた配置情報を継続して表示するよう制御する。
前記表示制御手段は、前記配置情報と予め定められた他の前記フレーム画像に基づく配置情報との差分情報が予め定められた閾値を超えているか否かの判定結果に応じて、色、形、大きさ、陰影、点滅、文字種別のいずれか一つ以上による強調表示を適用して前記配置情報を表示する。
前記表示制御手段は、前記複数のフレーム画像のうち、当該フレーム画像に基づく配置情報と予め定められた他の前記フレーム画像に基づく配置情報との差分情報が予め定められた閾値を下回っているフレーム画像、最大となるフレーム画像、最小となるフレーム画像、最も平均値に近いフレーム画像、最初に変化したフレーム画像、のいずれかを前記動態画像の初期表示用のフレーム画像として表示する。
前記特徴点の設定又は前記配置情報の生成が失敗した場合に、失敗した旨を報知する報知手段を備える。
前記決定手段は、先頭のフレーム画像、前記所定の構造物が最初に検出されたフレーム画像、前記所定の構造物の配置情報が所定値を超えたフレーム画像、又はユーザー操作により選択されたフレーム画像を前記基準フレーム画像として決定する。
前記動態画像は、腰部を動かす動作、頸部を動かす動作、関節を動かす動作又は嚥下運動を放射線撮影した動態画像である。
コンピューターを、
被写体の自発的動作による動きの経過を放射線撮影することにより取得された複数のフレーム画像からなる動態画像において基準フレーム画像を決定する決定手段、
前記基準フレーム画像中の所定の構造物上に複数の特徴点を設定する設定手段、
前記設定手段により設定された複数の特徴点の位置関係から、前記基準フレーム画像内での前記所定の構造物の配置状態を示す配置情報を生成する第1の配置情報生成手段、
前記設定手段により設定された複数の特徴点の位置を前記動態画像の他のフレーム画像において特定し、前記他のフレーム画像における前記所定の構造物の配置情報を生成する第2の配置情報生成手段、
として機能させる。
まず、構成を説明する。
図1に、本実施形態における動態解析システム100の全体構成を示す。
図1に示すように、動態解析システム100は、撮影装置1と、コンソール2とが通信ケーブル等により接続され、コンソール2と、画像処理装置3とがLAN(Local Area Network)等の通信ネットワークNTを介して接続されて構成されている。また、画像処理装置3には、模型装置4が接続されている。動態解析システム100を構成する各装置は、DICOM(Digital Image and Communications in Medicine)規格に準じており、各装置間の通信は、DICOMに則って行われる。
撮影装置1は、被写体Mの自発的動作による対象部位の動きの経過を撮影する撮影手段である。撮影装置1は、被写体Mの対象部位に対し、X線等の放射線をパルス状にして所定時間間隔で繰り返し照射するか(パルス照射)、もしくは、低線量率にして途切れなく継続して照射する(連続照射)ことで、対象部位の動きの経過を示す複数の画像を取得する。撮影により得られた一連の画像を動態画像と呼ぶ。また、動態画像を構成する複数の画像のそれぞれをフレーム画像と呼ぶ。なお、以下の実施形態では、パルス照射により一連の撮影を行う場合を例にとり説明する。
放射線照射制御装置12は、コンソール2に接続されており、コンソール2から入力された放射線照射条件に基づいて放射線源11を制御して放射線撮影を行う。コンソール2から入力される放射線照射条件は、例えば、パルスレート、パルス幅、パルス間隔、1撮影あたりの撮影フレーム数、X線管電流の値、X線管電圧の値、付加フィルター種等である。パルスレートは、1秒あたりの放射線照射回数であり、後述するフレームレートと一致している。パルス幅は、放射線照射1回当たりの放射線照射時間である。パルス間隔は、1回の放射線照射開始から次の放射線照射開始までの時間であり、後述するフレーム間隔と一致している。
放射線検出部13は、被写体Mを挟んで放射線源11と対向するように設けられている。
画像データがフレーム画像である。そして、読取制御装置14は、取得したフレーム画像をコンソール2に出力する。画像読取条件は、例えば、フレームレート、フレーム間隔、画素サイズ、画像サイズ(マトリックスサイズ)等である。フレームレートは、1秒あたりに取得するフレーム画像数であり、パルスレートと一致している。フレーム間隔は、1回のフレーム画像の取得動作開始から次のフレーム画像の取得動作開始までの時間であり、パルス間隔と一致している。
コンソール2は、放射線照射条件や画像読取条件を撮影装置1に出力し、曝射スイッチの押下に応じて撮影装置1による放射線撮影及び放射線画像の読み取り動作を制御するとともに、撮影装置1により取得された動態画像を画像処理装置3に送信する。
画像処理装置3は、例えば、整形外科の医師等が用いるコンピューター装置である。画像処理装置3は、コンソール2から送信された動態画像の各フレーム画像を解析して被写体部位(対象部位)の所定の構造物の配置状態を示す配置情報を生成し、生成した配置情報に基づいて患者(被写体M)に被写体部位の状態を説明するための表示等を行う。
続された各装置との間のデータ送受信を制御する。
模型装置4は、人体の全体及び各部位の模型を有し、画像処理装置3から出力される配置情報に基づいて模型を動かして人体の動きを再現する。
(撮影動作)
次に、上記動態解析システム100における動作について説明する。
まず、撮影時の動作について説明する。
放射線技師等の撮影実施者は、まず、コンソール2の操作部を操作して、患者(被写体M)の患者情報(患者の氏名、身長、体重、年齢、性別等)や撮影条件(撮影部位(被写体部位。例えば、腰部、頸部、右腕、左足、嚥下等)、モダリティー、二次元画像か三次元画像(3D画像)か)等の入力を行う。なお、ここでいうモダリティーとは、撮影に用いる撮影装置1の種類(例えば、立位/臥位/パネル(FPD)単独/長尺)を指す。
ここで、高精細の画像が必要でない場合には、画像を読み取る際のbit数やフレーム数(フレームレート)を低く設定し、処理速度を上げるようにすることが好ましい。
ここで、過去に同一患者の同一部位の撮影を行っている場合は、前回の撮影時と動きが同じ周期となるように動きを調整することが好ましい。動きの周期の調整は、例えば、動きを誘導する音声を出力する、被写体Mの近傍にモニター等を配置して動きを誘導する画像を映し出す等が挙げられるが、別の方法により動きの調整を行ってもよい。
また、見たい動きを安定して観察できるように(例えば、動きがX線に対して垂直方向となるように、関心位置が一番見やすいように)治具を使って撮影してもよい。
また、整形外科分野における静止画撮影では、一般的に4方向又は6方向からの撮影が行われているが、2方向から動態画像を撮影することで代用することとしてもよい。
次に、画像処理装置3における動作について説明する。
画像処理装置3においては、通信部35を介してコンソール2から動態画像の一連のフ
レーム画像が受信されると、制御部31と記憶部32に記憶されているプログラムとの協働により図3に示す画像解析処理が実行される。
まず、制御部31は、動態画像の一連のフレーム画像の中から基準フレーム画像を決定する(ステップS1)。
例えば、制御部31は、予め設定された条件に該当するフレーム画像を基準フレーム画像として決定する。例えば、先頭のフレーム画像、所定の構造物が最初に検出された(描画された)フレーム画像、所定の構造物の配置情報が所定値を超えたフレーム画像、又はユーザー操作により(操作部33により)選択されたフレーム画像を基準フレーム画像として決定する。予め設定された条件に該当するフレーム画像が、所定の構造物が最初に検出された(描画された)フレーム画像である場合、制御部31は、先頭のフレーム画像から順次画像認識を行い、最初に所定の構造物が認識されたフレーム画像を基準フレーム画像として決定する。予め設定された条件に該当するフレーム画像が、所定の構造物の配置情報が予め定められた閾値を超えたフレーム画像である場合、制御部31は、後述するステップS2~S3の処理を先頭フレーム画像から順に行って得られた配置情報を閾値と比較し、閾値を超えたフレーム画像を基準フレーム画像として決定する。
あるいは、表示部34に一連のフレーム画像を表示し、操作部33により選択されたフレーム画像を基準フレーム画像として決定して取得してもよい。
所定の構造物は、撮影部位によって予め定められている。または、表示部34に表示されたリストの中から操作部33により選択された構造物を所定の構造物としてもよい。所定の構造物は、例えば、エッジ抽出等により認識することができる。所定の構造物上の特徴点は、表示部34に表示された基準フレーム画像上から操作部33により指定された点を特徴点として設定してもよいし、フレーム画像を解析し、撮影部位に応じて予め定められた箇所を特定して特徴点を設定してもよい。
所定の構造物の配置情報は、例えば、設定された複数の特徴点間を結んだ直線又は曲線、複数の特徴点から構成される面、上記の直線又は面が基準となす角度、複数の特徴点間の距離、複数の特徴点から構成される面の面積、のいずれか一つ又は複数の組み合わせである。所定の構造物は、一つであってもよいし、複数であってもよい。
らに、各フレーム画像に対応する差分情報が予め定められた閾値を超えているか否かを判定し、判定結果を差分情報と併せて表示部34に表示することとしてもよい。これにより、所定の構造物の動きに異常があるか否か、異常がある場合はどの姿勢に異常があるか等を認識しやすくすることができる。
なお、差分情報が異常を示しているか否かを判定するための閾値は、撮影部位、モダリティー、患者の年齢、性別、体格、治具の有無、体内に人工物が埋め込まれているか否か、のいずれか一つ又は複数の組み合わせに応じて制御部31が設定することが好ましい。
例えば、表示部34に表示された動態画像の各フレーム画像が順次切り替わる動作に連動し、表示されたフレーム画像に対応する配置情報を順次切り替えながら表示する。または、動態画像の各フレーム画像の表示が順次切り替わっても、予め指定された条件に応じた配置情報(例えば、値が最も小さい(大きい)配置情報等)を継続して表示する。
生成された配置情報を表示する際には、その配置情報と予め定められた他の前記フレーム画像(例えば、隣接するフレーム画像)に基づく配置情報との差分情報が予め定められた閾値を超えているか否かの判定結果に応じて、色や形、大きさ、陰影、点滅、文字種別のいずれか1つ以上による強調表示を配置情報に対して適用して表示することとしてもよい。これにより、注目すべき配置情報を強調して表示させることが可能となる。
また、制御部31は、上述の差分情報が、予め定められた閾値を下回っているフレーム画像、最大となるフレーム画像、最小となるフレーム画像、最も平均値に近いフレーム画像、最初に数値が変化したフレーム画像、のいずれかを動態画像の初期表示用のフレーム画像として選択して表示することとしてもよい。これにより、特徴的な動きを示しているフレーム画像を初期表示とすることができる。
また、アニメーション画像を作成する際の、人体の複製範囲(部位限定とするか全体とするか)、複製サイズ、平面とするか立体とするか、色、骨部又は筋組織の有無、のいずれか一つ以上の条件を、撮影時の撮影条件又は患者情報に応じて制御部31が自動的に設定することとしてもよい。例えば、複製範囲は、撮影部位に応じて設定することができる。複製サイズや色は、被写体Mの性別、年齢、体格(身長、体重等)等により設定することができる。平面とするか立体とするかは、撮影条件により設定することができる。これにより、より患者に近い状態でアニメーション画像を表示することが可能となる。
また、人工骨等の人工物が体内に入っている患者については、アニメーション画像において人工物を入れた人体を表示することとしてもよい。また、荷重をかけたときの被写体の動きを推測してアニメーション画像を表示してもよい。
また、ステップS2~S4において、特徴点の設定や配置情報の生成が失敗した場合は、表示や音声によりアラートを出す等により、失敗した旨の情報を報知することが好ましい。
脊柱管に現れる症状として、脊柱管狭窄症がある。脊柱管狭窄症は、加齢による椎間板の出っ張りなどで脊柱管の一部が狭くなり神経を圧迫し、痛みを生じるものである。脊柱管狭窄症では、例えば、図5Aの腰部側面の模式図に示すように、立位で背骨を伸ばすと、椎間板42の膨隆の増大等により、脊柱管41が圧迫されて狭くなる。一方、前傾や座位姿勢の場合、図5Bの腰部側面の模式図に示すように、脊柱管41の圧迫は解除され、脊柱管41は広くなる。そこで、例えば、撮影装置1により直立位の状態から前傾する動作、後傾する動作を正面と側面でそれぞれ動態撮影し、得られた動態画像に対して上述の画像解析処理を行う。これにより、各フレーム画像における脊柱管41の範囲面積や幅が狭くなっていないかを判断することができる。
特徴点を結んだ面の面積を脊柱管41の配置情報として算出する。次いで、基準フレーム画像において設定した各特徴点の位置を他のフレーム画像において特定し、特定した特徴点に囲まれた面積を脊柱管41の配置情報として算出する。そして、各フレーム画像で算出した配置情報を、上述のステップS5で説明したいずれかの手法により出力する。これにより、医師は、前傾や後傾の動作中における脊柱管の状態の変化(脊柱管が狭くなっているか否か)を客観的に把握することができ、脊柱管狭窄症であるか否かを判定することができる。
なお、脊柱管41上の特徴点は、上述のP1~P4に限定されず、第4腰椎44と第5腰椎45の間の椎間板42の幅をベースとした4点としてもよい。また、複数の椎間板42の幅をベースとして、各椎間板42の幅をベースとした4つの特徴点がなす面積をそれぞれ求め、求めた複数の面積の代表値(平均値、最小値等)を脊柱管41の配置情報としてもよい。
また、上記の脊柱管41の面積や幅を前回の検査時の脊柱管41の面積や幅と比較することで、脊柱管41の経時的な悪化や改善があるか否かを判定することができる。
関節に現れる症状として、例えば、変形性肘関節症、変形性膝関節症等がある。
変形性肘関節症は、例えば、プロ野球選手などが長年投球し続けたことで肘を酷使する等により、軟骨の摩耗や骨棘が生じ、それにより可動範囲によっては骨が引っかかったり、ぶつかったりすることで痛みなどが生じる症状である。そこで、撮影装置1により肘関節を動かす動作を動態撮影して画像解析処理を行い、骨棘と疑われる部分や、骨と骨の空隙の面積を算出し、関節を動かしたときの面積の変動を出力することで、医師は、肘関節の動きを客観的に把握することができ、変形性肘関節症であるか否かを判定することができる。変形性膝関節症も、膝関節を撮影した動態画像から、同様にして判定することが可能となる。
ここで、軟骨などは画像から判断しづらいため、図7に示すように、肘関節の動態画像の基準フレーム画像上において所定の構造物(例えば、上腕骨小頭骨の端部と橈骨頭の端部等)をアノテーションAで囲み、アノテーションAで囲んだ範囲内において構造物を抽出し、抽出した構造物上に特徴点を設定してフレーム画像間で追跡して特徴点で囲まれた部分の面積を算出する。構造物の抽出は、上述のように、エッジ検出等の一般的な画像処理により行うことができる。
嚥下とは、食べ物を飲み込む動作である。図8A~図8Dは、正しい嚥下運動を模式的に示した図である。図8Aに示すように、食べ物51を飲み込む前は、喉頭蓋52は上を向いている。図8Bに示すように、食べ物51を飲み込むと、喉頭蓋52が下降し、食道54の幅が広がって食べ物51が食道に導かれる。食べ物51が通過すると、喉頭蓋52は上向きに戻る。そこで、撮影装置1により嚥下運動を撮影した動態画像に対し、上述の画像解析処理を行う。例えば、基準フレーム画像の喉頭蓋52の輪郭上に複数の特徴点を設定してそれらをフレーム画像間で追跡し、特徴点を結んだ曲線又は特徴点を結んだ曲線に囲まれた面の形状変化により各フレーム画像における喉頭蓋52の向きを捉えるとともに、食道54の対向する2点からそれらの幅(距離)を求め、喉頭蓋52の向きと食道54の幅の組み合わせを配置情報として出力する。これにより、医師は、嚥下運動における喉頭蓋52や食道54の変化やその関係性を客観的に把握することが可能となり、正常か、誤嚥かを判定することができる。誤嚥である場合はその要因を把握することが可能となる。
例えば、誤嚥が発生した場合、喉頭蓋52が正しく動作していないことで食べ物51が気管56に入ってしまうのか、喉頭蓋52は下向きになっているが、食道54が狭いことで問題が生じているのか等を医師が把握することが可能となる。
なお、下咽頭の幅を配置情報に含めてもよい。
撮影装置1により頸部の屈曲伸展運動を動態画像で撮影し、上述の画像解析処理を実施することにより、頸椎の状態や動きを捉えることが可能となる。
たとえば、まず、頸部の動態画像の基準フレーム画像において、頸椎を認識し、図9のC3u~C7dに示すように、各頸椎における上端部と下端部のそれぞれの中央に特徴点を設定する。ここで、特徴点を示す符号のC3、C4、・・・は頸椎の番号を示す。例えば、C3は第3頸椎、C4は第4頸椎を示す。また、特徴点を示す符号の添え字u、dは、それぞれ上端部、下端部を示す。なお、各頸椎における上端部と下端部のそれぞれの中央に特徴点を設定するのではなく、左端又は右端に特徴点を設定することとしてもよい。次いで、各特徴点を直線(又は曲線)で結び、配置情報とする。次いで、他のフレーム画像において、特徴点を追跡し、各特徴点を結んだ直線(又は曲線)を配置情報として取得する。そして、各フレーム画像から取得した配置情報を出力する。例えば、各フレーム画像に基づいて生成した配置情報をグラフ上にプロットして出力する。これにより、医師は、屈曲伸展運動中の頸椎の状態をより客観的に把握することが可能となる。
このように、頸椎の配置情報のグラフを作成して出力することで、医師は、屈曲伸展運動中の頸椎の状態をより客観的に把握することが可能となる。
また、首を立てた状態の配置情報が直線状になっている場合にはストレートネック、後方に湾曲した曲線の場合には、後湾変形であることがわかる。
こそ意味がある。制御部31によれば、動態画像の各フレーム画像から所定の構造物の配置状態を示す配置情報を生成するので、被写体部位の動作中における所定の構造物の状態を客観的に把握するための情報を提供することが可能となる。
で、ユーザーは、特徴点の設定又は配置情報の生成が失敗したことを認識することが可能となる。
例えば、整形外科分野で被写体部位を動態撮影した動態画像を表示する場合、以下の手法も診断や患者への説明用に有効である。
・撮影された動態画像を過去の動態画像と周期を揃えて並べて表示する。
・撮影された動態画像を所定の状態のX線静止画像と並べて表示する。
・撮影された動態画像を、撮影部位の正常な動きを示す画像と並べて表示する。
・ビデオカメラで撮影部位を撮影した動画像をX線による動態画像と並べて表示する。
・前回撮影した動態画像との違いを画像上に表示する。
・複数方向から撮影して3Dの動態画像を生成して表示する。
・前回撮影した動態画像の対応するフレーム画像との差が最も大きいフレーム画像で動態画像の表示を停止する。
・不自然な動きのフレーム画像(例えば、隣接するフレーム画像との配置情報の差分値が予め定められた閾値を超えたフレーム画像)で動態画像を停止する。
OM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
例えば、画像処理装置3の各種処理機能をコンソール2上で有してもよいし、図に記載していないPACS(Picture Archiving and Communication Systems)などの画像保存
装置上に有してもよい。または、クラウド環境に設けられたクラウドサーバー上にて画像処理装置3と同等の処理を実施し、生成した配置情報や差分情報をクラウドサービスとして他サーバーに配信してもよい。
1 撮影装置
11 放射線源
12 放射線照射制御装置
13 放射線検出部
14 読取制御装置
2 コンソール
3 画像処理装置
31 制御部
32 記憶部
33 操作部
34 表示部
35 通信部
36 コネクター
37 バス
被写体の自発的動作による動きの経過を放射線撮影することにより取得された複数のフレーム画像からなる動態画像において基準フレーム画像を決定する決定手段と、
前記基準フレーム画像中の所定の構造物上に複数の特徴点を設定する設定手段と、
前記設定手段により設定された複数の特徴点の位置関係から、前記基準フレーム画像内での前記所定の構造物の配置状態を示す配置情報を生成する第1の配置情報生成手段と、
前記設定手段により設定された複数の特徴点の位置を前記動態画像の他のフレーム画像において特定し、前記他のフレーム画像における前記所定の構造物の配置情報を生成する第2の配置情報生成手段と、
前記複数のフレーム画像において生成された前記配置情報に基づいて前記所定の構造物の動きを示すアニメーション画像を作成して出力するか、又は、前記配置情報に連動する外部模型装置に前記配置情報を出力する出力手段と、
を備える。
前記アニメーション画像を作成する際の、人体の複製範囲、複製サイズ、平面か立体か、色、骨部又は筋組織の有無、のいずれか一つ以上の条件を、撮影時の撮影条件又は患者情報に応じて設定する条件設定手段を備える。
前記アニメーション画像を作成する際の、人工物の有無、または荷重の有無のいずれか一つ以上の条件を、撮影時の撮影条件又は患者情報に応じて設定する条件設定手段を備える。
前記動態画像を、前記アニメーション画像と前記外部模型装置のいずれか一方、または両方と連動させて表示させるための表示制御手段を備える。
前記表示制御手段は、前記動態画像の重要な位置のフレーム画像の表示に伴い、前記重要な位置のフレーム画像に対応する動きとなった前記アニメーション画像または前記外部模型装置を停止させる。
コンピューターを、
被写体の自発的動作による動きの経過を放射線撮影することにより取得された複数のフレーム画像からなる動態画像において基準フレーム画像を決定する決定手段、
前記基準フレーム画像中の所定の構造物上に複数の特徴点を設定する設定手段、
前記設定手段により設定された複数の特徴点の位置関係から、前記基準フレーム画像内での前記所定の構造物の配置状態を示す配置情報を生成する第1の配置情報生成手段、
前記設定手段により設定された複数の特徴点の位置を前記動態画像の他のフレーム画像において特定し、前記他のフレーム画像における前記所定の構造物の配置情報を生成する第2の配置情報生成手段、
前記複数のフレーム画像において生成された前記配置情報に基づいて前記所定の構造物の動きを示すアニメーション画像を作成して出力するか、又は、前記配置情報に連動する外部模型装置に前記配置情報を出力する出力手段、
として機能させる。
Claims (17)
- 被写体の自発的動作による動きの経過を放射線撮影することにより取得された複数のフレーム画像からなる動態画像において基準フレーム画像を決定する決定手段と、
前記基準フレーム画像中の所定の構造物上に複数の特徴点を設定する設定手段と、
前記設定手段により設定された複数の特徴点の位置関係から、前記基準フレーム画像内での前記所定の構造物の配置状態を示す配置情報を生成する第1の配置情報生成手段と、
前記設定手段により設定された複数の特徴点の位置を前記動態画像の他のフレーム画像において特定し、前記他のフレーム画像における前記所定の構造物の配置情報を生成する第2の配置情報生成手段と、
を備える画像処理装置。 - 前記配置情報は、複数の前記特徴点を結んだ直線又は曲線、複数の前記特徴点から構成される面、前記直線又は前記面が基準となす角度、複数の前記特徴点間の距離、複数の前記特徴点から構成される面の面積のいずれか一つ又は複数の組み合わせである請求項1に記載の画像処理装置。
- 複数の前記フレーム画像間における前記配置情報の差分情報を算出する差分情報算出手段を備える請求項1又は2に記載の画像処理装置。
- 前記差分情報が予め定められた閾値を超えているか否かを判定する判定手段を備える請求項3に記載の画像処理装置。
- 前記動態画像の撮影時の撮影部位、モダリティー、前記被写体の年齢、性別、体格、治具の有無、体内含有の人工物の有無のいずれか一つ又は複数の組み合わせに応じて前記閾値を設定する閾値設定手段を備える請求項4に記載の画像処理装置。
- 前記複数のフレーム画像において生成された前記配置情報に基づいて前記所定の構造物の動きを示すグラフもしくはアニメーション画像を作成して出力するか、又は、前記配置情報に連動する外部模型装置に前記配置情報を出力する出力手段を備える請求項1~5のいずれか一項に記載の画像処理装置。
- 前記アニメーション画像を作成する際の、人体の複製範囲、複製サイズ、平面か立体か、色、骨部又は筋組織の有無、のいずれか一つ以上の条件を、撮影時の撮影条件又は患者情報に応じて設定する条件設定手段を備える請求項6に記載の画像処理装置。
- 前記配置情報を保存する保存手段を備える請求項1~7のいずれか一項に記載の画像処理装置。
- 前記保存手段は、前記配置情報の値が前記複数のフレーム画像から算出された配置情報の最大値、最小値、平均値、最初に変化する値、のいずれかに該当するフレーム画像を対象外とし、他のフレーム画像に対しては解像度を落とすか又は圧縮した状態で保存する請求項8に記載の画像処理装置。
- 前記配置情報を単独で、又は、前記動態画像もしくは当該配置情報に対応する前記フレーム画像のいずれか一つ以上と組み合わせて表示手段に表示させる表示制御手段を備える請求項1~9のいずれか一項に記載の画像処理装置。
- 前記表示制御手段は、前記表示手段において前記動態画像の各フレーム画像が順次切り替わる動作に連動して、表示された前記フレーム画像に対応する配置情報を順次切り替え
ながら表示するか、又は、前記動態画像の各フレーム画像が切り替わっても、予め指定された条件に応じた配置情報を継続して表示するよう制御する請求項10に記載の画像処理装置。 - 前記表示制御手段は、前記配置情報と予め定められた他の前記フレーム画像に基づく配置情報との差分情報が予め定められた閾値を超えているか否かの判定結果に応じて、色、形、大きさ、陰影、点滅、文字種別のいずれか一つ以上による強調表示を適用して前記配置情報を表示する請求項10又は11に記載の画像処理装置。
- 前記表示制御手段は、前記複数のフレーム画像のうち、当該フレーム画像に基づく配置情報と予め定められた他の前記フレーム画像に基づく配置情報との差分情報が予め定められた閾値を下回っているフレーム画像、最大となるフレーム画像、最小となるフレーム画像、最も平均値に近いフレーム画像、最初に変化したフレーム画像、のいずれかを前記動態画像の初期表示用のフレーム画像として表示する請求項10~12のいずれか一項に記載の画像処理装置。
- 前記特徴点の設定又は前記配置情報の生成が失敗した場合に、失敗した旨を報知する報知手段を備える請求項1~13のいずれか一項に記載の画像処理装置。
- 前記決定手段は、先頭のフレーム画像、前記所定の構造物が最初に検出されたフレーム画像、前記所定の構造物の配置情報が所定値を超えたフレーム画像、又はユーザー操作により選択されたフレーム画像を前記基準フレーム画像として決定する請求項1~14のいずれか一項に記載の画像処理装置。
- 前記動態画像は、腰部を動かす動作、頸部を動かす動作、関節を動かす動作又は嚥下運動を放射線撮影した動態画像である請求項1~15のいずれか一項に記載の画像処理装置。
- コンピューターを、
被写体の自発的動作による動きの経過を放射線撮影することにより取得された複数のフレーム画像からなる動態画像において基準フレーム画像を決定する決定手段、
前記基準フレーム画像中の所定の構造物上に複数の特徴点を設定する設定手段、
前記設定手段により設定された複数の特徴点の位置関係から、前記基準フレーム画像内での前記所定の構造物の配置状態を示す配置情報を生成する第1の配置情報生成手段、
前記設定手段により設定された複数の特徴点の位置を前記動態画像の他のフレーム画像において特定し、前記他のフレーム画像における前記所定の構造物の配置情報を生成する第2の配置情報生成手段、
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023085852A JP2023103480A (ja) | 2019-09-19 | 2023-05-25 | 画像処理装置及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019170053A JP7287210B2 (ja) | 2019-09-19 | 2019-09-19 | 画像処理装置及びプログラム |
JP2023085852A JP2023103480A (ja) | 2019-09-19 | 2023-05-25 | 画像処理装置及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019170053A Division JP7287210B2 (ja) | 2019-09-19 | 2019-09-19 | 画像処理装置及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023103480A true JP2023103480A (ja) | 2023-07-26 |
Family
ID=74876897
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019170053A Active JP7287210B2 (ja) | 2019-09-19 | 2019-09-19 | 画像処理装置及びプログラム |
JP2023085852A Pending JP2023103480A (ja) | 2019-09-19 | 2023-05-25 | 画像処理装置及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019170053A Active JP7287210B2 (ja) | 2019-09-19 | 2019-09-19 | 画像処理装置及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20210089820A1 (ja) |
JP (2) | JP7287210B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113949830B (zh) * | 2021-09-30 | 2023-11-24 | 国家能源集团广西电力有限公司 | 一种图像处理方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3639825B2 (ja) * | 2002-04-03 | 2005-04-20 | キヤノン株式会社 | 動画像表示方法、プログラム、コンピュータ可読記憶媒体、及び動画像表示装置 |
JP2006102353A (ja) * | 2004-10-08 | 2006-04-20 | Toshiba Corp | 関節動作解析装置、関節動作解析方法及び関節動作解析プログラム |
TW201408153A (zh) * | 2012-08-07 | 2014-02-16 | Ecocera Optronics Co Ltd | 改善陶瓷貫孔基板上金屬表面粗糙度之方法 |
JP2014079312A (ja) * | 2012-10-15 | 2014-05-08 | Konica Minolta Inc | 画像処理装置及びプログラム |
US9400939B2 (en) * | 2014-04-13 | 2016-07-26 | International Business Machines Corporation | System and method for relating corresponding points in images with different viewing angles |
JP6406144B2 (ja) * | 2015-07-17 | 2018-10-17 | コニカミノルタ株式会社 | 放射線撮影システム |
JP2018068400A (ja) * | 2016-10-25 | 2018-05-10 | コニカミノルタ株式会社 | 動態画像処理装置 |
WO2020008629A1 (ja) * | 2018-07-06 | 2020-01-09 | 楽天株式会社 | 画像処理システム、画像処理方法、及びプログラム |
-
2019
- 2019-09-19 JP JP2019170053A patent/JP7287210B2/ja active Active
-
2020
- 2020-09-08 US US17/014,687 patent/US20210089820A1/en active Pending
-
2023
- 2023-05-25 JP JP2023085852A patent/JP2023103480A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20210089820A1 (en) | 2021-03-25 |
JP2021045367A (ja) | 2021-03-25 |
JP7287210B2 (ja) | 2023-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1350467B1 (en) | Motion image processing apparatus and method | |
US7050537B2 (en) | Radiographic apparatus, radiographic method, program, computer-readable storage medium, radiographic system, image diagnosis aiding method, and image diagnosis aiding system | |
JP2017532165A (ja) | 脊椎不安定性を測定して評価するためのシステム及び方法 | |
WO2014156796A1 (ja) | 放射線撮影装置、放射線撮影方法、放射線撮影制御プログラム | |
WO2013150911A1 (ja) | 画像生成装置及びプログラム | |
JP6345468B2 (ja) | 医用画像診断装置 | |
JP2010154992A (ja) | 放射線画像撮影制御装置、放射線画像撮影制御システム、及び放射線画像撮影制御プログラム | |
JP2023103480A (ja) | 画像処理装置及びプログラム | |
JP2023133736A (ja) | 画像処理装置、画像処理システム及びプログラム | |
JP6743730B2 (ja) | 動態解析システム | |
JP2021058570A (ja) | 画像処理装置及びプログラム | |
JP7404857B2 (ja) | 画像判定装置、画像判定方法及びプログラム | |
JP2022035719A (ja) | 写損判断支援装置及びプログラム | |
JP2022190807A (ja) | 動態品質管理装置、動態品質管理プログラム及び動態品質管理方法 | |
JP6548713B2 (ja) | 医用画像診断装置 | |
CN114222530A (zh) | 医用摄影系统及医用摄影处理装置 | |
JP6885260B2 (ja) | 動態画像解析装置 | |
US11810295B2 (en) | Dynamic image analysis apparatus, dynamic image analysis method, and storage medium | |
JP7310568B2 (ja) | 放射線撮影システム、動作補助装置及びプログラム | |
JP2020099533A (ja) | 骨部手術の支援装置、支援方法、プログラム、および記録媒体 | |
US20220079538A1 (en) | X-ray dynamic image display apparatus, storage medium, x-ray dynamic image display method, and x-ray dynamic image display system | |
JP7310239B2 (ja) | 画像処理装置、放射線撮影システム及びプログラム | |
JP7211172B2 (ja) | 動態画像解析システム及び動態画像処理装置 | |
JP7405010B2 (ja) | 診断支援システム、診断支援装置及びプログラム | |
JP7143747B2 (ja) | 画像表示装置、画像表示方法及び画像表示プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230623 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230623 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240402 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240416 |