JP2023036499A - Image processing apparatus, image processing method, and recording medium - Google Patents
Image processing apparatus, image processing method, and recording medium Download PDFInfo
- Publication number
- JP2023036499A JP2023036499A JP2021171384A JP2021171384A JP2023036499A JP 2023036499 A JP2023036499 A JP 2023036499A JP 2021171384 A JP2021171384 A JP 2021171384A JP 2021171384 A JP2021171384 A JP 2021171384A JP 2023036499 A JP2023036499 A JP 2023036499A
- Authority
- JP
- Japan
- Prior art keywords
- depth
- image
- internal structure
- pointing device
- profile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 81
- 238000003672 processing method Methods 0.000 title claims description 10
- 230000008859 change Effects 0.000 claims abstract description 64
- 238000000034 method Methods 0.000 claims description 19
- 238000012986 modification Methods 0.000 claims description 13
- 230000004048 modification Effects 0.000 claims description 13
- 230000009467 reduction Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 210000004204 blood vessel Anatomy 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 12
- 238000013500 data storage Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 6
- 238000003325 tomography Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002316 cosmetic surgery Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
Description
本発明は、画像処理装置、画像処理方法、および記録媒体に関する。 The present invention relates to an image processing device, an image processing method, and a recording medium.
被検体の所定の被検部位を測定した音響波の信号データに基づいて画像を再構成する画像生成装置が開発されている。 2. Description of the Related Art An image generation apparatus has been developed that reconstructs an image based on signal data of acoustic waves obtained by measuring a predetermined test site of a subject.
例えば、光源(レーザーなど)からの光を生体などの被検体に照射し、該被検体の内部の情報を可視化する画像生成装置の研究が医療分野で積極的に進められている。このような光による可視化技術の一つとして、Photoacoustic Tomography(PAT:光音響トモグラフィー、光超音波トモグラフィーと称することもある)がある。光音響トモグラフィーを用いたイメージング装置では、照射した光が被検体内を伝播し、拡散した光のエネルギーを吸収した光吸収性を有する生体組織から発生される音響波(典型的に超音波である)を、被検体の周辺の複数の箇所で検出する。そして、得られた信号を数学的に解析処理し、被検体内部の光学特性値、特に吸収係数分布に関連した情報を可視化する。近年、この光音響トモグラフィー装置を用いて、小動物の血管像をイメージングする非臨床研究や、この原理を乳がんなどの画像診断あるいは形成外科領域の術前計画に応用するための臨床研究が積極的に進められている。 For example, in the medical field, research is actively progressing on an image generating apparatus that irradiates a subject such as a living body with light from a light source (such as a laser) and visualizes information inside the subject. Photoacoustic tomography (PAT: photoacoustic tomography, sometimes referred to as photoacoustic tomography) is one of such optical visualization techniques. In an imaging device using photoacoustic tomography, the irradiated light propagates inside the subject and absorbs the energy of the diffused light. ) are detected at a plurality of locations around the subject. Then, the obtained signal is mathematically analyzed and processed to visualize the optical characteristic value inside the object, especially the information related to the absorption coefficient distribution. In recent years, non-clinical research on imaging blood vessels in small animals using this photoacoustic tomography system and clinical research on applying this principle to image diagnosis for breast cancer and preoperative planning in the field of plastic surgery have been actively conducted. is underway.
特許文献1には、画像データを用いて、被検体の界面の推定を可能にする技術が開示されている。また、特許文献2には、光音響信号から再構成された内部構造画像に含まれる表在血管と体毛の分別精度を向上させる技術が開示されている。
本発明の目的は、生体を含む物体の内部構造を認識しやすくするグラフィカルユーザーインターフェース(GUI)を提供することである。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a graphical user interface (GUI) that facilitates recognition of the internal structure of objects, including living organisms.
本発明の一態様によれば、
物体の3次元的な内部構造を示すボリュームデータを元に、所定の基準面から第1深さ以上第2深さ以下の深さ範囲内において、前記第1深さから前記第2深さにかけて色彩パラメータを連続的に変化させた内部構造画像を構成し、表示装置に表示させる内部構造画像出力部と、
前記基準面からの深さと、前記色彩パラメータと、の対応関係を示すプロファイル画像を、前記表示装置に表示させるプロファイル画像出力部と、
ポインティングデバイスの操作を受け付ける入力受付部と、を備え、
前記入力受付部は、前記ポインティングデバイスの操作位置が前記プロファイル画像上であるとき、前記ポインティングデバイスの操作内容に応じて、前記第1深さおよび前記第2深さのうち少なくとも一方の変更を受け付けるように構成され、
前記内部構造画像出力部は、前記入力受付部が受け付けた変更後の前記深さ範囲内における色彩パラメータを、変更後の前記第1深さから前記第2深さにかけて、変更前の前記色彩パラメータの変化態様と同様に変化させた前記内部構造画像を再構成して前記表示装置に再表示させるように構成され、
前記プロファイル画像出力部は、前記入力受付部が受け付けた変更後の前記第1深さおよび前記第2深さに応じて、前記プロファイル画像を再構成して前記表示装置に再表示させるように構成されている、画像処理装置が提供される。
According to one aspect of the invention,
From the first depth to the second depth within a depth range from a first depth to a second depth from a predetermined reference plane, based on volume data indicating the three-dimensional internal structure of an object. an internal structure image output unit that constructs an internal structure image in which the color parameter is continuously changed and displays it on a display device;
a profile image output unit that causes the display device to display a profile image showing the correspondence relationship between the depth from the reference plane and the color parameter;
an input reception unit that receives an operation of the pointing device,
The input accepting unit accepts a change of at least one of the first depth and the second depth according to an operation content of the pointing device when an operation position of the pointing device is on the profile image. configured as
The internal structure image output unit converts the color parameter within the changed depth range accepted by the input accepting unit to the color parameter before change from the first depth after change to the second depth. configured to reconstruct the internal structure image changed in the same manner as the change mode of and re-display it on the display device,
The profile image output unit is configured to reconstruct the profile image according to the changed first depth and the second depth accepted by the input acceptance unit and cause the display device to re-display the profile image. An image processing apparatus is provided.
本発明によれば、生体を含む物体の内部構造を認識しやすくするグラフィカルユーザーインターフェース(GUI)を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the graphical user interface (GUI) which makes it easy to recognize the internal structure of the object containing a living body can be provided.
<本発明の第1実施形態>
以下、本発明の第1実施形態について図面を参照しながら説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
<First embodiment of the present invention>
A first embodiment of the present invention will be described below with reference to the drawings. The present invention is not limited to these exemplifications, but is indicated by the scope of the claims, and is intended to include all modifications within the scope and meaning equivalent to the scope of the claims.
(1)画像処理装置10の構成
本実施形態に係る画像処理装置10は、例えば、被検体(被験体)の生体組織の内部構造を、ユーザが認識しやすくするために、生体組織の3次元的な内部構造を示すボリュームデータを処理するように構成されている。図1は、本実施形態に係る画像処理装置10の概略構成図である。図1に示すように、画像処理装置10は、例えば、内部構造画像出力部11と、プロファイル画像出力部12と、入力受付部13と、を備えている。図1に示すように、内部構造画像出力部11と、プロファイル画像出力部12とは、例えば、データ用記憶部(SSD/HDD)101、汎用演算部(CPU)102、画像演算部(GPU)103、画像処理用記憶部(VRAM)104、汎用処理用記憶部(RAM)105、通信部106を有するコンピュータの一部であってもよい。なお、本実施形態において、ボリュームデータは、生体に対する光照射により発生した光音響波の信号データを画像再構成することにより得られる。また、ユーザとは、画像処理装置10を操作する人のことを意味する。
(1) Configuration of
SSD/HDD101は、例えば、光音響波測定に係るプログラム等のデータを記憶するように構成されている。CPU102は、例えば、SSD/HDD101に格納された所定のプログラムを実行することで、画像処理装置10の各部を制御するように構成されている。GPU103は、例えば、CPU102と連携して、画像処理に係るプログラムを実行するように構成されている。VRAM104は、例えば、GPU103によって処理される情報やプログラム等が一時的に保持されるように構成されている。RAM105は、例えば、ボリュームデータメモリ(領域)107、内部構造画像メモリ(領域)108、プロファイル画像メモリ(領域)109等を有し、CPU102によって処理される情報やプログラム等が一時的に保持されるように構成されている。通信部106は、例えば、画像処理に必要な情報をネットワークファイルサーバ110から取得するように構成されている。ネットワークファイルサーバ110は、例えば、光音響波撮像装置111が撮像した撮像データが格納されるように構成されている。
The SSD/HDD 101 is configured to store data such as programs related to photoacoustic wave measurement, for example. The
内部構造画像出力部11は、物体(本実施形態では生体組織)の3次元的な内部構造を示すボリュームデータを元に、所定の基準面から第1深さ以上第2深さ以下の深さ範囲内において、第1深さから第2深さにかけて色彩パラメータを連続的に変化させた内部構造画像30を構成し、表示装置20に表示させるように構成されている。また、内部構造画像出力部11は、第1深さ未満の範囲内におけるボリュームデータを元に構築した内部構造画像30の色彩パラメータを、第1深さにおける色彩パラメータと同様にし、第2深さ超の範囲内におけるボリュームデータを元に構築した内部構造画像30の色彩パラメータを、第2深さにおける色彩パラメータと同様にして、内部構造画像30を構成し、表示装置20に表示させるように構成されている。
The internal structure
所定の基準面とは、所定の基準高さの平面、または、被検体の界面を規定する連続面を意味する。内部構造画像出力部11は、所定の基準面を、所定の基準高さの平面、または、被検体の界面を規定する連続面に切り替え、内部構造画像30を再構成し、表示装置20に再表示可能なように構成されていることが好ましい。なお、被検体の界面を規定する連続面を求める場合、例えば、特許文献1に記載されているクロスシミュレーション等、公知の方法を用いることができる。
A predetermined reference plane means a plane of a predetermined reference height or a continuous plane that defines the interface of the subject. The internal structure
第1深さとは、例えば、深さ範囲の下限(最も浅い位置)を意味し、第2深さとは、例えば、深さ範囲の上限(最も深い位置)を意味する。 The first depth means, for example, the lower limit (shallowest position) of the depth range, and the second depth means, for example, the upper limit (deepest position) of the depth range.
ボリュームデータとは、ボクセルの集合体としての3次元データであり、ボクセルとは、被検体の単位空間領域の密度、質量、酸素飽和度といった物理特性情報を、所定の物理パラメータとして持つ単位領域のことを意味する。つまり、各ボクセルは、座標値と物理パラメータとで構成され、ボリュームデータにおける各ボクセルと、被検体の単位空間領域とが相互に対応している。また、内部構造画像30は、表示のためのピクセルの集合からなる2次元的な画像を意味する。
Volume data is three-dimensional data as a collection of voxels, and a voxel is a unit area having physical characteristic information such as density, mass, and oxygen saturation of a unit spatial area of a subject as predetermined physical parameters. means that That is, each voxel is composed of coordinate values and physical parameters, and each voxel in the volume data corresponds to the unit space area of the subject. Also, the
色彩パラメータとは、色相、彩度、および明度のうち少なくともいずれかの属性を含むパラメータである。内部構造画像30における各ピクセルの色彩パラメータは、各ピクセルに対応する各ボクセルの基準面からの深さに応じて、例えば、赤色(浅い)から青色(深い)へと連続的に変化している。内部構造画像出力部11は、色相パラメータが含む属性(色相、彩度、および明度)のうち、いずれの属性を基準面からの深さに応じて、連続的に変化させるかを切り替え可能なように構成されていることが好ましい。
A color parameter is a parameter including at least one attribute of hue, saturation, and lightness. The color parameter of each pixel in the
内部構造画像30とは、生体組織の内部構造を示すボリュームデータに基づいて構成した2次元表示のための画像である。本実施形態においては、内部構造画像30は、光音響波の信号データに基づいて構成した光音響画像である場合を説明する。
The
表示装置20は、例えば、画像処理装置10に接続され、所定のプログラムの実行によって内部構造画像30等を表示するよう構成されている。表示装置20は、2次元的な表示装置であり、立体視可能なものであっても構わない。具体的には、表示装置20は、液晶ディスプレイ、有機EL(OLED)ディスプレイ、ヘッドマウントディスプレイ、直視型立体ディスプレイ等である。なお、表示装置20は、画像処理装置10の一部であってもよい。
The
プロファイル画像出力部12は、基準面からの深さと、色彩パラメータと、の対応関係を示すプロファイル画像40を、内部構造画像30とともに表示装置20に表示させるように構成されている。
The profile
図2は、本実施形態に係る表示装置20に表示された、内部構造画像30およびプロファイル画像40の一例をしめす図である。図2に示すように、本実施形態において、プロファイル画像40は、カラーバー41と、インデックス42と、を有している。カラーバー41は、例えば、縦長の棒状の画像であり、上端から下端にかけて、色彩パラメータが内部構造画像30と同様に変化している。カラーバー41において、例えば、下端は第1深さに対応し、上端は第2深さに対応している。インデックス42は、例えば、カラーバー41に隣接する複数の数値群であり、カラーバー41の色彩パラメータと、基準面からの深さと、の対応関係を示している。例えば、インデックス42の数値群のうち、最も下の数値は第1深さを示し、最も上の数値は第2深さを示している。ユーザは、表示装置20に表示された、内部構造画像30およびプロファイル画像40を確認することで、内部構造画像30において、ユーザが関心を持っている領域(以下、関心領域ともよぶ)が、基準面からどの程度の深さに位置しているかを認識することができる。なお、本実施形態の画像処理装置10では、深さがゼロである基準面の設定の仕方は2通りある。1つは、被検体の皮膚表面位置をゼロとする設定の仕方である。皮膚表面位置は、例えば、特許文献1に記載のクロスシミュレーション処理によって求めることができる。もう1つは、やはり特許文献1に示すように、被検体を取り囲む様に複数のセンサをお椀型に配置した場合にお椀の中心軸(z軸)についてセンサの曲率中心位置をz=ゼロとする設定の仕方である。この基準を用いた場合、最も浅い検出面の高さは大略-(マイナス)10mmとなり、本実施形態の光音響波センサにおいては-10mmから+10mmの範囲が最も解像度が高い。
FIG. 2 is a diagram showing an example of an
入力受付部13は、ポインティングデバイス14の操作を受け付けるように構成されている。本明細書において、ポインティングデバイス14とは、例えば、表示装置20に表示されるポインタ50を操作するための入力機器を意味し、具体的には、マウス、トラックボール、タッチパネル(ユーザのタッチ入力により位置指定やドラッグなどを検出するタッチセンサ)等である。
The
(2)画像処理装置10が備えるグラフィカルインターフェース
本実施形態に係る画像処理装置10は、生体組織の内部構造を認識しやすくするグラフィカルユーザーインターフェース(GUI)を備えている。ユーザは、例えば、ポインティングデバイス14によって、表示装置20に表示されるポインタ50を操作し、画像処理装置10は、ポインティングデバイス14の操作位置および操作内容に応じて、様々な処理を行うように構成されている。以下、本実施形態に係る画像処理装置10が備えるGUIについて、その機能の一部を説明する。なお、本明細書において、ポインティングデバイス14の操作内容とは、例えば、クリック、ドラッグ、ホイール回転等の各種操作を意味し、ポインティングデバイス14の操作位置とは、上述の操作を開始する際のポインタ50の位置を意味する。
(2) Graphical Interface Provided by
(2-1)画像移動機能
本実施形態に係る画像処理装置10が備えるGUIによれば、表示装置20に表示される内部構造画像30と、プロファイル画像40と、を表示装置20上の任意の位置にそれぞれ移動させることが可能である。
(2-1) Image movement function According to the GUI provided in the
内部構造画像出力部11は、入力受付部13が受け付けたポインティングデバイス14の操作位置が、内部構造画像30上であるとき、入力受付部13が受け付けたポインティングデバイス14の操作内容に応じて、内部構造画像30を移動可能な態様で表示するように構成されている。具体的には、内部構造画像出力部11は、例えば、内部構造画像30上において、ドラッグ操作が行われた時、ポインタ50が移動する方向に内部構造画像30を移動させるように構成されていればよい。
When the operation position of the
プロファイル画像出力部12は、入力受付部13が受け付けたポインティングデバイス14の操作位置が、プロファイル画像40上であるとき、入力受付部13が受け付けたポインティングデバイス14の操作内容に応じて、プロファイル画像40を移動可能な態様で表示するように構成されている。具体的には、プロファイル画像出力部12は、例えば、プロファイル画像40上において、ドラッグ操作が行われた時、ポインタ50が移動する方向にプロファイル画像40を移動させるように構成されていればよい。ユーザは、必要に応じてプロファイル画像40を任意の位置に移動させることができるため、例えば、関心領域が、基準面からどの程度の深さに位置しているかを認識しやすくなる。なお、本実施形態において、ポインティングデバイス14の操作位置が、プロファイル画像40上であるとは、例えば、カラーバー41上(またはインデックス42上)にポインタ50がある状態でポインティングデバイス14の操作を開始することを意味している。
When the operation position of the
(2-2)画像拡大縮小機能
本実施形態に係る画像処理装置10が備えるGUIによれば、表示装置20に表示される内部構造画像30を拡大または縮小させることが可能である。
(2-2) Image Enlarging/Reducing Function According to the GUI included in the
内部構造画像出力部11は、入力受付部13が受け付けたポインティングデバイス14の操作位置が、内部構造画像30上であるとき、入力受付部13が受け付けたポインティングデバイス14の操作内容に応じて、内部構造画像30を拡大または縮小のうち少なくとも一方が可能な態様で表示するように構成されている。具体的には、内部構造画像出力部11は、例えば、内部構造画像30上において、一方の方向(例えば、上方向)にホイール操作が行われた時、内部構造画像30を拡大させ、他方の方向(例えば、下方向)にホイール操作が行われた時、内部構造画像30を縮小させるように構成されていればよい。
When the operation position of the
(2-3)深さ範囲の変更機能
本実施形態に係る画像処理装置10が備えるGUIによれば、第1深さおよび第2深さの少なくとも一方を変更し、表示装置20に表示される内部構造画像30と、プロファイル画像40と、をそれぞれ再表示させることが可能である。
(2-3) Depth Range Change Function According to the GUI provided in the
入力受付部13は、ポインティングデバイス14の操作位置がプロファイル画像40上であるとき、ポインティングデバイス14の操作内容に応じて、第1深さおよび第2深さのうち少なくとも一方の変更を受け付けるように構成されている。
When the operation position of the
内部構造画像出力部11は、入力受付部13が受け付けた変更後の深さ範囲内における各ピクセルの色彩パラメータを、変更後の第1深さから第2深さにかけて、変更前の色彩パラメータの変化態様と同様に変化させた内部構造画像30を再構成して表示装置20に再表示させるように構成されている。本明細書において、色彩パラメータの「変化態様」とは、色相パラメータが含む属性のうち、いずれの属性が連続的に変化しているかを示すものである。また、色彩パラメータを、変更前の色彩パラメータの変化態様と同様に変化させるとは、例えば、変更前の色彩パラメータが、第1深さから第2深さにかけて、赤色から青色に変化していた場合、変更後の色彩パラメータも、赤色から青色に変化させる点は変わらないことを意味する。
The internal structure
プロファイル画像出力部12は、入力受付部13が受け付けた変更後の第1深さおよび第2深さに応じて、プロファイル画像40を再構成して表示装置20に再表示させるように構成されている。上述したように、深さ範囲の変更前後において、色彩パラメータの変化態様は変わらないため、プロファイル画像40を再構成する際、カラーバー41の画像はそのままでよく、インデックス42のみを変化させればよい。ユーザは、ポインティングデバイス14を操作するという簡便な操作によって、関心領域の深さ方向の情報を、より視覚的に認識しやすく調整することができる。
The profile
(2-4)第1深さ(または第2深さ)の変更機能
(2-3)で説明した深さ範囲の変更機能は、より細かく区分することができる。例えば、本実施形態に係る画像処理装置10が備えるGUIによれば、第1深さ(または第2深さ)のみを変更し、表示装置20に表示される内部構造画像30と、プロファイル画像40と、をそれぞれ再表示させることが可能である。
(2-4) First Depth (or Second Depth) Change Function The depth range change function described in (2-3) can be further classified. For example, according to the GUI included in the
入力受付部13は、ポインティングデバイス14の操作位置がプロファイル画像40の第1領域上であるとき、ポインティングデバイス14の操作内容に応じて、第1深さおよび第2深さのうちいずれか一方の変更を受け付けるように構成されている。ここで、プロファイル画像40の第1領域とは、例えば、カラーバー41の下部(例えば、下端から1/4の長さ分)を意味する。具体的には、入力受付部13は、例えば、カラーバー41の下部において、一方の方向(例えば、上方向)にホイール操作が行われた時、第1深さのみを増加させ、他方の方向(例えば、下方向)にホイール操作が行われた時、第1深さのみを減少させる変更を受け付けるように構成されていればよい。
When the operation position of the
入力受付部13は、ポインティングデバイス14の操作位置がプロファイル画像40の第2領域上であるとき、ポインティングデバイス14の操作内容に応じて、第1深さおよび第2深さのうち、上述の一方とは異なる他方の変更を受け付けるように構成されている。ここで、プロファイル画像40の第2領域とは、例えば、カラーバー41の上部(例えば、上端から1/4の長さ分)を意味する。具体的には、入力受付部13は、例えば、カラーバー41の上部において、一方の方向(例えば、上方向)にホイール操作が行われた時、第2深さのみを増加させ、他方の方向(例えば、下方向)にホイール操作が行われた時、第2深さのみを減少させる変更を受け付けるように構成されていればよい。
When the operation position of the
(2-5)深さ範囲の平行移動機能
本実施形態に係る画像処理装置10が備えるGUIによれば、深さ範囲を平行移動させるように、第1深さおよび第2深さを変更し、表示装置20に表示される内部構造画像30と、プロファイル画像40と、をそれぞれ再表示させることが可能である。
(2-5) Depth range translation function According to the GUI included in the
入力受付部13は、ポインティングデバイス14の操作位置がプロファイル画像40の第3領域上であるとき、ポインティングデバイス14の操作内容に応じて、深さ範囲の大きさを変化させずに、深さ範囲を深い方向または浅い方向のうち少なくとも一方に移動させる変更を受け付けるように構成されている。ここで、プロファイル画像40の第3領域とは、例えば、カラーバー41の中央部(例えば、中心から上下1/4の長さ分)を意味する。具体的には、入力受付部13は、例えば、カラーバー41の中央部において、一方の方向(例えば、上方向)にホイール操作が行われた時、第1深さおよび第2深さを同じ値だけ増加させ、他方の方向(例えば、下方向)にホイール操作が行われた時、第1深さおよび第2深さを同じ値だけ減少させる変更を受け付けるように構成されていればよい。
When the operation position of the
(2-6)深さ範囲の拡大縮小機能
本実施形態に係る画像処理装置10が備えるGUIによれば、深さ範囲を拡大または縮小させるように、第1深さおよび第2深さを変更し、表示装置20に表示される内部構造画像30と、プロファイル画像40と、をそれぞれ再表示させることが可能である。第1深さと第2深さにおけるそれぞれの色彩パラメータに変化がない場合、深さ範囲を拡大すると、単位深さあたりの色彩パラメータの変化が少なくなり、広い深さ範囲での検査が可能となる。一方、同様にそれぞれの色彩パラメータに変化がない場合、深さ範囲を縮小すると、単位深さあたりの色彩パラメータの変化が大きくなり、狭い深さ範囲で詳細に深さの違いを読み取ることができる。
(2-6) Depth range enlargement/reduction function According to the GUI provided in the
入力受付部13は、ポインティングデバイス14の操作位置がプロファイル画像40上であるとき、ポインティングデバイス14の操作内容に応じて、深さ範囲の中心を変化させずに、深さ範囲の拡大または縮小のうち少なくとも一方を可能にする変更を受け付けるように構成されている。具体的には、入力受付部13は、例えば、プロファイル画像40上において、右クリック操作を行いつつ、一方の方向(例えば、上方向)にホイール操作が行われた時、第1深さを増加させ、かつ、第2深さを第1深さの増加と同じ値だけ減少させて深さ範囲を縮小し、他方の方向(例えば、下方向)にホイール操作が行われた時、第1深さを減少させ、かつ、第2深さを第1深さの減少と同じ値だけ増加させて深さ範囲を拡大する変更を受け付けるように構成されていればよい。
When the operation position of the
(3)本実施形態により得られる効果
本実施形態によれば、以下に示す1つまたは複数の効果が得られる。
(3) Effects obtained by this embodiment According to this embodiment, one or more of the following effects can be obtained.
(a)本実施形態に係る画像処理装置10が備えるGUIによれば、表示装置20に表示される内部構造画像30と、プロファイル画像40と、を表示装置20上の任意の位置にそれぞれ移動させることが可能である。この機能により、ユーザは、必要に応じてプロファイル画像40を任意の位置に移動させることができるため、例えば、関心領域が、基準面からどの程度の深さに位置しているかを認識しやすくなる。
(a) According to the GUI included in the
(b)本実施形態に係る画像処理装置10が備えるGUIによれば、表示装置20に表示される内部構造画像30を拡大または縮小させることが可能である。この機能により、ユーザは、必要に応じて内部構造画像30を拡大または縮小させることができるため、例えば、関心領域が、基準面からどの程度の深さに位置しているかを認識しやすくなる。
(b) According to the GUI included in the
(c)本実施形態に係る画像処理装置10が備えるGUIによれば、第1深さおよび第2深さの少なくとも一方を変更し、表示装置20に表示される内部構造画像30と、プロファイル画像40と、をそれぞれ再表示させることが可能である。この機能により、ユーザは、ポインティングデバイス14を操作するという簡便な操作によって、関心領域の深さ方向の情報を、より視覚的に認識しやすく調整することができる。
(c) According to the GUI included in the
(d)本実施形態に係る画像処理装置10が備えるGUIによれば、第1深さ(または第2深さ)のみを変更し、表示装置20に表示される内部構造画像30と、プロファイル画像40と、をそれぞれ再表示させることが可能である。この機能により、ユーザは、ポインティングデバイス14を操作するという簡便な操作によって、関心領域の深さ方向の情報を、より視覚的に認識しやすく調整することができる。
(d) According to the GUI included in the
(e)本実施形態に係る画像処理装置10が備えるGUIによれば、深さ範囲を平行移動させるように、第1深さおよび第2深さを変更し、表示装置20に表示される内部構造画像30と、プロファイル画像40と、をそれぞれ再表示させることが可能である。この機能により、ユーザは、ポインティングデバイス14を操作するという簡便な操作によって、関心領域の深さ方向の情報を、より視覚的に認識しやすく調整することができる。
(e) According to the GUI included in the
(f)本実施形態に係る画像処理装置10が備えるGUIによれば、深さ範囲を拡大または縮小させるように、第1深さおよび第2深さを変更し、表示装置20に表示される内部構造画像30と、プロファイル画像40と、をそれぞれ再表示させることが可能である。この機能により、ユーザは、ポインティングデバイス14を操作するという簡便な操作によって、関心領域の深さ方向の情報を、より視覚的に認識しやすく調整することができる。
(f) According to the GUI included in the
(g)本実施形態において、生体組織の内部構造を示すボリュームデータは、生体に対する光照射により発生した光音響波の信号データを画像再構成することにより得られる。光音響トモグラフィーでは、例えば、血管のみを可視化し、手前の血管と奥の血管を同時に表示させた内部構造画像30を得ることができるため、本発明を特に効果的に適用できる。
(g) In the present embodiment, volume data representing the internal structure of living tissue is obtained by image reconstruction of signal data of photoacoustic waves generated by light irradiation of the living body. In photoacoustic tomography, for example, only blood vessels can be visualized, and the
(4-1)第1実施形態の変形例1
上述の実施形態は、必要に応じて、以下に示す変形例のように変更することができる。以下、上述の実施形態と異なる要素についてのみ説明し、上述の実施形態で説明した要素と実質的に同一の要素には、同一の符号を付してその説明を省略する。
(4-1)
The above-described embodiment can be modified as in the following modified examples, if necessary. Hereinafter, only elements different from the above-described embodiment will be described, and elements that are substantially the same as those described in the above-described embodiment will be given the same reference numerals, and descriptions thereof will be omitted.
図3は、本変形例に係る画像処理装置10の概略構成図である。図3に示すように、本変形例に係る画像処理装置10は、例えば、スライダ画像出力部15をさらに備えていてもよい。スライダ画像出力部15は、内部構造画像出力部11およびプロファイル画像出力部12と同様に、CPU102等を有するコンピュータの一部であってもよい。スライダ画像出力部15は、例えば、撮像して得られた3次元のボリュームデータが有する深さ範囲の全体(撮像範囲ともよぶ)に対して、色彩パラメータが連続的に変化している深さ範囲(第1深さ以上第2深さ以下)の位置および大きさを示す第1スライダ画像60と、ボリュームデータが有する深さ範囲の全体に対して、表示装置20に表示されている内部構造画像30の表示範囲(深さ方向)の深さ位置および深さ範囲の大きさを示す第2スライダ画像70と、を内部構造画像30およびプロファイル画像40とともに表示装置20に表示させるように構成されている。
FIG. 3 is a schematic configuration diagram of an
図4は、本変形例に係る表示装置20に表示された、内部構造画像30、プロファイル画像40、第1スライダ画像60、および第2スライダ画像70の一例をしめす図である。図4に示すように、第1スライダ画像60は、例えば、横長の棒状の画像であり、画像内に第1スライダーバー61を有している。また、第2スライダ画像70は、例えば、横長の棒状の画像であり、画像内に第2スライダーバー71を有している。第1スライダ画像60および第2スライダ画像70において、一端(例えば、左端)は、ボリュームデータが有する深さ範囲の下限(最も浅い位置)を示し、他端(例えば、右端)は、ボリュームデータが有する深さ範囲の上限(最も深い位置)を示している。第1スライダーバー61において、一端(例えば、左端)は、第1深さに対応し、他端(例えば、右端)は、第2深さに対応している。また、第2スライダーバー71において、一端(例えば、左端)は、内部構造画像30の表示範囲の下限に対応し、他端(例えば、右端)は、内部構造画像30の表示範囲の上限に対応している。
FIG. 4 is a diagram showing an example of an
スライダ画像出力部15は、入力受付部13が受け付けた変更後の第1深さおよび第2深さに応じて、第1スライダ画像60を再構成して表示装置20に再表示させるように構成されている。具体的には、スライダ画像出力部15は、変更後の第1深さおよび第2深さに応じて、第1スライダーバー61の位置および大きさを変更するように構成されていればよい。ユーザは、必要に応じて第1スライダ画像60を確認することで、色彩パラメータが連続的に変化している深さ範囲が、ボリュームデータが有する深さ範囲の全体のうち、どのあたりに位置しているかを認識しやすくなる。
The slider
第1スライダ画像60は、プロファイル画像40と同様に、深さ範囲の変更機能を有するGUIの一部として用いることができる。この場合、入力受付部13は、ポインティングデバイス14の操作位置が第1スライダ画像60上であるとき、ポインティングデバイス14の操作内容に応じて、第1深さおよび第2深さのうち少なくとも一方の変更を受け付けるように構成されていればよい。しかしながら、基準面からの深さと、色彩パラメータとの対応関係を、視覚的に確認しながら、深さ範囲の変更を行うことができるという観点からは、上述の第1実施形態のように、プロファイル画像40上でポインティングデバイス14を操作することが好ましい。
The
第2スライダ画像70は、内部構造画像30の表示範囲の変更機能を有するGUIの一部として用いることができる。この場合、入力受付部13は、ポインティングデバイス14の操作位置が第2スライダ画像70上であるとき、ポインティングデバイス14の操作内容に応じて、内部構造画像30の表示範囲の下限および上限のうち少なくとも一方の変更を受け付けるように構成されていればよい。また、内部構造画像出力部11は、入力受付部13が受け付けた変更後の内部構造画像30の表示範囲に応じて、内部構造画像30を再構成して表示装置20に再表示させるように構成されていればよい。さらに、スライダ画像出力部15は、入力受付部13が受け付けた変更後の内部構造画像30の表示範囲に応じて、第2スライダ画像70を再構成して表示装置20に再表示させるように構成されていればよい。具体的には、スライダ画像出力部15は、変更後の内部構造画像30の表示範囲に応じて、第2スライダーバー71の位置および大きさを変更するように構成されていればよい。ユーザは、必要に応じて内部構造画像30の表示範囲を変更することで、例えば、手前に表示されている不必要な領域のボクセルを非表示にし、関心領域の情報を認識しやすくすることができる。
The
(4-2)第1実施形態の変形例2
図7は、本変形例に係る画像処理装置10の概略構成図である。図7に示すように、本変形例の画像処理装置10は、例えば、イメージプロセッサ100と、表示装置20と、入力受付部13と、ポインティングデバイス14と、を備えている。イメージプロセッサ100は、例えば、内部構造画像出力部11と、プロファイル画像出力部12と、データ用記憶部(SSD/HDD)101と、通信部106と、を備えている。内部構造画像画像出力部11は、例えば、画像演算部(GPU)103と、画像処理用記憶部(VRAM)104と、VRAM104内のボリュームデータ領域107および内部構造画像領域108と、で構成される。プロファイル画像出力部12は、例えば、汎用演算部(CPU)102と、汎用処理用記憶部(RAM)105と、VRAM104と、VRAM104内のプロファイル画像領域109と、で構成される。光音響波撮像装置111で撮像されて得られたボリュームデータは、ネットワークファイルサーバ110に蓄積されている。ユーザがそのボリュームデータを観察したい場合に、ボリュームデータは通信部106、データ用記憶部101、CPU102を介してVRAM104内のボリュームデータ領域107に格納される。ボリュームデータを内部構造画像に変換する処理や、入力受付部13を介してのユーザの指示がCPU102を介してGPU103に送られ、その指示に応じた内部構造画像の処理がされ、内部構造画像領域108に格納される。プロファイル画像40の情報は、CPU102がVRAM104内のプロファイル画像領域109に直接書き込む。内部構造画像領域108とプロファイル画像領域109の内容は表示装置20上に表示される。
(4-2)
FIG. 7 is a schematic configuration diagram of an
イメージプロセッサ100は以下に説明する構成要素を備える。データ用記憶部101は、例えば、光音響波測定に係るプログラム等のデータを記憶するように構成されている。CPU102は、例えば、データ用記憶部101に格納された所定のプログラムを実行することで、画像処理装置10の各部を制御するように構成されている。GPU103は、例えば、CPU102と連携して、画像処理に係るプログラムを実行するように構成されている。VRAM104は、例えば、GPU103、CPU102によって処理された画像情報を表示装置20で表示するためのメモリである。VRAM104は、GPU103における画像処理の作業用メモリとしても使用される。RAM105は、CPU102用の作業用メモリであり、例えば、CPU102によって処理される情報やプログラム等が一時的に保持されるように構成されている。通信部106は、例えば、画像処理に必要な情報をネットワークファイルサーバ110から取得してデータ用記憶部101に蓄積するように構成されている。ネットワークファイルサーバ110は、例えば、光音響波撮像装置111が撮像した撮像データが格納されるように構成されている。
The
(5)グラフィカルインターフェースの操作事例
次に、本発明に係るグラフィカルインターフェースの操作事例を説明する。以下の操作事例は本発明の一例であって、本発明はこれらの操作事例により限定されない。
(5) Operation example of graphical interface Next, an operation example of the graphical interface according to the present invention will be described. The following operation examples are examples of the present invention, and the present invention is not limited by these operation examples.
図5Aは、本操作事例に係る、深さ範囲変更前の内部構造画像30およびプロファイル画像40の一例をしめす図である。本操作事例においては、内部構造画像30は、被検体の足の内部血管を示す光音響画像とした。基準面は、先に述べたクロスシミュレーションにより、被検体の皮膚表面付近を基準位置として規定した連続面とした例である。
FIG. 5A is a diagram showing an example of the
図5Aに示すように、深さ範囲変更前において、第1深さは0mm、第2深さは4mmであった。ユーザは、内部構造画像30の色彩パラメータと、プロファイル画像40とを対応させて確認することで、例えば、第1深さ以上第2深さ以下の深さ範囲内の関心領域に存在する血管が、基準面からどの程度の深さに位置しているかを認識することができる。
As shown in FIG. 5A, before changing the depth range, the first depth was 0 mm and the second depth was 4 mm. By confirming the color parameters of the
例えば、関心領域がより深い範囲(例えば、5mm程度)であった場合、ユーザは、ポインティングデバイス14を操作し、ポインタ50をカラーバー41の中央部に移動させ、上方向にホイール操作を行えばよい。上記操作により、第1深さおよび第2深さを同じ値だけ増加させ、深さ範囲を変更(平行移動)することができる。上記操作による深さ範囲変更後の内部構造画像30およびプロファイル画像40を図5Bに示す。図5Bに示すように、深さ範囲変更後において、第1深さは2mm、第2深さは6mmであった。ユーザは、再表示された、内部構造画像30の色彩パラメータと、プロファイル画像40とを対応させて確認することで、例えば、より深い範囲の関心領域に存在する血管が、基準面からどの程度の深さに位置しているかを認識することができる。
For example, if the region of interest is in a deeper range (for example, about 5 mm), the user operates the
しかしながら、図5Bに示した例では、深さ範囲が平行移動したため、例えば、基準面から0mm以上2mm以下の深さ範囲に存在する血管については、血管領域を構成する各ボクセルの深さを示す内部構造画像30における色彩パラメータの変化が失われ、一定(変更後の第1深さと同じ値)となっている。したがって、ユーザが、この範囲に存在する血管が、基準面からどの程度の深さに位置しているかを認識することは困難となる。例えば、関心領域をより深い範囲としつつも、浅い範囲における色彩パラメータの変化を維持したい場合、ユーザは、ポインティングデバイス14を操作し、ポインタ50をカラーバー41の上部に移動させ、上方向にホイール操作を行えばよい。上記操作により、第2深さのみを増加させ、深さ範囲を変更することができる。上記操作による深さ範囲変更後の内部構造画像30およびプロファイル画像40を図5Cに示す。図5Cに示すように、深さ範囲変更後において、第1深さは0mm、第2深さは6mmであった。ユーザは、再表示された、内部構造画像30の色彩パラメータと、プロファイル画像40とを対応させて確認することで、例えば、より深い範囲の関心領域に存在する血管、および、変更前の深さ範囲に存在する血管が、基準面からどの程度の深さに位置しているかを認識することができる。
However, in the example shown in FIG. 5B, since the depth range has been translated, for example, for a blood vessel existing in a depth range of 0 mm or more and 2 mm or less from the reference plane, the depth of each voxel constituting the blood vessel region is shown. The change in the color parameter in the
また、例えば、関心領域がより狭い深さ範囲であった場合、ユーザは、ポインティングデバイス14を操作し、ポインタ50をカラーバー上に移動させ、右クリック操作を行いつつ、上方向にホイール操作を行えばよい。上記操作により、第1深さを増加させ、かつ、第2深さを第1深さの増加と同じ値だけ減少させ、深さ範囲を変更(縮小)することができる。上記操作による深さ範囲変更後の内部構造画像30およびプロファイル画像40を図5Dに示す。図5Dに示すように、深さ範囲変更後において、第1深さは0.8mm、第2深さは2.4mmであった。ユーザは、再表示された、内部構造画像30の色彩パラメータと、プロファイル画像40とを対応させて確認することで、例えば、より狭い深さ範囲の関心領域に存在する血管が、基準面からどの程度の深さに位置しているかをより詳細に認識することができる。
Further, for example, when the region of interest has a narrower depth range, the user operates the
以上より、画像処理装置10が備えるGUIによって、ユーザは、生体組織の深さ方向の情報を、より視覚的に認識しやすく調整できることを確認した。
As described above, it has been confirmed that the user can adjust the information of the biological tissue in the depth direction so that the information can be visually recognized more easily by using the GUI included in the
(6)画像処理装置10による画像処理方法
次に、画像処理装置10による画像処理方法について説明する。図6は、本発明の第1実施形態に係る画像処理装置10による画像処理方法の概略を示すフローチャートである。図6に示すように、本実施形態の画像処理方法は、例えば、ボリュームデータ取得工程S100と、深さ情報および色彩パラメータ取得工程S110と、内部構造画像表示工程S120と、プロファイル画像表示工程S130と、入力判断工程S140と、操作位置判断工程S150と、処理工程S160と、を有している。
(6) Image Processing Method by
ボリュームデータ取得工程S100では、例えば、光音響波撮像装置111を起動し、光音響波撮像を行い、物体(例えば、生体組織)の3次元的な内部構造を示すボリュームデータを得る。
In the volume data acquisition step S100, for example, the photoacoustic
深さ情報および色彩パラメータ取得工程S110では、例えば、所定の基準面からの第1深さと第2深さとの情報、および、第1深さから第2深さの深さ範囲内におけるボリュームデータを元に構築した内部構造画像30の色彩パラメータを得る。
In the depth information and color parameter acquisition step S110, for example, information on a first depth and a second depth from a predetermined reference plane, and volume data within a depth range from the first depth to the second depth are obtained. The color parameters of the originally constructed
内部構造画像表示工程S120では、例えば、ボリュームデータおよび色彩パラメータを元に、色彩パラメータを、第1深さから第2深さにかけて連続的に変化させた内部構造画像30を構成し、表示装置20に表示させる。
In the internal structure image display step S120, for example, based on the volume data and the color parameter, the
プロファイル画像表示工程S130では、例えば、基準面からの深さと、色彩パラメータと、の対応関係を示すプロファイル画像40を、表示装置20に表示させる。
In the profile image display step S130, for example, the
入力判断工程S140では、例えば、ポインティングデバイス14の入力があるかどうかを判断する。ポインティングデバイス14の入力があった場合、操作位置判断工程S150を行う。ポインティングデバイス14の入力がない場合、入力判断工程S140を再び行ってもよい。
In the input determination step S140, for example, it is determined whether there is an input from the
操作位置判断工程S150では、例えば、ポインティングデバイス14の操作位置が、プロファイル画像40上かどうかを判断する。ポインティングデバイス14の操作位置が、プロファイル画像40上であった場合、例えば、深さ情報および色彩パラメータ取得工程S110を再び行えばよい。ポインティングデバイス14の操作位置が、プロファイル画像40上ではない場合、処理工程S160を行ってもよい。
In the operation position determination step S150, for example, it is determined whether the operation position of the
処理工程S160では、ポインティングデバイス14の操作内容に応じた、その他の処理を行う。
In processing step S160, other processing is performed according to the operation content of the
以上の工程により、生体組織の内部構造を認識しやすくする画像処理を行うことができる。なお、本発明は、上述の工程(手順)をコンピュータに実行させるプログラム、および該プログラムを記録したコンピュータ読み取り可能な記録媒体としても適用可能である。 Through the above steps, image processing can be performed to facilitate recognition of the internal structure of the living tissue. The present invention can also be applied to a program that causes a computer to execute the above-described steps (procedures), and a computer-readable recording medium that records the program.
<本発明の他の実施形態>
以上、本発明の実施形態を具体的に説明した。しかしながら、本発明は上述の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
<Other embodiments of the present invention>
The embodiments of the present invention have been specifically described above. However, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present invention.
例えば、上述の実施形態では、生体組織の内部構造を示すボリュームデータは、生体に対する光照射により発生した光音響波の信号データを含み、内部構造画像30は、光音響波の信号データに基づいて構成した光音響画像である場合について説明したが、内部構造画像30は、光音響画像に限定されない。内部構造画像30は、例えば、超音波画像診断法によって取得されたデータに基づいて構成した超音波画像であってもよいし、MRI血管造影診断法によって取得されたデータに基づいて構成したMRI血管造影画像であってもよい。また、上述の実施形態では、生体組織の3次元的な内部構造を示すボリュームデータを処理する場合について説明したが、本発明は、生体に限らず道路の内部構造を超音波で解析する解析装置等にも応用可能である。
For example, in the above-described embodiment, the volume data representing the internal structure of the living tissue includes signal data of photoacoustic waves generated by light irradiation of the living body, and the
<本発明の好ましい態様>
以下、本発明の好ましい態様について付記する。
<Preferred embodiment of the present invention>
Preferred embodiments of the present invention are described below.
(付記1)
物体の3次元的な内部構造を示すボリュームデータを元に、所定の基準面から第1深さ以上第2深さ以下の深さ範囲内において、前記第1深さから前記第2深さにかけて色彩パラメータを連続的に変化させた内部構造画像を構成し、表示装置に表示させる内部構造画像出力部と、
前記基準面からの深さと、前記色彩パラメータと、の対応関係を示すプロファイル画像を、前記表示装置に表示させるプロファイル画像出力部と、
ポインティングデバイスの操作を受け付ける入力受付部と、を備え、
前記入力受付部は、前記ポインティングデバイスの操作位置が前記プロファイル画像上であるとき、前記ポインティングデバイスの操作内容に応じて、前記第1深さおよび前記第2深さのうち少なくとも一方の変更を受け付けるように構成され、
前記内部構造画像出力部は、前記入力受付部が受け付けた変更後の前記深さ範囲内における色彩パラメータを、変更後の前記第1深さから前記第2深さにかけて、変更前の前記色彩パラメータの変化態様と同様に変化させた前記内部構造画像を再構成して前記表示装置に再表示させるように構成され、
前記プロファイル画像出力部は、前記入力受付部が受け付けた変更後の前記第1深さおよび前記第2深さに応じて、前記プロファイル画像を再構成して前記表示装置に再表示させるように構成されている、画像処理装置。
(Appendix 1)
From the first depth to the second depth within a depth range from a first depth to a second depth from a predetermined reference plane, based on volume data indicating the three-dimensional internal structure of an object. an internal structure image output unit that constructs an internal structure image in which the color parameter is continuously changed and displays it on a display device;
a profile image output unit that causes the display device to display a profile image showing the correspondence relationship between the depth from the reference plane and the color parameter;
an input reception unit that receives an operation of the pointing device,
The input accepting unit accepts a change of at least one of the first depth and the second depth according to an operation content of the pointing device when an operation position of the pointing device is on the profile image. configured as
The internal structure image output unit converts the color parameter within the changed depth range accepted by the input accepting unit to the color parameter before change from the first depth after change to the second depth. configured to reconstruct the internal structure image changed in the same manner as the change mode of and re-display it on the display device,
The profile image output unit is configured to reconstruct the profile image according to the changed first depth and the second depth accepted by the input acceptance unit and cause the display device to re-display the profile image. image processing device.
(付記2)
前記内部構造画像出力部は、前記入力受付部が受け付けた前記ポインティングデバイスの操作位置が前記内部構造画像上であるとき、前記入力受付部が受け付けた前記ポインティングデバイスの操作内容に応じて、前記内部構造画像を移動可能な態様で表示するように構成され、
前記プロファイル画像出力部は、前記操作位置が前記プロファイル画像上であるとき、前記操作内容に応じて、前記プロファイル画像を移動可能な態様で表示するように構成されている、付記1に記載の画像処理装置。
(Appendix 2)
When the operation position of the pointing device accepted by the input accepting unit is on the internal structure image, the internal structure image output unit outputs the internal structure according to the operation content of the pointing device accepted by the input accepting unit. configured to movably display the structural image;
The image according to
(付記3)
前記内部構造画像出力部は、前記入力受付部が受け付けた前記ポインティングデバイスの操作位置が前記内部構造画像上であるとき、前記入力受付部が受け付けた前記ポインティングデバイスの操作内容に応じて、前記内部構造画像を拡大または縮小のうち少なくとも一方が可能な態様で表示するように構成されている、付記1または付記2に記載の画像処理装置。
(Appendix 3)
When the operation position of the pointing device accepted by the input accepting unit is on the internal structure image, the internal structure image output unit outputs the internal structure according to the operation content of the pointing device accepted by the input accepting unit. 3. The image processing device according to
(付記4)
前記入力受付部は、前記ポインティングデバイスの操作位置が前記プロファイル画像の第1領域上であるとき、前記ポインティングデバイスの操作内容に応じて、前記第1深さおよび前記第2深さのうちいずれか一方の変更を受け付けるように構成されている、付記1から付記3のいずれか1項に記載の画像処理装置。
(Appendix 4)
The input reception unit selects one of the first depth and the second depth according to the operation content of the pointing device when the operation position of the pointing device is on the first region of the profile image. 3. The image processing device according to any one of
(付記5)
前記入力受付部は、前記ポインティングデバイスの操作位置が前記プロファイル画像の第2領域上であるとき、前記ポインティングデバイスの操作内容に応じて、前記第1深さおよび前記第2深さのうち前記一方とは異なる他方の変更を受け付けるように構成されている、付記4に記載の画像処理装置。
(Appendix 5)
The input reception unit, when the operation position of the pointing device is on the second area of the profile image, selects the one of the first depth and the second depth according to the operation content of the pointing device. 5. The image processing device of appendix 4, configured to accept a change of the other that is different from the .
(付記6)
前記入力受付部は、前記ポインティングデバイスの操作位置が前記プロファイル画像の第3領域上であるとき、前記ポインティングデバイスの操作内容に応じて、前記深さ範囲の大きさを変化させずに、前記深さ範囲を深い方向または浅い方向のうち少なくとも一方に移動させる変更を受け付けるように構成されている、付記1から付記5のいずれか1項に記載の画像処理装置。
(Appendix 6)
The input reception unit, when the operation position of the pointing device is on the third region of the profile image, according to the operation content of the pointing device, the depth range without changing the size of the depth range. 6. The image processing device according to any one of
(付記7)
前記入力受付部は、前記ポインティングデバイスの操作位置が前記プロファイル画像上であるとき、前記ポインティングデバイスの操作内容に応じて、前記深さ範囲の中心を変化させずに、前記深さ範囲の拡大または縮小のうち少なくとも一方を可能にする変更を受け付けるように構成されている、付記1から付記6のいずれか1項に記載の画像処理装置。
(Appendix 7)
When the operation position of the pointing device is on the profile image, the input reception unit expands or expands the depth range without changing the center of the depth range according to the operation content of the pointing device. 7. The image processing device according to any one of
(付記8)
前記ボリュームデータは、生体に対する光照射により発生した光音響波の信号データを画像再構成することにより得られる、付記1から付記7のいずれか1項に記載の画像処理装置。
(Appendix 8)
8. The image processing apparatus according to any one of
(付記9)
物体の3次元的な内部構造を示すボリュームデータを得る工程と、
所定の基準面からの第1深さと第2深さとの情報、および、前記第1深さから前記第2深さの深さ範囲内における前記ボリュームデータを元に内部構造画像の色彩パラメータを得る工程と、
前記ボリュームデータおよび前記色彩パラメータを元に、前記色彩パラメータを、前記第1深さから前記第2深さにかけて連続的に変化させた前記内部構造画像を構成し、表示装置に表示させる工程と、
前記基準面からの深さと、前記色彩パラメータと、の対応関係を示すプロファイル画像を、前記表示装置に表示させる工程と、
ポインティングデバイスの入力を判断する工程と、
前記ポインティングデバイスの操作位置を判断する工程と、
を有する、画像処理方法。
(Appendix 9)
obtaining volume data representing the three-dimensional internal structure of the object;
A color parameter of an internal structure image is obtained based on information on a first depth and a second depth from a predetermined reference plane and the volume data within the depth range from the first depth to the second depth. process and
A step of constructing the internal structure image in which the color parameter is continuously changed from the first depth to the second depth based on the volume data and the color parameter, and displaying the image on a display device;
a step of displaying, on the display device, a profile image showing a correspondence relationship between the depth from the reference plane and the color parameter;
determining pointing device input;
determining an operating position of the pointing device;
An image processing method comprising:
(付記10)
物体の3次元的な内部構造を示すボリュームデータを得る手順と、
所定の基準面からの第1深さと第2深さとの情報、および、前記第1深さから前記第2深さの深さ範囲内における前記ボリュームデータを元に内部構造画像の色彩パラメータを得る手順と、
前記ボリュームデータおよび前記色彩パラメータを元に、前記色彩パラメータを、前記第1深さから前記第2深さにかけて連続的に変化させた前記内部構造画像を構成し、表示装置に表示させる工程手順と、
前記基準面からの深さと、前記色彩パラメータと、の対応関係を示すプロファイル画像を、前記表示装置に表示させる手順と、
ポインティングデバイスの入力を判断する手順と、
前記ポインティングデバイスの操作位置を判断する手順と、
をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
(Appendix 10)
a procedure for obtaining volume data representing the three-dimensional internal structure of an object;
A color parameter of an internal structure image is obtained based on information on a first depth and a second depth from a predetermined reference plane and the volume data within the depth range from the first depth to the second depth. a procedure;
a step of constructing the internal structure image in which the color parameter is continuously changed from the first depth to the second depth based on the volume data and the color parameter, and displaying the image on a display device; ,
a step of displaying on the display device a profile image showing the correspondence relationship between the depth from the reference plane and the color parameter;
a procedure for determining pointing device input;
a procedure for determining an operation position of the pointing device;
A computer-readable recording medium that records a program that causes a computer to execute
(付記11)
内部構造画像出力部により、物体の3次元的な内部構造を示すボリュームデータを元に、所定の基準面から第1深さ以上第2深さ以下の深さ範囲内において、前記第1深さから前記第2深さにかけて色彩パラメータを連続的に変化させた内部構造画像を構成させ、表示装置に表示させる工程と、
プロファイル画像出力部により、前記基準面からの深さと、前記色彩パラメータと、の対応関係を示すプロファイル画像を、前記表示装置に表示させる工程と、
入力受付部により、ポインティングデバイスの操作を受け付けさせる工程と、を備え、
前記入力受付部により、前記ポインティングデバイスの操作位置が前記プロファイル画像上であるとき、前記ポインティングデバイスの操作内容に応じて、前記第1深さおよび前記第2深さのうち少なくとも一方の変更を受け付けさせる工程と、
前記内部構造画像出力部により、前記入力受付部が受け付けた変更後の前記深さ範囲内における色彩パラメータを、変更後の前記第1深さから前記第2深さにかけて、変更前の前記色彩パラメータの変化態様と同様に変化させた前記内部構造画像を再構成させ、前記表示装置に再表示させる工程と、
前記プロファイル画像出力部により、前記入力受付部が受け付けた変更後の前記第1深さおよび前記第2深さに応じて、前記プロファイル画像を再構成させて前記表示装置に再表示させる工程と、
をさらに有する画像処理方法。
(Appendix 11)
By the internal structure image output unit, based on the volume data indicating the three-dimensional internal structure of the object, within the depth range of the first depth or more and the second depth or less from the predetermined reference plane, the first depth A step of constructing an internal structure image in which the color parameter is continuously changed from to the second depth and displaying it on a display device;
causing a profile image output unit to display, on the display device, a profile image showing a correspondence relationship between the depth from the reference plane and the color parameter;
a step of receiving an operation of the pointing device by the input receiving unit;
The input reception unit receives a change of at least one of the first depth and the second depth according to the operation content of the pointing device when the operation position of the pointing device is on the profile image. and
By the internal structure image output unit, the color parameter within the depth range after change received by the input receiving unit is changed from the first depth after change to the second depth, and the color parameter before change a step of reconstructing the internal structure image changed in the same manner as the change mode of and redisplaying it on the display device;
a step of reconstructing the profile image by the profile image output unit according to the changed first depth and the second depth received by the input receiving unit and causing the display device to display the profile image again;
An image processing method further comprising:
(付記12)
コンピュータに、
物体の3次元的な内部構造を示すボリュームデータを元に、所定の基準面から第1深さ以上第2深さ以下の深さ範囲内において、前記第1深さから前記第2深さにかけて色彩パラメータを連続的に変化させた内部構造画像を構成し、表示装置に表示させる内部構造画像出力部と、
前記基準面からの深さと、前記色彩パラメータと、の対応関係を示すプロファイル画像を、前記表示装置に表示させるプロファイル画像出力部と、
ポインティングデバイスの操作を受け付ける入力受付部と、を実現させ、
前記入力受付部を、前記ポインティングデバイスの操作位置が前記プロファイル画像上であるとき、前記ポインティングデバイスの操作内容に応じて、前記第1深さおよび前記第2深さのうち少なくとも一方の変更を受け付けるように構成し、
前記内部構造画像出力部を、前記入力受付部が受け付けた変更後の前記深さ範囲内における色彩パラメータを、変更後の前記第1深さから前記第2深さにかけて、変更前の前記色彩パラメータの変化態様と同様に変化させた前記内部構造画像を再構成して前記表示装置に再表示させるように構成し、
前記プロファイル画像出力部を、前記入力受付部が受け付けた変更後の前記第1深さおよび前記第2深さに応じて、前記プロファイル画像を再構成して前記表示装置に再表示させるように構成する
プログラムを記録したコンピュータ読み取り可能な記録媒体。
(Appendix 12)
to the computer,
From the first depth to the second depth within a depth range from a first depth to a second depth from a predetermined reference plane, based on volume data indicating the three-dimensional internal structure of an object. an internal structure image output unit that constructs an internal structure image in which the color parameter is continuously changed and displays it on a display device;
a profile image output unit that causes the display device to display a profile image showing the correspondence relationship between the depth from the reference plane and the color parameter;
and an input reception unit that receives the operation of the pointing device,
The input receiving unit receives a change of at least one of the first depth and the second depth in accordance with an operation content of the pointing device when an operation position of the pointing device is on the profile image. Configure as
The internal structure image output unit converts the color parameter within the depth range after change accepted by the input acceptance unit to the color parameter before change from the first depth after change to the second depth configured to reconstruct the internal structure image changed in the same manner as in the change mode of and re-display it on the display device;
The profile image output unit is configured to reconstruct the profile image according to the changed first depth and the second depth received by the input receiving unit, and to display the profile image again on the display device. A computer-readable recording medium that records a program.
10 画像処理装置
11 内部構造画像出力部
12 プロファイル画像出力部
13 入力受付部
14 ポインティングデバイス
15 スライダ画像出力部
20 表示装置
30 内部構造画像
40 プロファイル画像
41 カラーバー
42 インデックス
50 ポインタ
60 第1スライダ画像
61 第1スライダーバー
70 第2スライダ画像
71 第2スライダーバー
100 イメージプロセッサ
101 データ用記憶部(SSD/HDD)
102 汎用演算部(CPU)
103 画像演算部(GPU)
104 画像処理用記憶部(VRAM)
105 汎用処理用記憶部(RAM)
106 通信部
107 ボリュームデータメモリ(領域)
108 内部構造画像メモリ(領域)
109 プロファイル画像メモリ(領域)
110 ネットワークファイルサーバ
111 光音響波撮像装置
S100 ボリュームデータ取得工程
S110 深さ情報および色彩パラメータ取得工程
S120 内部構造画像表示工程
S130 プロファイル画像表示工程
S140 入力判断工程
S150 操作位置判断工程
S160 処理工程
10
102 general-purpose arithmetic unit (CPU)
103 Image processing unit (GPU)
104 image processing storage unit (VRAM)
105 storage unit for general-purpose processing (RAM)
106
108 internal structure image memory (area)
109 profile image memory (area)
110
Claims (10)
前記基準面からの深さと、前記色彩パラメータと、の対応関係を示すプロファイル画像を、前記表示装置に表示させるプロファイル画像出力部と、
ポインティングデバイスの操作を受け付ける入力受付部と、を備え、
前記入力受付部は、前記ポインティングデバイスの操作位置が前記プロファイル画像上であるとき、前記ポインティングデバイスの操作内容に応じて、前記第1深さおよび前記第2深さのうち少なくとも一方の変更を受け付けるように構成され、
前記内部構造画像出力部は、前記入力受付部が受け付けた変更後の前記深さ範囲内における色彩パラメータを、変更後の前記第1深さから前記第2深さにかけて、変更前の前記色彩パラメータの変化態様と同様に変化させた前記内部構造画像を再構成して前記表示装置に再表示させるように構成され、
前記プロファイル画像出力部は、前記入力受付部が受け付けた変更後の前記第1深さおよび前記第2深さに応じて、前記プロファイル画像を再構成して前記表示装置に再表示させるように構成されている、画像処理装置。 From the first depth to the second depth within a depth range from a first depth to a second depth from a predetermined reference plane, based on volume data indicating the three-dimensional internal structure of an object. an internal structure image output unit that constructs an internal structure image in which the color parameter is continuously changed and displays it on a display device;
a profile image output unit that causes the display device to display a profile image showing the correspondence relationship between the depth from the reference plane and the color parameter;
an input reception unit that receives an operation of the pointing device,
The input accepting unit accepts a change of at least one of the first depth and the second depth according to an operation content of the pointing device when an operation position of the pointing device is on the profile image. configured as
The internal structure image output unit converts the color parameter within the changed depth range accepted by the input accepting unit to the color parameter before change from the first depth after change to the second depth. configured to reconstruct the internal structure image changed in the same manner as the change mode of and re-display it on the display device,
The profile image output unit is configured to reconstruct the profile image according to the changed first depth and the second depth accepted by the input acceptance unit and cause the display device to re-display the profile image. image processing device.
前記プロファイル画像出力部は、前記操作位置が前記プロファイル画像上であるとき、前記操作内容に応じて、前記プロファイル画像を移動可能な態様で表示するように構成されている、請求項1に記載の画像処理装置。 When the operation position of the pointing device accepted by the input accepting unit is on the internal structure image, the internal structure image output unit outputs the internal structure according to the operation content of the pointing device accepted by the input accepting unit. configured to movably display the structural image;
2. The profile image output unit according to claim 1, wherein when the operation position is on the profile image, the profile image is displayed in a movable manner according to the operation content. Image processing device.
所定の基準面からの第1深さと第2深さとの情報、および、前記第1深さから前記第2深さの深さ範囲内における前記ボリュームデータを元に内部構造画像の色彩パラメータを得る工程と、
前記ボリュームデータおよび前記色彩パラメータを元に、前記色彩パラメータを、前記第1深さから前記第2深さにかけて連続的に変化させた前記内部構造画像を構成し、表示装置に表示させる工程と、
前記基準面からの深さと、前記色彩パラメータと、の対応関係を示すプロファイル画像を、前記表示装置に表示させる工程と、
ポインティングデバイスの入力を判断する工程と、
前記ポインティングデバイスの操作位置を判断する工程と、
を有する、画像処理方法。 obtaining volume data representing the three-dimensional internal structure of the object;
A color parameter of an internal structure image is obtained based on information on a first depth and a second depth from a predetermined reference plane and the volume data within the depth range from the first depth to the second depth. process and
A step of constructing the internal structure image in which the color parameter is continuously changed from the first depth to the second depth based on the volume data and the color parameter, and displaying the image on a display device;
a step of displaying, on the display device, a profile image showing a correspondence relationship between the depth from the reference plane and the color parameter;
determining pointing device input;
determining an operating position of the pointing device;
An image processing method comprising:
所定の基準面からの第1深さと第2深さとの情報、および、前記第1深さから前記第2深さの深さ範囲内における前記ボリュームデータを元に内部構造画像の色彩パラメータを得る手順と、
前記ボリュームデータおよび前記色彩パラメータを元に、前記色彩パラメータを、前記第1深さから前記第2深さにかけて連続的に変化させた前記内部構造画像を構成し、表示装置に表示させる工程手順と、
前記基準面からの深さと、前記色彩パラメータと、の対応関係を示すプロファイル画像を、前記表示装置に表示させる手順と、
ポインティングデバイスの入力を判断する手順と、
前記ポインティングデバイスの操作位置を判断する手順と、
をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。 a procedure for obtaining volume data representing the three-dimensional internal structure of an object;
A color parameter of an internal structure image is obtained based on information on a first depth and a second depth from a predetermined reference plane and the volume data within the depth range from the first depth to the second depth. a procedure;
a step of constructing the internal structure image in which the color parameter is continuously changed from the first depth to the second depth based on the volume data and the color parameter, and displaying the image on a display device; ,
a step of displaying on the display device a profile image showing the correspondence relationship between the depth from the reference plane and the color parameter;
a procedure for determining pointing device input;
a procedure for determining an operation position of the pointing device;
A computer-readable recording medium that records a program that causes a computer to execute
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/032454 WO2023032931A1 (en) | 2021-09-02 | 2022-08-29 | Image processing apparatus, image processing method, and recording medium |
CN202280059045.9A CN117881346A (en) | 2021-09-02 | 2022-08-29 | Image processing apparatus, image processing method, and recording medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021143341 | 2021-09-02 | ||
JP2021143341 | 2021-09-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023036499A true JP2023036499A (en) | 2023-03-14 |
JP2023036499A5 JP2023036499A5 (en) | 2023-12-22 |
Family
ID=85508738
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021171384A Pending JP2023036499A (en) | 2021-09-02 | 2021-10-20 | Image processing apparatus, image processing method, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023036499A (en) |
-
2021
- 2021-10-20 JP JP2021171384A patent/JP2023036499A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102269467B1 (en) | Measurement point determination in medical diagnostic imaging | |
JP4829217B2 (en) | Data set visualization | |
Sarvazyan | Mechanical imaging:: A new technology for medical diagnostics | |
EP2923262B1 (en) | Method and system for displaying to a user a transition between a first rendered projection and a second rendered projection | |
JP2008086767A (en) | System and method for three-dimensional and four-dimensional contrast imaging | |
US20110109631A1 (en) | System and method for performing volume rendering using shadow calculation | |
JP2019503833A (en) | Semi-automated image segmentation system and method | |
KR101728044B1 (en) | Method and apparatus for displaying medical image | |
US20120321161A1 (en) | Image processing apparatus, image processing method, image pickup system, and program | |
JP2007275588A (en) | Cross reference measurement for diagnostic medical imaging | |
WO2014081945A9 (en) | Systems, methods, and devices for image reconstruction using combined pde-constrained and simplified spherical harmonics algorithm | |
JP7010948B2 (en) | Fetal ultrasound imaging | |
JP2015054051A (en) | Information processor, and information processing method | |
JP2003514600A (en) | Method and apparatus for reformatting a tubular volumetric object | |
JP4879263B2 (en) | Ultrasonic diagnostic apparatus and ultrasonic diagnostic method | |
US20140193789A1 (en) | Cutting simulation device and cutting simulation program | |
GB2512720A (en) | Methods for generating an image as a combination of two existing images, and combined image so formed | |
JP2009279179A (en) | Image display device and image display program | |
US20140055448A1 (en) | 3D Image Navigation Method | |
US9589204B2 (en) | Quantification of a characteristic of a lumen of a tubular structure | |
JP7122918B2 (en) | Image processing device and image processing method | |
JP2012085833A (en) | Image processing system for three-dimensional medical image data, image processing method for the same, and program | |
WO2023032931A1 (en) | Image processing apparatus, image processing method, and recording medium | |
JP2023036499A (en) | Image processing apparatus, image processing method, and recording medium | |
JP2020018767A (en) | Ultrasonic diagnosis system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231214 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231214 |