JP2022163581A - 制御装置、制御プログラムおよび制御方法 - Google Patents
制御装置、制御プログラムおよび制御方法 Download PDFInfo
- Publication number
- JP2022163581A JP2022163581A JP2021068594A JP2021068594A JP2022163581A JP 2022163581 A JP2022163581 A JP 2022163581A JP 2021068594 A JP2021068594 A JP 2021068594A JP 2021068594 A JP2021068594 A JP 2021068594A JP 2022163581 A JP2022163581 A JP 2022163581A
- Authority
- JP
- Japan
- Prior art keywords
- value
- intensity
- intensity value
- blue
- red
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 21
- 238000012937 correction Methods 0.000 claims abstract description 60
- 238000003384 imaging method Methods 0.000 claims description 36
- 238000000605 extraction Methods 0.000 claims description 13
- 230000001678 irradiating effect Effects 0.000 claims description 8
- 210000002808 connective tissue Anatomy 0.000 claims description 4
- 206010061218 Inflammation Diseases 0.000 abstract description 30
- 230000004054 inflammatory process Effects 0.000 abstract description 30
- 238000012984 biological imaging Methods 0.000 abstract description 7
- 210000000845 cartilage Anatomy 0.000 description 73
- 238000012545 processing Methods 0.000 description 31
- 230000000875 corresponding effect Effects 0.000 description 14
- 230000002596 correlated effect Effects 0.000 description 12
- 239000002131 composite material Substances 0.000 description 10
- 210000001519 tissue Anatomy 0.000 description 10
- 102000008186 Collagen Human genes 0.000 description 6
- 108010035532 Collagen Proteins 0.000 description 6
- 229920001436 collagen Polymers 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 210000003127 knee Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 208000012659 Joint disease Diseases 0.000 description 2
- 241000124008 Mammalia Species 0.000 description 2
- 230000032683 aging Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 201000008482 osteoarthritis Diseases 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 210000005065 subchondral bone plate Anatomy 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 238000011269 treatment regimen Methods 0.000 description 2
- 208000036487 Arthropathies Diseases 0.000 description 1
- 208000003947 Knee Osteoarthritis Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 208000008558 Osteophyte Diseases 0.000 description 1
- 208000034189 Sclerosis Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
- 208000037911 visceral disease Diseases 0.000 description 1
Images
Landscapes
- Endoscopes (AREA)
Abstract
【課題】生体撮像データから、組織の炎症度合いとは独立して、組織の年齢の指標となる情報を取得する。【解決手段】電子機器(1)を制御する制御装置(10)であって、RGB色空間におけるB領域に対応する青強度値と、G領域に対応する緑強度値と、R領域に対応する赤強度値とを有する生体撮像データの各画素について、青強度値を緑強度値で除すことにより青強度補正値を算出し、かつ、赤強度値を緑強度値で除すことにより赤強度補正値を算出する強度補正部(14)を有する。【選択図】図1
Description
本発明は、生体撮像データを処理する電子機器を制御する制御装置、制御プログラムおよび制御方法に関する。
生体の患部の治療方針を決定するにあたり、患部を直接観察することは極めて重要である。しかしながら、関節症および内蔵疾患等の、外部からは観察困難な生体内部の治療では、患部を直接観察する方法に制限がある。近年、超小型の内視鏡を患部に挿入することで、低侵襲かつ迅速に生体内部の直接観察が可能となってきている。
例えば、特許文献1には内視鏡の細径化を実現する技術が開示されている。また、特許文献2には、内視鏡画像を取得して、正常部と異常部との色差を拡張した内視鏡画像を出力する画像処理装置が開示されている。
しかしながら、従来技術では生体撮像データに含まれる組織の経過年数すなわち組織の年齢に関する情報について、正確に抽出することが困難であった。これは、当該組織に炎症が生じている場合に、生体撮像データから、組織の炎症度合いとは独立して、組織の年齢の指標となる情報を取得する方法が確立されていなかったためである。
本発明の一態様は、生体撮像データから、組織の炎症度合いとは独立して、組織の年齢の指標となる情報を取得することを目的とする。
上記の課題を解決するために、本発明の一態様に係る制御装置は、電子機器を制御する制御装置であって、前記制御装置は、RGB色空間におけるB領域に対応する青波長域の強度値である青強度値と、G領域に対応する緑波長域の強度値である緑強度値と、R領域に対応する赤波長域の強度値である赤強度値と、を少なくとも有する生体撮像データに含まれる各画素について、前記青強度値を前記緑強度値で除すことにより青強度補正値を算出し、かつ、前記赤強度値を前記緑強度値で除すことにより赤強度補正値を算出する強度補正部を有する。
本発明の一態様に係る制御装置は、前記生体撮像データは、前記青波長域と、前記緑波長域と、前記赤波長域とを少なくとも含む混合光を照射して撮像された生体画像データであり、前記生体画像データから、各前記画素の前記青強度値と、前記緑強度値と、前記赤強度値とを抽出する強度抽出部をさらに有していてもよい。
本発明の一態様に係る制御装置は、前記生体撮像データに含まれる各前記画素について、前記青強度値と、前記緑強度値と、前記赤強度値との少なくとも何れかが、所定の第1閾値以上かつ所定の第2閾値以下である場合に、当該画素を有効画素と判定する有効画素判定部をさらに有していてもよい。
本発明の一態様に係る制御装置は、複数の前記有効画素について、前記青強度補正値を表す第1結果画像と、前記赤強度補正値を表す第2結果画像とをそれぞれ出力する画像出力部をさらに有していてもよい。
本発明の一態様に係る制御装置は、前記有効画素における前記青強度補正値を用いて、前記生体撮像データに含まれる結合組織の年齢推定結果を算出する年齢推定部をさらに有していてもよい。
上記の課題を解決するために、本発明の一態様に係る制御方法は、電子機器を制御する制御方法であって、RGB色空間におけるB領域に対応する青波長域の強度値である青強度値と、G領域に対応する緑波長域の強度値である緑強度値と、R領域に対応する赤波長域の強度値である赤強度値と、を少なくとも有する生体撮像データに含まれる各画素について、前記青強度値を前記緑強度値で除すことにより青強度補正値を算出し、かつ、前記赤強度値を前記緑強度値で除すことにより赤強度補正値を算出する強度補正ステップを有する。
本発明の各態様に係る制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記制御装置が備える各部(ソフトウェア要素)として動作させることにより前記制御装置をコンピュータにて実現させる制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明の一態様によれば、生体撮像データから、組織の炎症度合いとは独立して、組織の年齢の指標となる情報を取得できる。
〔本発明の概要〕
変形性膝関節症等の関節の疾患において患部を直接観察することは、治療方針の決定に極めて重要となる。例えば、変形性関節症では、軟骨と接している軟骨下骨に軟骨下骨硬化または骨棘等が生じるが、これらの早期発見が症状悪化の低減に有効である。関節を直接観察するため、従来は患部周辺を大きく切開する外科的治療が行われていた。しかしながら、近年は超小型の内視鏡である関節鏡を患部に挿入して、低侵襲かつ迅速な関節の直接観察が可能となってきている。
変形性膝関節症等の関節の疾患において患部を直接観察することは、治療方針の決定に極めて重要となる。例えば、変形性関節症では、軟骨と接している軟骨下骨に軟骨下骨硬化または骨棘等が生じるが、これらの早期発見が症状悪化の低減に有効である。関節を直接観察するため、従来は患部周辺を大きく切開する外科的治療が行われていた。しかしながら、近年は超小型の内視鏡である関節鏡を患部に挿入して、低侵襲かつ迅速な関節の直接観察が可能となってきている。
関節の直接観察では、例えば変形性関節症の外科的治療を行う場合には、関節における軟骨の経過年数すなわち軟骨の年齢に関する正確な情報を得ることが、有効な治療方針の決定に有効となる。しかしながら、上述の特許文献2に記載の方法等では、軟骨の年齢の指標となる情報を得ることは困難であった。
特許文献2等に記載の従来技術によれば、軟骨の炎症度合いについては、関節鏡により得られた画像データの赤領域を含む色度の強度により評価できる。また、観察対象者の年齢と炎症度合いとの間には相関があると考えられる。しかしながら、軟骨の炎症部位において、軟骨の年齢と炎症度合いとの間に必ずしも相関があるとは限らない。炎症の原因が、軟骨の年齢のみであるとは限らないためである。したがって、画像データの赤領域を含む色度の強度は、軟骨の年齢を評価するために正確な指標とはいえない。なお、観察対象者の年齢は軟骨の年齢と正の相関関係にあると考えられ、観察対象者の年齢は軟骨の年齢とみなしてもよい。
本発明者らは、画像データの赤領域を含む色度の強度とは別の、軟骨の炎症度合いと独立して軟骨の年齢を評価可能な指標について、鋭意検討を行った。軟骨は、加齢と共に黄味がかった色相を呈することが経験的に知られている。したがって、本発明者らは、軟骨を撮像した画像データから様々な特徴量を抽出し、軟骨の年齢と相関する特徴量について検討を行った。具体的には、当該画像データを、CIE(国際照明委員会)が定める種々の表色系に変換し、それぞれの表色系パラメータについて、軟骨の年齢との相関と、軟骨の炎症度合いとの相関を検討した。
検討の結果、各表色系パラメータのうち、RGB(Red, Green and Blue)色空間におけるB値(青強度値)が軟骨の年齢と相関しており、かつ、軟骨の炎症度合いとは必ずしも相関していないことを見出した。さらに、RGB色空間におけるG値(緑強度値)は、軟骨の年齢には依存しないことから、当該G値の強度はB値の補正に用いることが可能であることを、併せて見出した。
以上の知見により、本発明者らは、軟骨の年齢を評価する指標として、B値をG値にて補正したB’値(青強度補正値)が好ましく使用可能なことを見出し、本発明を完成させるに至った。
以下、本発明の一実施形態に係る画像処理装置等について図1から図7を参照して詳細に説明する。なお、本明細書では本発明の一実施形態について、処理対象となる生体撮像データに含まれる生体の部分として、関節および関節における軟骨を例に挙げて説明している。ただし、本発明を適用可能な生体の部分は特に限定されない。当該生体の部分としては、コラーゲンを含む組織であることが好ましく、例えば固体状の結合組織であることが好ましい。好ましい具体例としては、関節、軟骨、腱、靭帯および骨が挙げられる。
また、生体撮像データにおける生体とは、ヒトであってもよく、ヒト以外の哺乳動物であってもよく、哺乳動物以外の動物であってもよい。
〔画像処理装置〕
図1に示すように、本実施形態に係る制御装置の一例は、画像処理装置(電子機器)1が備える制御装置10である。画像処理装置1は、PC(Personal Computer)等の汎用コンピュータであってもよく、制御装置10の処理専用に構成された専用機器であってもよい。画像処理装置1は、関節観察装置50と有線または無線で接続されている。
図1に示すように、本実施形態に係る制御装置の一例は、画像処理装置(電子機器)1が備える制御装置10である。画像処理装置1は、PC(Personal Computer)等の汎用コンピュータであってもよく、制御装置10の処理専用に構成された専用機器であってもよい。画像処理装置1は、関節観察装置50と有線または無線で接続されている。
画像処理装置1は、制御装置10と、入力装置20と、表示装置30と、記憶装置40と、を備えている。入力装置20は、画像処理装置1に対するユーザの入力操作を受け付ける。表示装置30は、画像を表示する。入力装置20および表示装置30は、これらの装置が重畳的に配置されたタッチパネルにより構成してもよい。
記憶装置40は、画像処理装置1が取得する各種情報および画像処理装置1が生成する各種情報等を記憶する。また、記憶装置40は、制御装置10の各部の機能を実行するためのプログラムを記憶する。記憶装置40は、例えば、RAM(Random Access Memory)、HDD(Hard Disk Drive)またはSSD(Solid State Drive)等であってよい。
入力装置20、表示装置30および記憶装置40は、画像処理装置1に有線または無線で接続された、画像処理装置1の外部の装置であってもよい。
関節観察装置50は、関節鏡51と関節鏡制御装置52とを備えている。関節鏡51は、生体の内部であって、関節が観察可能な位置に挿入される超小型の内視鏡である。関節鏡制御装置52は、関節観察装置50のユーザによる入力に従って、関節鏡51の動作を制御する。
制御装置10は、画像処理装置1の各部を統括的に制御する。制御装置10は、例えばCPU(Central Processing Unit)またはGPU(Graphics Processing Unit)等であってよい。制御装置10は、撮像データ取得部11と、強度抽出部12と、有効画素判定部13と、強度補正部14と、画像出力部15と、を有している。
(撮像データ取得部)
撮像データ取得部11は、関節観察装置50が出力する生体撮像データを取得する。生体撮像データは、関節を撮像した生体画像データである。また、生体撮像データは、複数の生体画像データが含まれるデータであってもよい。例えば、生体撮像データは、青波長域、緑波長域および赤波長域の各狭帯域光をそれぞれ照射して個別に撮像した、3つ以上の生体画像データを含んでいてもよい。
撮像データ取得部11は、関節観察装置50が出力する生体撮像データを取得する。生体撮像データは、関節を撮像した生体画像データである。また、生体撮像データは、複数の生体画像データが含まれるデータであってもよい。例えば、生体撮像データは、青波長域、緑波長域および赤波長域の各狭帯域光をそれぞれ照射して個別に撮像した、3つ以上の生体画像データを含んでいてもよい。
ここで、「青波長域」とは、RGB色空間におけるB(Blue)領域に対応する波長域であり、好ましくは500nm未満の波長域、より好ましくは400nm以上500nm未満の波長域であり、450nmの波長を含むことがより好ましい。「緑波長域」とは、RGB色空間におけるG(Green)領域に対応する波長域であり、好ましくは500nm以上580nm以下の波長域であり、530nmの波長を含むことがより好ましい。「赤波長域」とは、RGB色空間におけるR(Red)領域に対応する波長域であり、好ましくは580nmより大きい波長域、より好ましくは580nmより大きく700nm以下の波長域であり、610nmの波長を含むことがより好ましい。
生体撮像データが単一の生体画像データにより構成される場合、当該生体画像データは、青波長域と、緑波長域と、赤波長域とを少なくとも含む混合光を照射して撮像されたものであってよい。このような混合光として、例えば、自然光および人工的な白色光が挙げられる。
このような生体撮像データは、青波長域の強度値である青強度値と、緑波長域の強度値である緑強度値と、赤波長域の強度値である赤強度値と、を少なくとも有するデータである。また、生体撮像データは、その他の波長域の強度値をさらに有していてもよい。例えば、生体撮像データは、青波長域、緑波長域、赤波長域の3つの狭帯域光を照射して個別に撮像した生体画像データに加え、これらの狭帯域光とは異なる波長域の狭帯域光を照射して撮像した生体画像データを、さらに含んでいてもよい。
(強度抽出部)
強度抽出部12は、生体撮像データが、青強度値、緑強度値および赤強度値の少なくとも3つ以上を有する生体画像データが含まれている場合、当該生体画像データから、各画素の青強度値と、緑強度値と、赤強度値とを抽出する。強度抽出部12は、例えば、青強度値、緑強度値および赤強度値を、それぞれRGB色空間におけるB領域の強度値であるB値、G領域の強度値であるG値およびR領域の強度値であるR値として取得してよい。これにより、制御装置10は、生体撮像データが白色光等の照射により撮像された生体画像データであっても、青強度値、緑強度値および赤強度値をそれぞれ取得できる。
強度抽出部12は、生体撮像データが、青強度値、緑強度値および赤強度値の少なくとも3つ以上を有する生体画像データが含まれている場合、当該生体画像データから、各画素の青強度値と、緑強度値と、赤強度値とを抽出する。強度抽出部12は、例えば、青強度値、緑強度値および赤強度値を、それぞれRGB色空間におけるB領域の強度値であるB値、G領域の強度値であるG値およびR領域の強度値であるR値として取得してよい。これにより、制御装置10は、生体撮像データが白色光等の照射により撮像された生体画像データであっても、青強度値、緑強度値および赤強度値をそれぞれ取得できる。
なお、生体撮像データが、青波長域、緑波長域および赤波長域の各狭帯域光をそれぞれ照射して個別に撮像した、3つ以上の生体画像データを含んでいる場合は、強度抽出部12による処理は行われなくてよい。この場合、制御装置10は、青波長域の狭帯域光に係る生体画像データの強度値を青強度値、緑波長域の狭帯域光に係る生体画像データの強度値を緑強度値、赤波長域の狭帯域光に係る生体画像データの強度値を赤強度値としてよい。
(有効画素判定部)
有効画素判定部13は、生体撮像データに含まれる各画素について、有効画素であるか否かを判定する。デジタル画像データでは、各画素が表現可能な信号強度の最大値(所定の第1閾値)および最小値(所定の第2閾値)が決められている。したがって、各画素について青強度値、緑強度値および赤強度値の少なくとも何れかが、当該最大値より大きい場合または当該最小値より小さい場合、当該画素は以降の処理に含めないことが好ましい。
有効画素判定部13は、生体撮像データに含まれる各画素について、有効画素であるか否かを判定する。デジタル画像データでは、各画素が表現可能な信号強度の最大値(所定の第1閾値)および最小値(所定の第2閾値)が決められている。したがって、各画素について青強度値、緑強度値および赤強度値の少なくとも何れかが、当該最大値より大きい場合または当該最小値より小さい場合、当該画素は以降の処理に含めないことが好ましい。
すなわち、有効画素判定部13が判定する有効画素とは、青強度値と、緑強度値と、赤強度値との少なくとも何れかが、所定の第1閾値以上かつ所定の第2閾値以下である画素である。有効画素判定部13によれば、軟骨の年齢および炎症度合いの評価に有効な画素のみを用いた結果を得ることが可能となる。したがって、画像処理装置1のユーザによる結果の確認が容易となる。また、有効画素以外の画素に対する不要な処理を省くことができるため、制御装置10の処理負荷を低減できる。
有効画素判定部13は、有効画素の判定について公知の方法(アルゴリズム)を用いてよい。公知の方法としては、例えば、大津の二値化法およびk-平均法(k-means clustering)が挙げられる。所定の第1閾値および所定の第2閾値は、有効画素の判定に用いる方法に応じて、適宜最適な値が算出される。
(強度補正部)
強度補正部14は、生体撮像データに含まれる各画素について、青強度補正値および赤強度補正値を算出する。青強度補正値は、青強度値を緑強度値で除する(B値/G値)ことで算出できる。赤強度補正値は、赤強度値を緑強度値で除する(R値/G値)ことで算出できる。強度補正部14は、青強度補正値および赤強度補正値を、有効画素判定部13により有効画素と判定された画素のみについて算出することが好ましい。
強度補正部14は、生体撮像データに含まれる各画素について、青強度補正値および赤強度補正値を算出する。青強度補正値は、青強度値を緑強度値で除する(B値/G値)ことで算出できる。赤強度補正値は、赤強度値を緑強度値で除する(R値/G値)ことで算出できる。強度補正部14は、青強度補正値および赤強度補正値を、有効画素判定部13により有効画素と判定された画素のみについて算出することが好ましい。
ここで、青強度補正値と軟骨の年齢との相関について説明する。強度補正部14が算出する青強度補正値は、軟骨の年齢と相関している。また、当該青強度補正値は、軟骨の炎症度合いとは必ずしも相関していないため、炎症度合いとは独立して軟骨の年齢を評価できる指標である。
図2には、膝軟骨を撮像した生体画像データから、B値、G値およびR値を抽出し、それぞれ観察対象者の年齢との対応関係をプロットした結果を示す。観察対象者の年齢を、軟骨の年齢とみなして検討を行った。膝軟骨の撮像は、白色光を照射する関節観察装置(スミス・アンド・ネフューエンドスコピー株式会社、SN関節鏡/ENTスコープ;560Hハイディフィニションカメラヘッド;560Pハイディフィニションコントロールユニット)により行った。図2に示すように、B値は軟骨の年齢に対して負の相関が見られた。また、R値は軟骨の年齢に対して正の相関が見られた。一方、G値は軟骨の年齢と相関が見られなかった。
生体画像データを撮像するとき、三次元形状の関節に対して白色光の照射を一様とすることは困難である。そのため、生体画像データには、白色光の照射強度の違いによるムラが生じる。軟骨の年齢と不相関であったG値は、主に白色光の照射強度に正に相関すると考えられる。したがって、G値を用いてB値およびR値を補正すれば、生体画像データにおける、白色光の照射強度によるムラを補正できる。具体的には、B値をG値で除したB’値(青強度補正値)と、R値をG値で除したR’値(赤強度補正値)とを算出すればよい。
図3に、図2に示す結果からB’値およびR’値を算出し、それぞれ観察対象者の年齢との対応関係をプロットした結果を示す。図3に示すように、B’値は軟骨の年齢に対して負の相関が見られ、R’値は軟骨の年齢に対して正の相関が見られた。ここで、観察対象者の年齢に応じて、軟骨に炎症が生じる確率および炎症度合いは高くなることが知られている。炎症部位は赤味がかった色相が強まることから、生体画像データの赤強度値に対応するR’値は、炎症度合いと相関していると考えられる。
軟骨における青味がかった色相は、コラーゲンに起因すると考えられる。そして、軟骨の含有コラーゲン量は年齢と共に減少することが知られている。したがって、生体画像データの青強度値に対応するB’値は、軟骨のコラーゲン量を反映することで、軟骨の年齢と相関していると考えられる。ここで、本発明では、軟骨の年齢と、炎症度合いとを独立に評価することを目的としている。したがって、B’値とR’値とが相関しているか否かについて、以下に検討する。
図4は、膝軟骨を撮像した生体画像データにおいて、L*a*b色空間の*a値および*b値を画像化した結果(L*a*b表色系)と、B’値およびR’値を画像化した結果(本発明)とを示す。L*a*b表色系は、CIEが定める表色系の一つである。L*a*b表色系および本発明のいずれも、紙面向かって左側に未処理の生体画像データ(元画像)を示している。
L*a*b表色系において、*a値は大きいほど赤味が強いことを示し、軟骨の炎症度合いと相関すると考えられる。また、*b値は大きいほど黄味が強いことを示し、加齢に応じて黄褐色となる軟骨の年齢と相関すると考えられてきた。しかしながら、図4に示すように、*a値と*b値との間には明らかに正の相関が見られた。したがって、*b値は軟骨の炎症度合いと独立しているとは言えず、本発明の目的には不適である。
一方、B’値とR’値との間には負の相関が見られたが、その限りではないことが図4から見て取れた。より具体的に、図5には膝軟骨における炎症箇所と、炎症発生直後の箇所との、B’値およびR’値を画像化した結果を示している。軟骨の炎症箇所では、コラーゲン等の融解が発生しているため、軟骨の青味が減少している。そのため、図5の炎症箇所に示すように、B’値とR’値とは一定程度相関していた。一方、炎症発生直後の、コラーゲン等の融解前であれば軟骨の青味は減少しない。そのため、図5に示すように、炎症発生直後の箇所ではB’値とR’値とは相関が見られなかった。これは、B’値は炎症度合いとは独立して、軟骨の年齢の指標となり得ることを示す結果である。なお、図5では、代表的な箇所を点線枠により示している。
以上の知見の通り、強度補正部14は、それぞれ独立して軟骨の年齢および炎症度合いの指標となる、青強度補正値および赤強度補正値を算出できる。このように、強度補正部14を備える制御装置10によれば、軟骨の年齢および軟骨の炎症度合いを、それぞれ独立して評価可能な指標を算出できる。
また、強度補正部14によれば、機械学習等の学習データを必要とすることなく、生体撮像データに含まれる情報のみから、軟骨の年齢を高い正確性で示す指標を算出できる。したがって、制御装置10は、学習データの有無および質に左右されず、軟骨の年齢を示す指標を一貫した信頼度により算出できる。
(画像出力部)
画像出力部15は、強度補正部14が算出した青強度補正値を表す青結果画像(第1結果画像)と、赤強度補正値を表す赤結果画像(第2結果画像)とを生成する。青結果画像は、例えば、青強度補正値を強度値として表すグレースケールの画像データであってよい。赤結果画像についても同様である。そして、画像出力部15は、青結果画像および赤結果画像を、それぞれ表示装置30に出力する。これにより、表示装置30に、青結果画像および赤結果画像が表示される。
画像出力部15は、強度補正部14が算出した青強度補正値を表す青結果画像(第1結果画像)と、赤強度補正値を表す赤結果画像(第2結果画像)とを生成する。青結果画像は、例えば、青強度補正値を強度値として表すグレースケールの画像データであってよい。赤結果画像についても同様である。そして、画像出力部15は、青結果画像および赤結果画像を、それぞれ表示装置30に出力する。これにより、表示装置30に、青結果画像および赤結果画像が表示される。
画像出力部15は、青結果画像と、撮像データ取得部11が取得した未処理の生体撮像データ(元画像)とを合成した青合成画像を生成し、また、赤結果画像と元画像とを合成した赤合成画像を生成してもよい。画像出力部15は、青合成画像および赤合成画像を、青結果画像および赤結果画像に替えて表示装置30に出力してもよいし、青結果画像および赤結果画像と共に表示装置30に出力してもよい。また、画像出力部15は、これらの画像と共に元画像についても出力してよい。
なお、画像出力部15が青結果画像および赤結果画像等を出力するのは、表示装置30に限られない。例えば、画像出力部15は、印刷装置(不図示)に出力を行ってもよいし、画像処理装置1以外の他の電子機器に出力を行ってもよい。青結果画像および赤結果画像等を取得した当該他の電子機器は、取得したデータをデータベース等の形式により記憶装置に記憶してもよいし、取得したデータを用いてさらに処理を行ってもよい。
〔画像処理装置の制御方法〕
制御装置10が実行する、画像処理装置1を制御する制御方法の一例について、図6を参照して以下に説明する。
制御装置10が実行する、画像処理装置1を制御する制御方法の一例について、図6を参照して以下に説明する。
図6に示すように、まず、撮像データ取得部11は、関節観察装置50から、関節鏡51により撮像された生体撮像データを取得する(S1)。なお、撮像データ取得部11が取得するのは、関節観察装置50から送信される生体撮像データに限られない。撮像データ取得部11は、他の電子機器等に記憶された生体撮像データを取得してもよいし、記憶装置40に記憶された生体撮像データを取得してもよい。
次に、強度抽出部12は、生体撮像データが、青波長域、緑波長域および赤波長域の各狭帯域光をそれぞれ照射して個別に撮像した、複数の生体画像データを含んでいるか否かを判定する(S2)。生体撮像データが、このような複数の生体画像データを含んでいない場合(S2でNo)、強度抽出部12は、生体撮像データは白色光の照射により撮像された単一の生体画像データであると判定する。そして、強度抽出部12は、生体画像データからRGB色空間におけるB値を青強度値として、G値を緑強度値として、R値を赤強度値として、それぞれ抽出する(S3、強度抽出ステップ)。
一方、生体撮像データが、このような複数の生体画像データを含んでいる場合(S2でYes)、強度抽出部12によるS3の処理は行われない。この場合、生体撮像データには、青強度値、緑強度値および赤強度値が、予め個別の状態で含まれているためである。
なお、画像処理装置1が、白色光の照射により撮像された生体画像データのみを取得する構成または設定となっている場合には、強度抽出部12によるS2の判定処理は行われなくてもよい。
次に、有効画素判定部13は、各画素について有効画素であるか否かを判定する(S4、有効画素判定ステップ)。有効画素判定部13による、有効画素であるか否かの具体的な判定方法については既に説明しているため、ここでは説明を省略する。
次に、強度補正部14は、有効画素と判定された全ての画素について、青強度補正値および赤強度補正値を算出する(S5、強度補正ステップ)。青強度補正値は、青強度値を緑強度値で除すことにより算出できる。赤強度補正値は、赤強度値を緑強度値で除すことにより算出できる。
次に、画像出力部15は、青強度補正値を表す青結果画像を生成すると共に、青結果画像と元画像とを合成した青合成画像を生成する(S6)。また、画像出力部15は、赤強度補正値を表す赤結果画像を生成すると共に、赤結果画像と元画像とを合成した赤合成画像を生成する(S7)。画像の合成は、公知の一般的な方法により行われてよい。
ここでいう元画像とは、撮像データ取得部11が取得した生体撮像データである。生体撮像データに複数の生体画像データ含まれている場合、画像出力部15は、全ての生体画像データを合成した結果を元画像としてもよいし、一部の生体画像データのみを元画像としてもよい。
次に、画像出力部15は、元画像および生成した画像を、表示装置30に出力する(S8、画像出力ステップ)。画像出力部15が出力する「生成した画像」とは、青結果画像、青合成画像、赤結果画像および赤合成画像である。また、画像出力部15は、生成した画像のうちの一部のみを出力してもよい。
図7は、画像出力部15が出力する各画像を示している。図7に示すように、画像出力部15は、元画像601と、青結果画像602と、赤結果画像603とを出力する。また、画像出力部15は、青合成画像604および赤合成画像605についても出力する。青結果画像602および青合成画像604は軟骨の年齢の指標となり、赤結果画像603および赤合成画像605は軟骨の炎症度合いの指標となる。
このような構成によれば、青結果画像および赤結果画像を元画像と容易に比較可能となるため、ユーザによる結果の評価を容易化できる。
〔変形例〕
本発明の一実施形態に係る制御装置10には、種々のバリエーションが想定される。その一例として、制御装置10は、図1に示すように、年齢推定部16をさらに有していてもよい。
本発明の一実施形態に係る制御装置10には、種々のバリエーションが想定される。その一例として、制御装置10は、図1に示すように、年齢推定部16をさらに有していてもよい。
年齢推定部16は、強度補正部14が算出した青強度補正値を用いて、生体撮像データに含まれる軟骨等の結合組織の年齢推定結果を算出する(年齢推定ステップ)。軟骨の年齢を推定する方法としては、例えば、年齢推定部16は、記憶装置40が記憶するデータテーブルを参照して、青強度補正値から軟骨の年齢推定結果を算出してもよい。当該データテーブルは、青強度補正値の値と軟骨の年齢との対応関係を示すデータ構造を有するものであり得る。また、年齢推定部16は、青強度補正値と軟骨の年齢との対応関係を機械学習により学習した学習済みモデルを用いて、軟骨の年齢推定結果を算出してもよい。
年齢推定部16は、軟骨の年齢推定結果について、年齢推定結果の数値を表す生データの状態で出力してもよいし、画像出力部15に出力して、画像出力部15が年齢推定結果を画像化してもよい。画像出力部15は、軟骨の年齢推定結果について、青結果画像または青合成画像に重畳的に表示されるように合成して、表示装置30に出力してよい。また、画像出力部15は、軟骨の年齢推定結果を示す文字情報のみを画像化して、表示装置30に出力してもよい。
年齢推定部16によれば、制御装置10は、軟骨の年齢推定結果を出力できる。したがって、画像処理装置1のユーザは、青結果画像等の画像データに加え、年齢推定部16による年齢推定結果も踏まえて、生体撮像データにおける軟骨の年齢を評価できる。
なお、年齢推定部16をはじめ、制御装置10の各機能ブロックは、単一の制御装置10に含まれていてもよいし、複数の制御装置に別個に含まれていてもよい。たとえば、年齢推定部16は、制御装置10とは異なる制御装置に含まれていてもよい。このような構成であれば、各制御ブロックの処理負荷を複数の制御装置間で分散できる。このように、本発明の一実施形態に係る制御装置は、複数であってもよい。
〔ソフトウェアによる実現例〕
画像処理装置1(以下、「装置」と呼ぶ)の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック(特に制御装置10に含まれる各部)としてコンピュータを機能させるためのプログラムにより実現することができる。
画像処理装置1(以下、「装置」と呼ぶ)の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック(特に制御装置10に含まれる各部)としてコンピュータを機能させるためのプログラムにより実現することができる。
この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも1つの制御装置(例えばプロセッサ)と少なくとも1つの記憶装置(例えばメモリ)を有するコンピュータを備えている。この制御装置と記憶装置とにより上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。
上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、1または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
1 画像処理装置(電子機器)
10 制御装置
12 強度抽出部
13 有効画素判定部
14 強度補正部
15 画像出力部
16 年齢推定部
10 制御装置
12 強度抽出部
13 有効画素判定部
14 強度補正部
15 画像出力部
16 年齢推定部
Claims (7)
- 電子機器を制御する制御装置であって、
前記制御装置は、
RGB色空間におけるB領域に対応する青波長域の強度値である青強度値と、G領域に対応する緑波長域の強度値である緑強度値と、R領域に対応する赤波長域の強度値である赤強度値と、を少なくとも有する生体撮像データに含まれる各画素について、前記青強度値を前記緑強度値で除すことにより青強度補正値を算出し、かつ、前記赤強度値を前記緑強度値で除すことにより赤強度補正値を算出する強度補正部を有することを特徴とする、制御装置。 - 前記生体撮像データは、前記青波長域と、前記緑波長域と、前記赤波長域とを少なくとも含む混合光を照射して撮像された生体画像データであり、
前記生体画像データから、各前記画素の前記青強度値と、前記緑強度値と、前記赤強度値とを抽出する強度抽出部をさらに有することを特徴とする、請求項1に記載の制御装置。 - 前記生体撮像データに含まれる各前記画素について、前記青強度値と、前記緑強度値と、前記赤強度値との少なくとも何れかが、所定の第1閾値以上かつ所定の第2閾値以下である場合に、当該画素を有効画素と判定する有効画素判定部をさらに有することを特徴とする、請求項1または2に記載の制御装置。
- 複数の前記有効画素について、前記青強度補正値を表す第1結果画像と、前記赤強度補正値を表す第2結果画像とをそれぞれ出力する画像出力部をさらに有することを特徴とする、請求項3に記載の制御装置。
- 前記有効画素における前記青強度補正値を用いて、前記生体撮像データに含まれる結合組織の年齢推定結果を算出する年齢推定部をさらに有することを特徴とする、請求項3または4に記載の制御装置。
- 請求項1に記載の制御装置としてコンピュータを機能させるための制御プログラムであって、前記強度補正部としてコンピュータを機能させるための制御プログラム。
- 電子機器を制御する制御方法であって、
前記制御方法は、
RGB色空間におけるB領域に対応する青波長域の強度値である青強度値と、G領域に対応する緑波長域の強度値である緑強度値と、R領域に対応する赤波長域の強度値である赤強度値と、を少なくとも有する生体撮像データに含まれる各画素について、前記青強度値を前記緑強度値で除すことにより青強度補正値を算出し、かつ、前記赤強度値を前記緑強度値で除すことにより赤強度補正値を算出する強度補正ステップを有することを特徴とする、制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021068594A JP2022163581A (ja) | 2021-04-14 | 2021-04-14 | 制御装置、制御プログラムおよび制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021068594A JP2022163581A (ja) | 2021-04-14 | 2021-04-14 | 制御装置、制御プログラムおよび制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022163581A true JP2022163581A (ja) | 2022-10-26 |
Family
ID=83742437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021068594A Pending JP2022163581A (ja) | 2021-04-14 | 2021-04-14 | 制御装置、制御プログラムおよび制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022163581A (ja) |
-
2021
- 2021-04-14 JP JP2021068594A patent/JP2022163581A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110325100B (zh) | 内窥镜系统及其操作方法 | |
JP5242381B2 (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
US7907775B2 (en) | Image processing apparatus, image processing method and image processing program | |
EP2520214A1 (en) | Image processing device, electronic apparatus, program, and image processing method | |
JP5593009B1 (ja) | 医療用画像処理装置 | |
JP2016154588A (ja) | 画像処理装置 | |
JP2017213097A (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20220000351A1 (en) | Control apparatus, diagnosis support method, and recording medium | |
JP2012005512A (ja) | 画像処理装置、内視鏡装置、内視鏡システム、プログラム及び画像処理方法 | |
WO2017022324A1 (ja) | 画像信号処理方法、画像信号処理装置および画像信号処理プログラム | |
US20150049177A1 (en) | Camera Arrangement and Image Processing Method for Quantifying Tissue Structure and Degeneration | |
WO2016117112A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US20080165247A1 (en) | Image processing apparatus and method | |
JP2022163581A (ja) | 制御装置、制御プログラムおよび制御方法 | |
US20230141302A1 (en) | Image analysis processing apparatus, endoscope system, operation method of image analysis processing apparatus, and non-transitory computer readable medium | |
WO2022071413A1 (ja) | 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム | |
WO2020235502A1 (ja) | 画像処理装置 | |
JP2021045337A (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム | |
JP7478245B2 (ja) | 医療画像装置及びその作動方法 | |
CN115731205B (zh) | 内窥镜的图像处理装置、方法、电子设备及存储介质 | |
US20230281818A1 (en) | Method for detecting object image using hyperspectral imaging by band selection | |
JP7090705B2 (ja) | 内視鏡装置、内視鏡装置の作動方法及びプログラム | |
WO2022009478A1 (ja) | 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム | |
JP7090706B2 (ja) | 内視鏡装置、内視鏡装置の作動方法及びプログラム | |
JP6946468B2 (ja) | 画像処理装置および画像処理装置の作動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220520 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240521 |