JP2020048707A - 映像処理装置、映像処理方法、および映像処理プログラム - Google Patents

Abstract

【課題】医療映像内の一定範囲における組織の割合を的確に評価し判断することができる映像処理装置、映像判定方法、および映像判定プログラムを提供することを目的とする。【解決手段】基準組織輝度算出部１２０が、構成割合を算出するために基準とする脂肪組織の輝度である基準組織輝度を算出し、評価範囲輝度算出部１３０が、乳腺組織が存在する評価範囲の各部位の輝度である評価範囲輝度を算出し、基準輝度割合算出部１４０が、基準範囲輝度に対して、評価組織輝度の割合を算出する。【選択図】図１

Description

本発明は、映像処理装置、映像処理方法、および映像処理プログラムに関し、特に入力された医療映像内で、評価する評価対象組織の評価範囲における構成組織の割合を算出する映像処理装置、映像処理方法、および映像処理プログラムに関する。

従来から、身体の外側から診るだけでは分からない臓器の形態、病変の有無などを画像として映し出すことで診断を行う画像診断が知られている。画像診断は、例えばエックス線や超音波、磁気共鳴などを用いて映像化したものや、内視鏡検査や眼底カメラなどの可視光線のもとで撮影された検査画像をもとに医師が診断している。

例えば、乳がん検診の一つであるマンモグラフィ検診では、マンモグラフィと呼ばれる乳房専用のエックス線撮影装置が用いられている。このマンモグラフィ検診で画像診断を行うことで、少ない放射線の量で安全に乳がんなどの病変を早期に検出することができる（たとえば、特許文献１参照）。

このマンモグラフィ検診には、石灰化した乳腺の全体像をとらえることができること、検診の継続によって死亡率が低下することが統計学的に証明されていること、撮影方法が一定であり過去の画像と比較しやすいこと、などのメリットがある。

一方で、マンモグラフィ検診のデメリットとしては、痛みを伴うこと、少量ながらも被曝すること、などが挙げられる。さらには妊娠適齢期といわれる２０〜３０代前半などの年齢では、乳房内で乳腺が発達しており、この発達した乳腺の量により詳細な診断ができないことがある。

発達した乳腺の量によりマンモグラフィ検診で詳細な診断ができない理由としては、マンモグラフィ検診で撮影されたマンモグラフィ画像では、乳腺もがんも白く描画されてしまうため、乳房内で乳腺が発達した状態だと、がんを正確に検出することが困難になるためである。

具体的には、乳がん検診で検査を行う乳房は、乳腺組織と呼ばれる出産時に乳汁を分泌する組織と、乳腺組織を支える脂肪組織、血管、神経などで構成されており、マンモグラフィ検診では、エックス線を透過させる脂肪が多ければ多いほど全体が黒く透けるように描画され、エックス線を吸収する乳腺組織が多ければ多いほど全体的に白っぽく描画される。

図２０は、乳房の構成の分類を示すマンモグラフィ画像の一例を示す図である。
図２０に示すように、マンモグラフィ画像による乳房は、白く描画される乳腺組織と、黒く描画される脂肪組織との量を比較することで大きく脂肪性、乳腺散在、不均一高濃度、極めて高濃度の４種類に分類されている。

脂肪性とは、乳房がほぼ完全に脂肪に置き換えられた状態である。乳腺散在とは、脂肪に置き換えられた乳房内に乳腺が散在している状態であり、乳腺内の脂肪が７０〜９０％程度が目安とされている。

不均一高濃度とは、乳腺実質内に脂肪が混在し、不均一な濃度の状態であり、乳腺内の脂肪が４０〜５０％程度が目安とされている。極めて高濃度とは、乳腺実質内に脂肪の混在はほとんどない状態であり、乳腺内の脂肪が１０〜２０％程度が目安とされている。

これらの乳房構成の分類について、マンモグラフィガイドラインでは、不均一高濃度と極めて高濃度とに分類される状態をdense breast（以下、デンスブレストと称する）と定義され、マンモグラフィ画像で乳房が白く描画されてしまうため、仮に乳房内に腫瘤などの病変があったとしても、白く描画される乳腺に隠れて見えない場合がある状態とされている。

具体的には、マンモグラフィ検診では、がんを見つけるうえで重要な腫瘤はエックス線を吸収するためマンモグラフィ画像で白く描画される。ところが、発達した乳腺組織により全体が白っぽく描画されるデンスブレストの場合では、全体が白っぽく描画される中に重なって腫瘤が白く描画されるため、雪山で白いウサギを見つけるように、デンスブレストの画像で腫瘤を検出するのは非常に困難であった。

このようなデンスブレストは、マンモグラフィ検診の感度が低く、乳がんの罹患リスクが高いとされている。特に、アジア人の場合においては、全体の７割近くがデンスブレストだとされている。

このようにマンモグラフィ検診でデンスブレストと評価された検診者は、デンスブレストと評価された検診者でも腫瘤を検出できる超音波検査を行うことで、マンモグラフィ検診では見つかりにくい腫瘤も検出できるとされている。

特開２０１８−４２８９１号公報

しかし、デンスブレストの定義は、上記のように乳腺内の脂肪が１０〜２０％程度が目安の極めて高濃度、または乳腺内の脂肪が４０〜５０％程度が目安の不均一高濃度とされており、定義がはっきりしていないため線引きが難しく、マンモグラフィ画像を診る医師によってデンスブレストの評価が毎回異なる場合があり、信憑性に欠ける問題があった。また、デンスブレストの評価はもちろん、脂肪性、乳腺散在、不均一高濃度、極めて高濃度に分類する識別も同様に困難であった。

具体的には、デンスブレストは、マンモグラフィ画像を医師が診て判断している。しかし、画像を診ただけで脂肪と乳腺組織との割合を算出することは難しく、医師の経験や感覚により判断されている。このため医師によってデンスブレストの判断が異なる場合が生じている。つまり同じマンモグラフィ画像を見ても、医師によってデンスブレストの判断が異なる場合がある。

このため、あいまいなままデンスブレストと評価されてしまうと、検診者に不安を煽るだけでなく、マンモグラフィ検診は意味がないものと勘違いされてしまい、マンモグラフィ検診の検診率が低下してしまうため、がんの早期発見率も低下してしまう問題につながってしまう。

仮に、デンスブレストと評価された場合は、超音波検査を行うことが一般的であるが、超音波検査では、全体の写真を残せないため、後から見直すときに情報が部分的に限られることになり評価が困難なことや、検査を行う者の技術に大きく影響されるため客観性に乏しいことなどのデメリットがある。

また、現在の医療現場では、まだ乳がん検診の超音波検査機器が全体に普及しきれておらず、あいまいな判断でデンスブレストと評価され、超音波検査を受ける検査者が増加すると、医療現場で超音波検査機器の受け皿が少ないため、検診業務が正常に機能しなくなる問題が考えられる。
このように、デンスブレストのあいまいな判断は、検診者への負担が増加するだけでなく、医療現場への負担も増加してしまう問題があった。

このデンスブレストのあいまいな判断の原因としては、次のことも考えられる。
近年ではマンモグラフィ検診を含むエックス線を用いた画像診断は、人体を透過したエックス線情報をフィルムに感光させてアナログのレントゲン写真を描出するアナログ方式から、エックス線情報をデジタル化したデジタル方式に移行している。

デジタル化されたエックス線情報は、デジタル処理を施すことができるので、画質のバラツキを抑えることができ、医師の診断に大きく貢献できるようになっている。ところが、デジタル化されたエックス線情報は、コントラストの調整などのデジタル処理を自由にできてしまうため、デジタル処理の調整によっては、画像全体を白く調整することも可能となる。

このように、デジタル方式の画像は、コントラストの調整などのデジタル処理でマンモグラフィ画像全体を白く調整された状態で医師が判断することで、デンスブレストと評価されてしまう恐れや、逆にデンスブレストであるはずの画像が、デジタル処理の調整でマンモグラフィ画像全体を黒く調整することによってデンスブレストではないと評価されてしまう恐れがある。

本発明はこのような点に鑑みてなされたものであり、医療映像内の一定範囲における組織の割合を的確に評価し判断することができる映像処理装置、映像判定方法、および映像判定プログラムを提供することを目的とする。

本発明では上記問題を解決するために、入力された医療映像内で、状態を評価する組織の評価範囲における構成割合を算出する映像処理装置において、構成割合を算出するために基準とする基準組織の輝度である基準組織輝度を算出する基準組織輝度算出手段と、前記評価範囲の輝度である評価範囲輝度を算出する評価範囲輝度算出手段と、前記基準範囲輝度に対して、前記評価組織輝度の割合を算出する基準輝度割合算出手段とを備えることを特徴とする映像処理装置が提供される。

これにより、基準組織輝度算出手段が、構成割合を算出するために基準とする基準組織の輝度である基準組織輝度を算出し、評価範囲輝度算出手段が、評価範囲の輝度である評価範囲輝度を算出し、基準輝度割合算出手段が、基準範囲輝度に対して、評価組織輝度の割合を算出する。

また本発明では、入力された医療映像内で、状態を評価する組織の評価範囲における構成割合を算出する映像処理方法において、基準組織輝度算出手段が、構成割合を算出するために基準とする基準組織の輝度である基準組織輝度を算出するステップと、評価範囲輝度算出手段が、前記評価範囲の輝度である評価範囲輝度を算出するステップと、基準輝度割合算出手段が、前記基準範囲輝度に対して、前記評価組織輝度の割合を算出するステップとを備えることを特徴とする映像処理方法が提供される。

これにより、基準組織輝度算出手段が、構成割合を算出するために基準とする基準組織の輝度である基準組織輝度を算出し、評価範囲輝度算出手段が、評価範囲の輝度である評価範囲輝度を算出し、基準輝度割合算出手段が、基準範囲輝度に対して、評価組織輝度の割合を算出する。

また本発明では、入力された医療映像内で、状態を評価する組織の評価範囲における構成割合を算出する映像処理プログラムにおいて、コンピュータを、構成割合を算出するために基準とする基準組織の輝度である基準組織輝度を算出する基準組織輝度算出手段、前記評価範囲の輝度である評価範囲輝度を算出する評価範囲輝度算出手段、前記基準範囲輝度に対して、前記評価組織輝度の割合を算出する基準輝度割合算出手段として機能させることを特徴とする映像処理プログラムが提供される。

これにより、基準組織輝度算出手段が、構成割合を算出するために基準とする基準組織の輝度である基準組織輝度を算出し、評価範囲輝度算出手段が、評価範囲の輝度である評価範囲輝度を算出し、基準輝度割合算出手段が、基準範囲輝度に対して、評価組織輝度の割合を算出する。

本発明の映像処理装置、映像処理方法、および映像処理プログラムによれば、基準組織輝度算出手段が、構成割合を算出するために基準とする基準組織の輝度である基準組織輝度を算出し、評価範囲輝度算出手段が、評価範囲の輝度である評価範囲輝度を算出し、基準輝度割合算出手段が、基準範囲輝度に対して、評価組織輝度の割合を算出するので、医療映像内の一定範囲における組織の割合を的確に評価し判断することができる。

第１の実施の形態に係る映像処理装置の概念を示すブロック図である。 マスク処理部の詳細を示すブロック図である。 基準組織輝度算出部の詳細を示すブロック図である。 評価範囲輝度算出部の詳細を示すブロック図である。 基準輝度割合算出部の詳細を示すブロック図である。 情報記憶部の詳細を示すブロック図である。 学習情報入力手段によって学習部に学習させる学習用の画像を示す図である。 ディープラーニングで用いられるＵ−ｎｅｔ構造のニューラルネットワークを示す図である。 学習部が学習する行程において、学習結果の計測方法を示す数式および図である。 学習部が学習した結果を、ＤＩＣＥ係数を用いて表したグラフである。 マスク処理部が処理するマスク処理を示す図である。 基準組織輝度算出部が基準組織の輝度を検出する状態を示す図である。 マンモグラフィ画像の一部を拡大して表示した図である。 相対輝度変換処理部が変換する処理を示すイメージ図である。 相対輝度割合計算部が処理した状態を示すイメージ図である。 第２の実施の形態に係る映像処理装置における基準組織輝度算出部の詳細を示すブロック図である。 走査情報取得部が走査する位置を示すマンモグラフィ画像である。 輝度計測部が計測した輝度を可視化したグラフおよび移動平均算出部が算出した移動平均情報を可視化した移動平均線を示す図である。 移動平均傾き算出部が算出した移動平均線の傾き情報をグラフ化した図である。 乳房の構成の分類を示すマンモグラフィ画像の一例を示す図である。

以下、本発明の実施の形態を、図面を参照して詳細に説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る映像処理装置の概念を示すブロック図である。

本発明は、従来、医師が医療映像を読影することで判断していたが、その読影は医師の経験や感覚の差により判断に大きく差があったものを、本発明の映像処理装置１００が医療映像を処理することで、客観的な評価方法を確立し、医師の正確な診断率を上昇させるものである。

なおここでは便宜上、映像処理装置１００を用いて医療映像装置２００より入力された医療映像を、マンモグラフィ検診により撮影されたマンモグラフィ画像として、映像処理装置１００がデンスブレストを評価する場合で説明する。

医療映像装置２００は、例えばエックス線装置、コンピュータ断層撮影装置、核磁気共鳴画像装置、超音波検査装置などによって撮影される医療映像を撮影するための装置である。

この医療映像装置２００によって撮影された静止画や動画を本発明の映像処理装置１００が処理を行い、入力されたマンモグラフィ画像などの医療映像からデンスブレストの評価結果を表示手段３００に出力することができる。

表示手段３００は、例えばパソコンに接続されることで与えられた情報を表示するディスプレイや、入力された情報を印刷して表示するプリンターや、写真などを現像する現像機などが挙げられる。

次に、映像処理装置１００の詳細を説明する。
図１に示すように、映像処理装置１００は、マスク処理部１１０、基準組織輝度算出部１２０、評価範囲輝度算出部１３０、基準輝度割合算出部１４０、状態判断部１５０、および情報記憶部１６０を備えている。また映像処理装置１００は、医療映像装置２００および表示手段３００に接続されている。

マスク処理部１１０は、医療映像装置２００、基準組織輝度算出部１２０、および情報記憶部１６０に接続されており、医療映像装置２００から入力されたマンモグラフィ画像をマスク処理するためのものである。

ここでいうマスク処理とは、医療映像装置２００から入力されたマンモグラフィ画像から特定部分のみを抽出し、抽出された特定部分以外を表示しないようにする画像処理のことである。

具体的には、マンモグラフィ検診により撮影されたマンモグラフィ画像から、筋肉や皮膚、乳頭などを除外し、デンスブレストの評価対象となる乳腺組織が存在する範囲のみを評価範囲として抽出し、乳腺組織以外の部分を表示しないようにする画像処理をマスク処理部１１０が行う。具体的な画像処理方法は後述する。

マスク処理部１１０によりマスク処理された画像、およびマスク処理前のマンモグラフィ画像は、接続された情報記憶部１６０にマスク処理部１１０が記憶させる。またマスク処理部１１０の処理が完了すると、マスク処理部１１０は、接続された基準組織輝度算出部１２０に処理が完了したことを通知する。

基準組織輝度算出部１２０は、マスク処理部１１０、評価範囲輝度算出部１３０、および情報記憶部１６０に接続されており、医療映像装置２００により入力されたマンモグラフィ画像からデンスブレストの評価の基準となる脂肪組織の輝度を算出するためのものである。

前述したとおり、デンスブレストは乳腺内の脂肪の割合で評価されるものであり、ここでは基準組織輝度算出部１２０が基準となる組織として脂肪組織の輝度を算出する。またここでいう輝度とは、医療映像装置２００により入力されたマンモグラフィ画像の明るさである白さの度合いを示すものであり、基準組織輝度算出部１２０はマンモグラフィ画像のうち脂肪組織の輝度を算出するためのものである。

基準組織輝度算出部１２０は、マスク処理部１１０の処理が完了した通知を受けると、情報記憶部１６０に記憶されたマスク処理前のマンモグラフィ画像を呼び出し、呼び出したマンモグラフィ画像からデンスブレストの評価の基準となる脂肪組織の輝度を算出し、算出した脂肪組織の輝度を情報記憶部１６０に記憶させる。具体的な基準組織である脂肪組織の輝度の算出方法は後述する。また、基準組織輝度算出部１２０の処理が完了すると、基準組織輝度算出部１２０は、接続された評価範囲輝度算出部１３０に処理が完了したことを通知する。

評価範囲輝度算出部１３０は、基準組織輝度算出部１２０、基準輝度割合算出部１４０、および情報記憶部１６０に接続されており、マスク処理部１１０が処理した乳腺組織が存在する評価範囲の輝度を算出するためのものである。

評価範囲輝度算出部１３０は、基準組織輝度算出部１２０の処理が完了した通知を受けると、情報記憶部１６０に記憶されたマスク処理後のマンモグラフィ画像を呼び出し、乳腺組織が存在する評価範囲における各部位の輝度を算出し、算出した評価範囲における各部位の輝度を情報記憶部１６０に記憶させる。具体的な算出方法は後述する。また、評価範囲輝度算出部１３０の処理が完了すると、評価範囲輝度算出部１３０は、接続された基準輝度割合算出部１４０に処理が完了したことを通知する。

基準輝度割合算出部１４０は、評価範囲輝度算出部１３０、状態判断部１５０、および情報記憶部１６０に接続されており、評価範囲輝度算出部１３０が算出した乳腺組織が存在する評価範囲における脂肪組織の割合を算出するためのものである。

基準輝度割合算出部１４０は、評価範囲輝度算出部１３０の処理が完了した通知を受けると、情報記憶部１６０に記憶された基準組織である脂肪組織の輝度と、乳腺組織が存在する評価範囲の輝度とを呼び出し、脂肪組織の輝度を基準値としたときの乳腺組織の輝度の割合を算出し、算出した輝度の割合を情報記憶部１６０に記憶させる。具体的な算出方法は後述する。また、基準輝度割合算出部１４０の処理が完了すると、基準輝度割合算出部１４０は、接続された状態判断部１５０に処理が完了したことを通知する。

状態判断部１５０は、基準輝度割合算出部１４０、情報記憶部１６０、および表示手段３００に接続されており、基準輝度割合算出部１４０が算出した脂肪組織の輝度を基準値としたときの、乳腺組織が存在する評価範囲の輝度における脂肪組織の輝度の割合から、医療映像装置２００から入力されたマンモグラフィ画像が、デンスブレストであるか否かの状態を判断するためのものである。

状態判断部１５０は、基準輝度割合算出部１４０の処理が完了した通知を受けると、情報記憶部１６０に記憶された脂肪組織の輝度を基準値としたときの、乳腺組織が存在する評価範囲における輝度の割合、およびあらかじめ情報記憶部１６０に記憶されたデンスブレストであるか否かの状態を判断するための判断基準を呼び出し、医療映像装置２００から入力されたマンモグラフィ画像が、デンスブレストであるか否かの状態を判断する。具体的な判断方法は後述する。また、状態判断部１５０の処理が完了すると、状態判断部１５０は、接続された表示手段３００などを介して判断結果を表示する。

情報記憶部１６０は、マスク処理部１１０、基準組織輝度算出部１２０、評価範囲輝度算出部１３０、基準輝度割合算出部１４０、および状態判断部１５０に接続されており、処理に必要な情報を記憶、または記憶された情報を必要に応じて呼び出すことのできる記憶媒体である。

上記のように、医療映像装置２００によって入力されたマンモグラフィ画像から、基準組織輝度算出部１２０が評価の基準値とする脂肪組織の輝度を算出し、評価範囲輝度算出部１３０が評価対象である乳腺組織が存在する評価範囲の各部位の輝度を算出し、基準輝度割合算出部１４０が、脂肪組織の輝度を基準値として乳腺組織が存在する評価範囲の各部位の輝度の割合を算出するので、従来ではあいまいであったデンスブレストの基準を数値として明確に表すことができる。

また、脂肪組織の輝度を基準値として乳腺組織が存在する評価範囲における輝度の割合を算出するので、医療映像装置２００によって入力されたマンモグラフィ画像にコントラストの調整などのデジタル処理が施されても、脂肪組織を基準値とした相対的な評価を算出することができる。これにより、デンスブレストを客観的に評価することができる。

図２は、マスク処理部の詳細を示すブロック図である。
図２に示すように、マスク処理部１１０は、境界決定部１１１、画像処理部１１２、および学習部１１３を備えている。

境界決定部１１１は、医療映像装置２００、画像処理部１１２、および情報記憶部１６０に接続されており、医療映像装置２００から入力されたマンモグラフィ画像から、筋肉や皮膚、乳頭などを除外して乳腺組織が存在する評価範囲を抽出するために、乳腺組織が存在する評価範囲と他の組織との境界を決定するためのものである。

境界決定部１１１は、例えば、医療映像装置２００から入力されたマンモグラフィ画像を医師が確認しながら、図示しない入力手段で評価対象となる乳腺組織が存在する範囲のみを囲むことで乳腺組織と他の組織との境界を決定することができる。またマスク処理前のマンモグラフィ画像は、情報記憶部１６０に境界決定部１１１が記憶させることができる。

または、後述するように、例えば人工知能のような学習部１１３に、評価対象となる乳腺組織が存在する範囲と他の組織との境界を識別する学習をさせ、学習によって得られた乳腺組織が存在する範囲と他の組織との境界識別情報を学習部１１３が情報記憶部１６０に記憶させ、情報記憶部１６０に記憶された境界識別情報を利用して境界決定部１１１が、乳腺組織が存在する評価範囲と他の組織との境界を識別して、乳腺組織と他の組織との境界を決定することもできる。

境界決定部１１１は、医療映像装置２００からマンモグラフィ画像が入力されると、乳腺組織が存在する評価範囲と他の組織との境界を決定し、その境界情報を含んだマンモグラフィ画像が画像処理部１１２に送信される。

画像処理部１１２は、境界決定部１１１、情報記憶部１６０、および基準組織輝度算出部１２０に接続されており、デンスブレストの評価対象となる乳腺組織が存在する評価範囲を抽出し、乳腺組織が存在する評価範囲以外の部分を表示しないようにするマスク処理をするためのものである。

画像処理部１１２は、境界決定部１１１より、境界情報を含んだマンモグラフィ画像を受診すると、境界決定部１１１によって決定された境界情報に基づいて、入力されたマンモグラフィ画像から筋肉や皮膚、乳頭などを除外するマスク処理を行い、マスク処理後のマンモグラフィ画像は情報記憶部１６０に記憶させる。また、画像処理部１１２の処理が完了すると、画像処理部１１２は、接続された基準組織輝度算出部１２０に処理が完了したことを通知する。

学習部１１３は、学習情報入力手段１１４および情報記憶部１６０に接続されており、学習情報入力手段１１４によって入力された学習情報によって、境界決定部１１１が決定する乳腺組織が存在する評価範囲と他の組織との境界を識別するために必要な境界識別情報を学習するためのものである。

具体的な学習例としては、学習させるマンモグラフィ画像から、あらかじめ筋肉や皮膚、乳頭などを除外し、評価対象となる乳腺組織が存在する範囲のみを囲んだマスキング画像を医療関係者などが作成し、そのマスキング画像を大量に学習部１１３に入力することで乳腺組織が存在する評価範囲と他の組織とを識別するための学習をさせる。

入力されたマスキング画像は、畳み込みニューラルネットワークを用いたディープラーニング、具体的には画像セグメンテーション処理に特化したＵ−ｎｅｔと呼ばれるＵ−ｎｅｔ構造のモデルを用いたディープラーニングによって、学習部１１３は乳腺組織が存在する評価範囲と他の組織との境界を識別するための学習をする。学習によって得られた乳腺組織が存在する評価範囲と他の組織との境界を識別する境界識別情報は、学習部１１３によって情報記憶部１６０に蓄積される。

図３は、基準組織輝度算出部の詳細を示すブロック図である。
図３に示すように、基準組織輝度算出部１２０は、走査情報取得部１２１、境界検出部１２２、基準組織輝度計測部１２３、および平均値算出部１２４を備えている。

走査情報取得部１２１は、マスク処理部１１０、境界検出部１２２および情報記憶部１６０に接続されており、医療映像装置２００から入力されたマンモグラフィ画像上を走査して、画像上の情報を取得するためのものである。

走査情報取得部１２１は、マスク処理部１１０の処理が完了した通知を受けると、情報記憶部１６０に記憶されたマスク処理前のマンモグラフィ画像を呼び出し、マスク処理前のマンモグラフィ画像上を走査しながらマスク処理前のマンモグラフィ画像上の情報を取得していく。

走査情報取得部１２１は図示しない入力手段によって、入力されたマスク処理前のマンモグラフィ画像上の位置情報により、任意の位置や任意の範囲でマスク処理前のマンモグラフィ画像上の情報を得ることができる。

また、走査情報取得部１２１が走査する単位は任意で設定できるものとし、例えばマスク処理前のマンモグラフィ画像上を、コンピュータで画像を取り扱う際の色調や階調情報を持つ最小単位であるピクセル単位で走査することもでき、また１ｍｍ×１ｍｍなどの任意の大きさの枠を走査させながらマスク処理前のマンモグラフィ画像上の情報を得ることもできる。なお本実施の形態は、走査情報取得部１２１がピクセル単位で走査するものとして説明する。また、走査情報取得部１２１が、走査しながら得たマスク処理前のマンモグラフィ画像上の情報は、境界検出部１２２に送信される。

境界検出部１２２は、走査情報取得部１２１、および基準組織輝度計測部１２３に接続されており、走査情報取得部１２１が取得したマスク処理前のマンモグラフィ画像上の情報から背景と背景以外との境界を検出するためのものである。

具体的には、例えばマスク処理前のマンモグラフィ画像で、境界検出部１２２は脂肪組織が多くみられる位置、具体的には乳房上部などで走査を開始し、背景と乳房との境界、詳細には背景と乳房の表面にみられる皮膚との境界を境界検出部１２２が検出する。

ここで背景の輝度は黒く描画されるため輝度０であり、皮膚は少なくとも背景よりは白く描画されるので輝度０を超えるものである。走査情報取得部１２１が背景側からマスク処理前のマンモグラフィ画像を一定の高さで順に走査し始めると、やがて皮膚に到達する。

このとき輝度は０から０を超える数値に切り替わる。この０から０を超える数値に切り替わる部分を境界検出部１２２は、背景と背景以外との境界として、つまり背景と乳房との境界として検出することができる。

逆に、走査情報取得部１２１が乳房側からマスク処理前のマンモグラフィ画像を順に走査し始めると、やがて背景に到達する。このとき輝度は０を超える数値から０に切り替わる。この０を超える数値から０に切り替わる部分を境界検出部１２２は、背景と背景以外との境界として、つまり背景と乳房との境界として検出することができる。

また、走査情報取得部１２１の走査する方向を変更させるだけでなく、走査情報取得部１２１の走査する前に、あらかじめマスク処理前のマンモグラフィ画像を左右反転させてから一定の方向で走査情報取得部１２１が走査するようにしてもよい。

基準組織輝度算出部１２０は、基準となる脂肪組織の輝度を算出するためのものであり、走査情報取得部１２１は、例えば医療映像装置２００から入力されたマンモグラフィ画像のうち、脂肪組織が多くみられる位置、具体的には乳房上部などの一定の高さで走査を開始する。境界検出部１２２は、背景と背景以外との境界を検出すると、その境界位置情報を基準組織輝度計測部１２３に送信する。

基準組織輝度計測部１２３は、境界検出部１２２、平均値算出部１２４、および情報記憶部１６０に接続されており、境界検出部１２２が検知した境界から任意の位置の輝度を算出するためのものである。

具体的には、マスク処理前のマンモグラフィ画像のうち、乳房上部の一定の高さで順に走査を開始し、境界検出部１２２が背景と皮膚との境界を検知すると、背景と皮膚との境界から皮膚側に多くみられる脂肪組織の位置、具体的には背景と皮膚との境界から１０〜１００ピクセル乳房側に移動した位置で基準組織輝度計測部１２３が脂肪組織の輝度を計測し、さらに計測した位置から例えば１００ピクセル分などの一定の距離分の脂肪組織の輝度を基準組織輝度計測部１２３が計測する。

これによりマンモグラフィ画像のうち脂肪組織が多く存在する位置における脂肪組織の輝度を基準組織輝度計測部１２３が計測することができる。また、基準組織輝度計測部１２３が計測した輝度情報は、情報記憶部１６０に基準組織輝度計測部１２３が記憶させる。また、基準組織輝度計測部１２３の処理が完了すると、基準組織輝度計測部１２３は、接続された平均値算出部１２４に処理が完了したことを通知する。

平均値算出部１２４は、基準組織輝度計測部１２３、情報記憶部１６０、および評価範囲輝度算出部１３０に接続されており、情報記憶部１６０に記憶された基準組織輝度計測部１２３の処理による脂肪組織の輝度に基づいて、脂肪組織の輝度の平均値を算出するためのものである。

平均値算出部１２４は、基準組織輝度計測部１２３の処理が完了した通知を受けると、情報記憶部１６０に記憶された特定範囲における脂肪組織の輝度、具体的には、背景と皮膚との境界から皮膚側に１０〜１００ピクセル移動した位置から更に１００ピクセル分などの一定距離の輝度を呼び出し、これらの呼び出された一定距離の輝度から平均値を算出し、算出した脂肪組織の輝度の平均値を情報記憶部１６０に記憶させる。また、平均値算出部１２４の処理が完了すると、平均値算出部１２４は、接続された評価範囲輝度算出部１３０に処理が完了したことを通知する。

このように、基準組織輝度算出部１２０は、基準となる脂肪組織が多く存在する任意の位置で脂肪組織の輝度を計測し、その平均値を基準とするので、場所によって輝度にムラがあっても、その平均値を基準とすることができる。

図４は、評価範囲輝度算出部の詳細を示すブロック図である。
図４に示すように、評価範囲輝度算出部１３０は、評価範囲走査情報取得部１３１および評価範囲輝度計測部１３２を備えている。

評価範囲走査情報取得部１３１は、基準組織輝度算出部１２０の処理が完了した通知を受けると、情報記憶部１６０に記憶されたマスク処理後のマンモグラフィ画像を呼び出し、マスク処理後の背景を除く乳腺組織が存在する評価範囲の画像上を走査しながら画像の情報を得る。

また、評価範囲走査情報取得部１３１においても走査する単位は任意で設定できるものとし、例えばマスク処理前のマンモグラフィ画像上をピクセル単位で走査することもでき、また１ｍｍ×１ｍｍなどの任意の大きさの枠を走査させながらマスク処理後の背景を除く乳腺組織が存在する評価範囲の画像上の情報を得ることもできる。なお本実施の形態は、評価範囲走査情報取得部１３１がピクセル単位で走査するものとして説明する。評価範囲走査情報取得部１３１が、走査しながら得たマスク処理後の背景を除く乳腺組織が存在する評価範囲の画像上の情報は、評価範囲輝度計測部１３２に送信される。

評価範囲輝度算出部１３０は、評価範囲走査情報取得部１３１、評価範囲輝度計測部１３２、情報記憶部１６０、および基準輝度割合算出部１４０に接続されており、評価範囲走査情報取得部１３１が取得した情報から、評価対象である乳腺組織が存在する評価範囲の各部位の輝度を計測するためのものである。

具体的には、評価範囲走査情報取得部１３１から送信される乳腺組織が存在する評価範囲の画像情報から、乳腺組織が存在する評価範囲の輝度を評価範囲輝度計測部１３２が計測し、すべての計測結果を情報記憶部１６０に記憶させる。また、評価範囲輝度計測部１３２の処理が完了すると、評価範囲輝度計測部１３２は、接続された基準輝度割合算出部１４０に処理が完了したことを通知する。

図５は、基準輝度割合算出部の詳細を示すブロック図である。
図５に示すように、基準輝度割合算出部１４０は、相対輝度変換処理部１４１、および相対輝度割合計算部１４２を備えている。

相対輝度変換処理部１４１は、評価範囲輝度算出部１３０、相対輝度割合計算部１４２、および情報記憶部１６０に接続されており、脂肪組織の輝度を基準値として、乳腺組織が存在する評価範囲の輝度を相対値として変換させるためのものである。

相対輝度変換処理部１４１は、評価範囲輝度算出部１３０の処理が完了した通知を受けると、情報記憶部１６０に記憶された基準となる脂肪組織の輝度と、評価対象である乳腺組織が存在する評価範囲の各部位の輝度とを呼び出し、脂肪組織の輝度を基準値とした乳腺組織が存在する評価範囲の各部位の輝度を脂肪組織の輝度の相対値として変換する。

具体的には、例えば、基準となる脂肪組織の輝度を１とした場合において、背景の輝度を０とし、さらに乳腺組織が存在する評価範囲の輝度を相対値である相対輝度として変換する。変換された乳腺組織が存在する評価範囲の相対輝度は、接続された相対輝度割合計算部１４２に送信される。

相対輝度割合計算部１４２は、相対輝度変換処理部１４１、情報記憶部１６０、および状態判断部１５０に接続されており、相対輝度変換処理部１４１が処理した相対輝度に基づいて、各相対値の割合を計算するためのものである。

相対輝度割合計算部１４２は、相対輝度変換処理部１４１が送信した評価対象である乳腺組織が存在する評価範囲の各部位の相対輝度を、一定の相対輝度値ごとに集計して、一定の相対輝度値ごとの割合を計算し、接続された情報記憶部１６０に記憶させる。また、相対輝度割合計算部１４２の処理が完了すると、相対輝度割合計算部１４２は、接続された状態判断部１５０に処理が完了したことを通知する。

図６は、情報記憶部の詳細を示すブロック図である。
図６に示すように、情報記憶部１６０は、マスク処理前画像記憶部１６１、マスク処理後画像記憶部１６２、基準組織輝度記憶部１６３、評価範囲輝度記憶部１６４、相対輝度割合記憶部１６５、判断基準記憶部１６６、および境界識別情報記憶部１６７を備えている。

マスク処理前画像記憶部１６１は、医療映像装置２００より入力され、マスク処理部１１０がマスク処理を行う前のマンモグラフィ画像を記憶するためのものである。マスク処理前画像記憶部１６１に記憶される情報は、例えば、マスク処理を行う前のマンモグラフィ画像を識別する識別情報、検診者番号、検診日などと関連づけられて記憶され、必要に応じて所望の情報が呼び出される。

マスク処理後画像記憶部１６２は、医療映像装置２００より入力され、マスク処理部１１０がマスク処理を行った後のマンモグラフィ画像、つまり乳腺組織が存在する範囲のみが抽出された画像を記憶するためのものである。マスク処理後画像記憶部１６２に記憶される情報は、例えば、マスク処理を行った後のマンモグラフィ画像を識別する識別情報、検診者番号、検診日などと関連づけられて記憶され、必要に応じて所望の情報が呼び出される。

基準組織輝度記憶部１６３は、基準組織輝度算出部１２０が算出する、基準となる脂肪組織の輝度を記憶するためのものである。基準組織輝度記憶部１６３に記憶される情報は、例えば、基準組織の輝度を算出するためのマンモグラフィ画像を識別するための識別情報、検診者番号、検診日、輝度算出日などと関連づけられて記憶され、必要に応じて所望の情報が呼び出される。

評価範囲輝度記憶部１６４は、評価範囲輝度算出部１３０が算出する、評価対象である乳腺組織が存在する評価範囲の各部位の輝度を記憶するためのものである。評価範囲輝度記憶部１６４に記憶される情報は、例えば、評価範囲の輝度を算出するためのマンモグラフィ画像を識別するための識別情報、検診者番号、検診日、輝度算出日などと関連づけられて記憶され、必要に応じて所望の情報が呼び出される。

相対輝度割合記憶部１６５は、基準輝度割合算出部１４０が算出する、基準となる脂肪組織に対する評価対象である乳腺組織が存在する評価範囲の各部位の相対輝度を記憶するためのものである。相対輝度割合記憶部１６５に記憶される情報は、例えば、識別情報、検診者番号、検診日、相対輝度割合算出日などと関連づけられて記憶され、必要に応じて所望の情報が呼び出される。

判断基準記憶部１６６は、基準輝度割合算出部１４０が算出した脂肪組織の輝度を基準値としたときの乳腺組織の輝度の割合から、医療映像装置２００から入力された画像が、デンスブレストであるか否かの状態を状態判断部１５０が判断するため基準値を記憶するためのものである。判断基準記憶部１６６に記憶される情報は、判断基準を識別するための識別情報などと関連づけられて記憶され、必要に応じて所望の情報が呼び出される。

また判断基準記憶部１６６に記憶される基準は、一定の基準を記憶するだけでなく、年齢や性別に応じて基準を適宜変更できるように、年齢、性別などと関連づけられて記憶することもできる。

さらに、本実施の形態では、デンスブレストの状態を判断する例で示すが、他の症状を判断する場合においては、症状名などと関連づけ記憶し、症状など必要に応じて所望の情報が呼び出されるようにしてもよい。

境界識別情報記憶部１６７は、乳腺組織が存在する評価範囲の境界を学習部１１３が学習することによって得られる、乳腺組織が存在する評価範囲と他の組織との境界を識別する境界識別情報を記憶するためのものである。

境界識別情報記憶部１６７に蓄積された情報に基づいて、医療映像装置２００より入力されたマンモグラフィ画像から筋肉や皮膚、乳頭などを除外するマスク処理をマスク処理部１１２が行うことができる。このほか、情報記憶部１６０は必要に応じて様々な情報を記憶することができる。

図７は、学習情報入力手段によって学習部に学習させる学習用の画像を示す図である。
図７に示すように、図７（Ａ）、（Ｂ）は、学習情報入力手段１１４によって学習部１１３に学習させるためのマンモグラフィ画像、およびそのマスキング画像である。

図７（Ａ）は、例えば乳がん検診なので撮影されたマンモグラフィ画像である。図７（Ｂ）は、図７（Ａ）の画像から、筋肉や皮膚、乳頭などを除外し評価対象である乳腺組織が存在する範囲のみを囲んだマスキング画像である。

まずは学習部１１３に学習させるための画像として、図７（Ａ）のようなマンモグラフィ画像と、図７（Ｂ）のような乳腺組織が存在する範囲のみ囲んだマスキング画像を大量に用意する。なお学習用のマスキング画像に関しては医療関係者などが手動で作成することが望ましい。

作成された学習用のマンモグラフィ画像および乳腺組織が存在する範囲のみを囲んだマスキング画像は、学習情報入力手段１１４によって学習部１１３に大量に入力され、学習情報入力手段１１４によって入力された情報から、学習部１１３は乳腺組織が存在する評価範囲と他の組織との境界を識別するための学習を行い、学習によって得られた乳腺組織が存在する評価範囲と他の組織との境界を識別する境界識別情報を学習部１１３が情報記憶部１６０に記憶させる。

図８は、ディープラーニングで用いられるＵ−ｎｅｔ構造のニューラルネットワークを示す図である。
図８に示すように、学習部１１３は、Ｕ−ｎｅｔと呼ばれるディープラーニングの技術を使ったプログラムを用いて、乳腺組織が存在する評価範囲と他の組織との境界を識別するための境界識別情報、つまり乳腺組織が存在する評価範囲の範囲を学習することができる。

Ｕ−ｎｅｔの特徴は、入力層と出力層が同じ画像サイズになることである。
通常のニューラルネットワークによって行われる画像認識では、たたみ込み層が物体の複雑な特徴を抽出し、プーリング層が物体の全体的な位置ズレを許容する役割を担っている。

このため層が深くなるほど複雑な特徴を抽出するようになるが、その抽出された特徴の位置情報はあいまいになってしまう。ところが、乳腺組織が存在する評価範囲などの境界を識別して範囲を特定するためには、抽出された複雑な特徴と全体的な位置情報を特定しなければならない。

そこで、図８に示されるようなＵ字型構造のニューラルネットワークを用いることで、プーリング層であいまいになった位置情報を、元画像上で復元させることができる。

図８の横向きの矢印は「たたみ込み層」、下向きの矢印は「プーリング層」、上向きの矢印は「たたみ込み＋アップサンプリング」と呼ばれており、「たたみ込み層」の層が深くなるほど複雑な特徴を抽出することができる。

また、「プーリング層」を重ねて深くなるほど、抽出された特徴の位置情報が許容されるようになる。さらにアップサンプリングと前の層の情報を併せることで、「たたみ込み層」が抽出した特徴を保持したまま画像を復元することができる。

この下向きの矢印と上向きの矢印と横向きの矢印の処理によって、入力された画像の特徴を抽出し、抽出した特徴を保持したまま深い層から元の画像細部まで復元することができる。このような技術を用いることで、入力された画像から所望の領域を抽出することができる。

本実施の形態では、上記のＵ−ｎｅｔと呼ばれるディープラーニングの技術を使ったプログラムを用いることで、乳房のマンモグラフィ画像を入力層に入力し、出力層から出力される画像とマスキング画像とを比較させて一致させるように学習させることにより、乳房のマンモグラフィ画像から乳腺組織が存在する評価範囲と他の組織との境界を識別し、乳腺組織が存在する範囲のみを抽出することができるようになる。

また、学習部１１３による学習は、Ｕ−ｎｅｔと呼ばれるディープラーニングの技術を使ったプログラムだけでなく、ＦＣＮ（Fully Convolutional Network）と呼ばれるディープラーニングによる技術など様々なプログラムを利用することができる。

図９は、学習部が学習する行程において、学習結果の計測方法を示す数式および図である。
図９に示すように、学習により出力される画像をＸ、手動でマスキングした画像をＹとすると、ＤＩＣＥ係数を用いると図９のようなＤＩＣＥ係数ＤＳＣで表される。

ＤＩＣＥ係数は、２つの集合の平均要素数と共通要素数の割合を示すものであり、計算結果は０から１の間の値となる。ＤＩＣＥ係数、つまりＸとＹとが重なる斜線で示された部分が１に近づくほど２つの集合の類似度は高いと判断される。

図１０は、学習部が学習した結果を、ＤＩＣＥ係数を用いて表したグラフである。
図１０に示すように、学習部１１３は、Ｕ−ｎｅｔを用いて学習させたところ、ＤＩＣＥ係数ＤＳＣは、０．８９８４となり、９０％近い一致率を示している。この結果から、学習部１１３の学習により、マスク処理部１１０は乳腺組織が存在する評価範囲と他の組織との境界を自動で識別することができることがわかる。

図１１は、マスク処理部が処理するマスク処理を示す図である。
図１１に示すように、マスク処理部１１０は、図１１（Ａ）、（Ｂ）、（Ｃ）のようにマスク処理を行う。

図１１（Ａ）は、医療映像装置２００により入力されるマンモグラフィ画像である。
図１１（Ｂ）は、マスク処理部１１０に入力されたマンモグラフィ画像を、学習部１１３が学習した乳腺組織が存在する評価範囲と他の組織との境界を識別する境界識別情報により、境界決定部１１１が処理した評価対象となる乳腺組織が存在する範囲のみを囲んだマスキング画像である。

図１１（Ｃ）は、画像処理部１１２が処理した結果の画像を示している。図１１（Ａ）
のマンモグラフィ画像と、図１１（Ｂ）のマスキング画像とから、マスク処理を行い、図１１（Ｃ）のような筋肉や皮膚、乳頭などを除外し、評価対象となる乳腺組織が存在する評価範囲のみを抽出した画像が描画される。

図１２は、基準組織輝度算出部が基準組織の輝度を検出する状態を示す図である。
図１２の画像は、マンモグラフィ画像による乳房の上部が描画されている。基準となる脂肪組織は、乳房の上部に多く存在し、本実施の形態では、乳房上部に存在する脂肪組織を基準として輝度を算出する例で示す。

まず、走査情報取得部１２１は、マンモグラフィ画像の一定の位置で走査を開始し、水平方向に移動しながら情報を取得する。走査を開始する位置は、医師が画面を見ながら決定することもでき、また一定の高さで走査を開始することもできる。
走査情報取得部１２１は、水平方向にピクセル単位で移動しながら走査し、背景と皮膚との境界を境界検出部１２２が検出する。

境界検出部１２２によって境界が検出された境界検出点より、乳房側に１０〜１００ピクセル水平に移動した位置で基準組織輝度計測部１２３が脂肪組織の輝度を計測し、更に水平方向に１００ピクセル分の脂肪組織の輝度を基準組織輝度計測部１２３が計測する。

計測された脂肪組織の１００ピクセル分の輝度は、平均値算出部１２４によって平均値が算出され、算出された平均値が基準となる脂肪組織の輝度として情報記憶部１６０に記憶される。

また基準組織輝度計測部１２３による１００ピクセル分の脂肪組織の輝度の計測は、複数回繰り返して計測することもできる。具体的には、１回目の計測および平均値の算出後、乳房の下側に１〜５０ピクセル分下がった位置で、再び境界検出部１２２による背景と皮膚との境界検出、基準組織輝度計測部１２３による乳房側に１０〜１００ピクセル水平に移動した位置での輝度の計測を１００回など複数回繰り返し、その繰り返して算出された平均値をさらに平均して基準となる脂肪組織の輝度として情報記憶部１６０に記憶することもできる。

図１３は、マンモグラフィ画像の一部を拡大して表示した図である。
図１３に示すように、マンモグラフィ画像を拡大すると、コンピュータなどで画像を扱う際に、輝度情報を持つ最小単位であるピクセルの集合体で表示されていることがわかる。

マンモグラフィ画像は、各ピクセルがもつ輝度情報によって表示され、評価範囲輝度算出部１３０の評価範囲走査情報取得部１３１は、この各ピクセルがもつ輝度情報を取得し、評価範囲輝度計測部１３２によって１ピクセルごとの輝度が計測されていく。

図１４は、相対輝度変換処理部が変換する処理を示すイメージ図である。
図１４に示すように、基準組織輝度算出部１２０によって算出された基準となる脂肪組織の輝度を１としたときに、評価範囲輝度算出部１３０が算出した乳腺組織が存在する評価範囲の各部位の輝度の相対値に相対輝度変換処理部１４１が変換する。このように、図１３で算出された評価範囲の輝度は、脂肪組織を基準とした相対値に変換される。

図１５は、相対輝度割合計算部が処理した状態を示すイメージ図である。
図１５に示すように、相対輝度変換処理部１４１が変換した脂肪組織を基準とした相対値に基づいて、相対輝度割合計算部１４２は、輝度の割合を計算および集計を行なう。

相対輝度は値が大きいほど白く描画され、値が小さくなるほど脂肪組織や背景に近い黒色で描画される。
図１５では、相対輝度が０以上１未満であるものが全体の１％、相対輝度が１以上２未満であるものが全体の３８％、相対輝度が３以上４未満であるものが全体の２７％、相対輝度が４以上５未満であるものが全体の１２％、相対輝度が５以上６未満であるものが全体の７％、相対輝度が６以上７未満であるものが全体の５％、相対輝度が７以上８未満であるものが全体の４％、相対輝度が８以上９未満であるものが全体の４％、相対輝度が９以上１０未満であるものが全体の１％、相対輝度が１０以上であるものが全体の０％であることを示している。

状態判断部１５０は、この結果と情報記憶部１６０に記憶された判断基準に基づいて、デンスブレストであるか、またはデンスブレストでないかの判定を行う。
例えば、判断基準を相対輝度３以上のものを白く描画されたものとして「相対輝度３以上の割合が３０％以上の場合はデンスブレスト、相対輝度３以上の割合が３０％未満の場合はデンスブレストではない」という基準に設定した場合、人間が評価した結果と７７％一致する結果が出ている。

なお、図１５で示された結果を上記判断基準に当てはめた場合、相対輝度３以上の合計割合は、２７％＋１２％＋７％＋５％＋４％＋４％＋１％＝６０％なので、相対輝度３以上の割合が３０％以上となりデンスブレストであると判定される。

また、相対輝度割合計算部１４２は、相対輝度割合計算部１４２が処理した相対輝度の割合をヒートマップのように色で視覚化することもできる。具体的な例としては、相対輝度が０以上１未満の部位に対しては白色、相対輝度が１以上２未満の部位に対しては黄色、相対輝度が２以上３未満の部位に対してはピンク、相対輝度が３以上４未満の部位に対してはオレンジ、相対輝度が４以上の部位に対しては赤として、マスク処理前または処理後のマンモグラフィ画像などに対して反映させるようにしてもよい。

上記のように、相対輝度割合計算部１４２が処理した相対輝度の割合を色で視覚化することで、医師は数値からだけでなく視覚化された情報から、デンスブレストを評価することができる。

〔第２の実施の形態〕
次に、本発明の第２の実施の形態について説明する。本実施の形態の映像処理装置は、基準組織輝度算出部の構造および算出方法が異なる以外は、第１の実施の形態で示した構成とほぼ同様である。このため、上記第１の実施の形態とほぼ同様の構成部分については同一の符号を付すなどして適宜その説明を省略する。

図１６は、第２の実施の形態に係る映像処理装置における基準組織輝度算出部の詳細を示すブロック図である。
図１６に示すように、基準組織輝度算出部１２０は、走査情報取得部１２１、境界検出部１２２、基準組織輝度計測部１２３、平均値算出部１２４、輝度計測部１２５、移動平均算出部１２６、および移動平均傾き算出部１２７を備えている。

走査情報取得部１２１は、マスク処理部１１０、輝度計測部１２５および情報記憶部１６０に接続されており、医療映像装置２００から入力されたマンモグラフィ画像上を走査して、画像上の情報を取得するためのものである。

走査情報取得部１２１は図示しない入力手段によって、入力されたマスク処理前のマンモグラフィ画像上の位置情報により、任意の位置や任意の範囲でマスク処理前のマンモグラフィ画像上の情報を得ることができる。

また、走査情報取得部１２１が走査する単位は任意で設定できるものとし、例えばマスク処理前のマンモグラフィ画像上をピクセル単位で走査することもでき、また１ｍｍ×１ｍｍなどの任意の大きさの枠を走査させながらマスク処理前のマンモグラフィ画像上の情報を得ることもできる。なお本実施の形態は、走査情報取得部１２１がピクセル単位で走査するものとして説明する。
走査情報取得部１２１が、走査しながら得たマスク処理前のマンモグラフィ画像上の情報は、輝度計測部１２５に送信される。

輝度計測部１２５は、走査情報取得部１２１、移動平均算出部１２６、および情報記憶部１６０に接続されており、走査情報取得部１２１から受信したマスク処理前のマンモグラフィ画像上の情報から輝度を計測するためのものである。

輝度計測部１２５が計測した輝度情報は情報記憶部１６０に記憶される。また、輝度計測部１２５の処理が完了すると、輝度計測部１２５は、接続された移動平均算出部１２６に処理が完了したことを通知する。

移動平均算出部１２６は、輝度計測部１２５、移動平均傾き算出部１２７、および情報記憶部１６０に接続されており、輝度計測部１２５が計測した輝度から、走査情報取得部１２１が移動しながら取得する情報の一定区間ごとの平均値を、区間をずらしながら求める移動平均情報を算出するためのものである。

これにより、走査情報取得部１２１および輝度計測部１２５により得られる情報をグラフ化した際の輝度を表すなめらかな曲線グラフを描画することができる。移動平均算出部１２６が算出した移動平均情報は情報記憶部１６０に記憶される。また、移動平均算出部１２６の処理が完了すると、移動平均算出部１２６は、接続された移動平均傾き算出部１２７に処理が完了したことを通知する。

移動平均傾き算出部１２７は、移動平均算出部１２６、境界検出部１２２、および情報記憶部１６０に接続されており、移動平均算出部１２６が算出した移動平均情報から、移動平均線の変化の割合である傾きを算出するためのものである。

具体的には、移動平均算出部１２６によって算出されたマンモグラフィ画像の一定の位置の輝度情報による移動平均情報を微分することで、移動平均線の変化の割合を移動平均傾き算出部１２７が算出することができる。

移動平均傾き算出部１２７が算出した移動平均線の傾き情報は情報記憶部１６０に記憶される。また、移動平均傾き算出部１２７の処理が完了すると、移動平均傾き算出部１２７は、接続された境界検出部１２２に処理が完了したことを通知する。

境界検出部１２２は、移動平均傾き算出部１２７、基準組織輝度計測部１２３、および情報記憶部１６０に接続されており、移動平均傾き算出部１２７が算出した移動平均線の傾き情報、および輝度計測部１２５が算出した輝度情報から組織の境界を検出するためのものである。

具体的には、マンモグラフィ検診で撮影される胸部は、身体の内側から大胸筋、脂肪組織、および皮膚組織の順番に重なっている。大胸筋はエックス線を吸収するため白く描画されるのに対して、脂肪組織はエックス線を透過するため黒く描画される。

この大胸筋、脂肪組織、および皮膚組織が順番に重なる位置を、走査情報取得部１２１で走査し、輝度計測部１２５で輝度を計測し、移動平均算出部１２６で輝度の移動平均を算出し、移動平均傾き算出部１２７が移動平均線の傾きを算出することで、輝度の変化の割合を得ることができる。この変化の割合の差から、大胸筋、脂肪組織、および皮膚組織との境界を得ることができる。

さらに具体的には、移動平均傾き算出部１２７が算出した移動平均線の傾き情報で、マンモグラフィ画像の身体側から計測した傾きのうち最初に傾きが０以上になったところを、大胸筋と脂肪組織の境界であると境界検出部１２２が検出する。

また第１の実施の形態のように、輝度計測部１２５が算出した輝度をグラフ化した線で、マンモグラフィ画像の身体側から計測して輝度が０になった地点が皮膚組織と、背景との境界であると境界検出部１２２が検出する。これにより、大胸筋と皮膚組織とに挟まれた基準となる脂肪組織の部位を特定することができる。境界検出部１２２は、大胸筋と脂肪組織との境界、および皮膚組織と背景との境界を検出すると、その位置情報を基準組織輝度計測部１２３に送信する。

基準組織輝度計測部１２３は、境界検出部１２２、平均値算出部１２４、および情報記憶部１６０に接続されており、境界検出部１２２が検知した大胸筋と脂肪組織との境界、および皮膚組織と背景との境界情報から、脂肪組織の輝度を算出するためのものである。

基準組織輝度計測部１２３が計測した輝度情報は情報記憶部１６０に記憶させる。また、基準組織輝度計測部１２３の処理が完了すると、基準組織輝度計測部１２３は、接続された平均値算出部１２４に処理が完了したことを通知する。

平均値算出部１２４は、基準組織輝度計測部１２３、情報記憶部１６０、および評価範囲輝度算出部１３０に接続されており、情報記憶部１６０に記憶された基準組織輝度計測部１２３の処理による脂肪組織の輝度に基づいて、脂肪組織の輝度の平均値を算出するためのものである。

平均値算出部１２４は、基準組織輝度計測部１２３の処理が完了した通知を受けると、情報記憶部１６０に記憶された特定範囲における脂肪組織の輝度、具体的には、大胸筋と脂肪組織との境界、および皮膚組織と背景との境界に挟まれた脂肪組織の輝度を情報記憶部１６０から呼び出し、これらの輝度から平均値を算出し、算出した脂肪組織の輝度の平均値を情報記憶部１６０に記憶させる。また、平均値算出部１２４の処理が完了すると、平均値算出部１２４は、接続された評価範囲輝度算出部１３０に処理が完了したことを通知する。

このように、基準組織輝度算出部１２０は、基準となる脂肪組織が多く存在する任意の位置で脂肪組織の輝度を計測し、その平均値を基準とするので、場所によって輝度にムラがあっても、その平均値を基準とすることができる。

また、走査情報取得部１２１、境界検出部１２２、基準組織輝度計測部１２３、平均値算出部１２４、輝度計測部１２５、移動平均算出部１２６、および移動平均傾き算出部１２７の処理は、必要に応じて走査情報取得部１２１が走査する位置を変えながら繰り返して処理することもできる。

具体的には、１回目の計測および平均値の算出後、走査情報取得部１２１が乳房の下側に１〜５０ピクセル程度ピクセル分下がった位置で、再び輝度計測部１２５、移動平均算出部１２６、移動平均傾き算出部１２７、および境界検出部１２２による大胸筋と脂肪組織との境界、および皮膚組織と背景との境界を検出し、境界と境界との間に挟まれた脂肪組織の輝度を基準組織輝度計測部１２３が計測し、平均値算出部１２４がその輝度の平均値を算出する処理を１００回など複数回繰り返し、その繰り返して算出された平均値をさらに平均して基準となる脂肪組織の輝度として情報記憶部１６０に記憶することもできる。

図１７は、走査情報取得部が走査する位置を示すマンモグラフィ画像である。
図１７に示すように、マンモグラフィ検診で撮影されるマンモグラフィ画像は、身体の内側から大胸筋、脂肪組織、および皮膚組織の順番に重なって描画される。

基準組織輝度算出部１２０は、このように大胸筋、脂肪組織、および皮膚組織が重なった部位を走査して輝度を算出することで、大胸筋と脂肪組織との境界、および皮膚組織と背景との境界を検出し、境界と境界との間に挟まれた基準となる脂肪組織の部位を特定することができる。

図１８は、輝度計測部が計測した輝度を可視化したグラフおよび移動平均算出部が算出した移動平均情報を可視化した移動平均線を示す図である。
図１８に示すように、輝度計測部１２５が計測した輝度は、図１８の実線で表示されており、大胸筋側から高い輝度で表され、輝度が低下するに伴って脂肪組織になり、やがて脂肪組織から輝度が０となる背景になる。

移動平均算出部１２６が算出した移動平均情報による移動平均線は、図１８の点線で表示されており、なめらかな曲線で表され、基準組織輝度計測部１２３が計測した輝度と同様に、大胸筋側から高い輝度で表され、輝度が低下するに伴って脂肪組織になり、やがて脂肪組織から輝度が０となる背景になる。

図１９は、移動平均傾き算出部が算出した移動平均線の傾き情報をグラフ化した図である。
図１９に示すように、移動平均傾き算出部１２７が算出した移動平均線の傾き情報は、図１９の実線で表示されており、大胸筋側付近では、傾きが激しく変化し、脂肪組織付近では傾きが０付近で変化し、やがて背景に移ると一定の値０に収束される。

境界検出部１２２は、移動平均線を微分した傾き情報のうち、大胸筋側から計測して最初に０以上になったところを大胸筋と脂肪組織との境界であると判定する。
なお、第１の実施の形態、および第２の実施の形態では、本発明の映像処理装置１００がマンモグラフィ画像から脂肪組織を基準として乳腺組織が存在する評価範囲の輝度の割合を測定したが、基準とする細胞や評価対象である組織を変更することで様々な身体の状態を数値化することができる。

例えば、脂肪肝の検査の場合においては、肝臓付近の輝度があまり変化しない例えば腎臓の輝度を基準となる細胞として計測し、マスキング処理した肝臓全体の脂肪の割合を算出することで、見た目ではあいまいな判定であった脂肪肝の評価を客観的に評価することができるようになる。

他にも、メタボリックシンドロームの診断や、脳細胞における脳梗塞の進行度など、基準となる組織を基準組織輝度算出部１２０が特定して輝度を算出し、マスク処理部１１０によってマスク処理された評価対象である組織の輝度とを相対的に比較することで、あいまいであった評価を客観的に数値化して評価することができる。

また、本実施の形態では、マンモグラフィ検診によるマンモグラフィ画像を医療映像として本発明の映像処理装置１００が処理を行なったが、医療映像はマンモグラフィ画像だけに留まらず、エックス線や超音波、磁気共鳴などを用いて映像化したものや、内視鏡検査や眼底カメラなどの可視光線のもとで撮影された検査画像を処理することもできる。

１００ 映像処理装置
１１０ マスク処理部
１１１ 境界決定部
１１２ 画像処理部
１１３ 学習部
１１４ 学習情報入力手段
１２０ 基準組織輝度算出部
１２１ 走査情報取得部
１２２ 境界検出部
１２３ 基準組織輝度計測部
１２４ 平均値算出部
１２５ 輝度計測部
１２６ 移動平均算出部
１２７ 移動平均傾き算出部
１３０ 評価範囲輝度算出部
１３１ 評価範囲走査情報取得部
１３２ 評価範囲輝度計測部
１４０ 基準輝度割合算出部
１４１ 相対輝度変換処理部
１４２ 相対輝度割合計算部
１５０ 状態判断部
１６０ 情報記憶部
１６１ マスク処理前画像記憶部
１６２ マスク処理後画像記憶部
１６３ 基準組織輝度記憶部
１６４ 評価範囲輝度記憶部
１６５ 相対輝度割合記憶部
１６６ 判断基準記憶部
１６７ 境界識別情報記憶部
２００ 医療映像装置
３００ 表示手段

Claims (15)

1. 入力された医療映像内で、状態を評価する組織の評価範囲における構成割合を算出する映像処理装置において、
   構成割合を算出するために基準とする基準組織の輝度である基準組織輝度を算出する基準組織輝度算出手段と、
   前記評価範囲の輝度である評価範囲輝度を算出する評価範囲輝度算出手段と、
   前記基準範囲輝度に対して、前記評価組織輝度の割合を算出する基準輝度割合算出手段と、
   を備えることを特徴とする映像処理装置。
2. 前記基準輝度割合算出手段は、
   前記基準組織輝度を基準とする前記評価範囲輝度の相対値である相対輝度に変換する相対輝度変換手段と、
   前記相対輝度の割合を算出する相対輝度割合算出手段と、
   を備えることを特徴とする請求項１記載の映像処理装置。
3. 前記相対輝度割合算出手段は、
   前記相対輝度の割合を色で視覚化すること、
   を特徴とする請求項２記載の映像処理装置。
4. 前記基準組織輝度算出手段は、
   前記評価範囲の内部と、前記評価範囲の外部との境界を検出する評価範囲境界検出手段と、
   前記評価範囲の内側、かつ前記境界から所定範囲部位の輝度を算出する所定範囲輝度算出手段と、
   前記所定範囲輝度算出手段が算出した所定範囲部位の輝度の平均値を算出する所定範囲部位輝度平均値算出手段と、
   を備えることを特徴とする請求項１記載の映像処理装置。
5. 前記基準組織は、乳房における脂肪組織であり、前記評価対象組織は、乳房における乳腺組織であって、
   前記所定範囲輝度算出手段は、
   乳房の上部、かつ皮膚の内側にみられる脂肪組織の輝度を算出すること、
   を特徴とする請求項４記載の映像処理装置。
6. 前記基準組織輝度算出手段は、
   前記医療映像のうち前記評価範囲を含む一定の高さで各部位の直線上の輝度を算出する直線輝度算出手段と、
   前記直線輝度算出手段が算出した各部位の輝度から、輝度の移動平均を算出する移動平均算出手段と、
   前記移動平均を可視化したときの移動平均線の傾きを算出する移動平均傾き算出手段と、
   前記移動平均線の傾きから、前記基準組織の境界を検出する基準組織境界検出手段と、
   前記基準組織の境界から所定範囲部位の輝度を算出する所定範囲輝度算出手段と、
   前記所定範囲輝度算出手段が算出した所定範囲部位の輝度の平均値を算出する所定範囲部位輝度平均値算出手段と、
   を備えることを特徴とする請求項１記載の映像処理装置。
7. 前記基準組織は、乳房における脂肪組織であり、前記評価対象組織は、乳房における乳腺組織であって、
   直線輝度算出手段は、前記乳房のうち、大胸筋、脂肪組織、および皮膚組織が重なっている一定の高さで輝度を算出し、
   前記基準組織境界検出手段は、大胸筋と脂肪組織との境界、および皮膚組織と前記医療映像の背景との境界を検出すること、
   を特徴とする請求項６記載の映像処理装置。
8. 前記基準組織境界検出手段は、
   前記大胸筋側からみた前記移動平均傾きで最初に０以上になったときを、大胸筋と脂肪組織との境界として検出すること、
   を特徴とする請求項７記載の映像処理装置。
9. 前記評価範囲以外を除外するマスク処理を施すマスク処理部、
   を備えることを特徴とする請求項１記載の映像処理装置。
10. 前記マスク処理部は、
    入力された学習用映像に基づいてマスク処理を施す範囲を学習する学習部と
    前記学習部が学習した情報に基づいて範囲を判断する範囲判断部と、
    を備えることを特徴とする請求項９記載の映像処理装置。
11. 前記学習部は、
    ニューラルネットワークを用いたディープラーニングによって、学習用の医療映像から一定の範囲のみを識別する識別処理を学習する、
    ことを特徴とする請求項１０記載の映像処理装置。
12. 前記識別処理は、
    Ｕ−ｎｅｔ構造のモデルを用いた画像領域抽出処理、
    であることを特徴とする請求項１１記載の映像処理装置。
13. 前記輝度割合算出手段が算出した輝度の割合に基づいて、対象組織の状態を判断する状態判断部、
    を備えることを特徴とする請求項１記載の映像処理装置。
14. 入力された医療映像内で、状態を評価する組織の評価範囲における構成割合を算出する映像処理方法において、
    基準組織輝度算出手段が、構成割合を算出するために基準とする基準組織の輝度である基準組織輝度を算出するステップと、
    評価範囲輝度算出手段が、前記評価範囲の輝度である評価範囲輝度を算出するステップと、
    基準輝度割合算出手段が、前記基準範囲輝度に対して、前記評価組織輝度の割合を算出するステップと、
    を備えることを特徴とする映像処理方法。
15. 入力された医療映像内で、状態を評価する組織の評価範囲における構成割合を算出する映像処理プログラムにおいて、
    コンピュータを、
    構成割合を算出するために基準とする基準組織の輝度である基準組織輝度を算出する基準組織輝度算出手段、
    前記評価範囲の輝度である評価範囲輝度を算出する評価範囲輝度算出手段、
    前記基準範囲輝度に対して、前記評価組織輝度の割合を算出する基準輝度割合算出手段、
    として機能させることを特徴とする映像処理プログラム。