JP2017153047A - 表示装置及びその制御方法 - Google Patents

Abstract

【課題】カラーチャートに基づく色補正が正しく行われていない状態になったことをユーザが認識し易く、かつカラーチャートを表示し続ける必要がない表示装置を提供する。【解決手段】時系列に入力される画像の所定の基準画像において追跡対象の画像の設定を受け付ける入力手段と、前記基準画像における前記追跡対象の画像の特徴量を基準値として取得する取得手段と、前記基準画像の後に入力される画像における前記追跡対象の画像を検出する検出手段と、前記検出された追跡対象の画像の特徴量と前記基準値との差異に基づき、前記基準画像とその後に入力される画像との差異に関する情報を通知する通知手段と、を備える表示装置。【選択図】図２

Description

本発明は、表示装置及びその制御方法に関するものである。

昨今の医療業界では、画像データを含む患者情報の伝送に基づいて、遠隔地から診断、指示等の医療行為やこれに関連した行為を行う遠隔医療が普及しつつある。遠隔医療では、例えば皮膚病変の診断を行う場合等、炎症性疾患等の被写体の微妙な色を正確に表示装置で再現することが求められている。そのために、事前に被写体とともに色の基準として用いるカラーチャートを撮影し、撮影した静止画像を用いて表示装置の色合わせを行うカラーマネジメント技術がある。一方、被写体を撮影する照明環境が常に一定であるとは限らないため、照明環境が変化するたびにカラーチャートと被写体をともに撮影し動画配信するカラーマネジメント技術がある。

特許文献１には、基準の色で構成された色票とともに被写体を撮影し、撮影した画像データから色票部分のデータを抽出し、色票部分の画素値と目標値に基づく補正特性によって画像データを補正する技術が開示されている。特許文献２には、一様な色を背景として基準の色で構成された色票を被写体とともに撮影し、色票部分のデータが所定の領域内に存在するか否かを検知し、存在しない場合に警告を発生する技術が開示されている。

特開平５−１０３３３６号公報 特開平７−２７４１９４号公報

上記の先行技術では、カラーチャートを被写体（遠隔医療に用いるならば、患部）付近へ常に表示し続ける必要があり、診断を行う医師の視野にカラーチャートが入ってしまう。そのため、微妙な色を判定する状況においては診断を行う医師の目にとって見え方に影響が生じる可能性があった。これに対し、診断中はカラーチャートを撮影対象から外す対策が考えられるが、そうすると撮影側の照明環境に変化が生じ、色が変わってしまった場合に、医師は色補正が正しく行われていないことに気付けない可能性があった。

そこで、本発明は、カラーチャートに基づく色補正が正しく行われていない状態になったことをユーザが認識し易く、かつカラーチャートを表示し続ける必要がない表示装置を提供することを目的とする。

本発明は、時系列に入力される画像の所定の基準画像において追跡対象の画像の設定を受け付ける入力手段と、
前記基準画像における前記追跡対象の画像の特徴量を基準値として取得する取得手段と、
前記基準画像の後に入力される画像における前記追跡対象の画像を検出する検出手段と、
前記検出された追跡対象の画像の特徴量と前記基準値との差異に基づき、前記基準画像とその後に入力される画像との差異に関する情報を通知する通知手段と、
を備える表示装置である。

本発明は、時系列に入力される画像の所定の基準画像において追跡対象の画像の設定を受け付ける入力工程と、
前記基準画像における前記追跡対象の画像の特徴量を基準値として取得する取得工程と、
前記基準画像の後に入力される画像における前記追跡対象の画像を検出する検出工程と、
前記検出された追跡対象の画像の特徴量と前記基準値との差異に基づき、前記基準画像とその後に入力される画像との差異に関する情報を通知する通知工程と、
を有する表示装置の制御方法である。

本発明によれば、カラーチャートに基づく色補正が正しく行われていない状態になったことをユーザが認識し易く、かつカラーチャートを表示し続ける必要がない表示装置を提供することができる。

実施例１のシステム構成図 実施例１の機能構成を示す図 実施例１の設定部１００の処理を示すフローチャート 実施例１の追跡対象画像設定時に用いる画像の例 実施例１のカラーチャート６０の例 実施例１の追跡対象画像設定時の操作例 実施例１の基準値情報の例 実施例１の判定部２００の処理を示すフローチャート 実施例１の通知部３００の処理を示すフローチャート 実施例１の警告通知画面の例 実施例２の判定部２００の処理を示すフローチャート 実施例３の機能構成を示す図 実施例３の判定部２００の処理を示すフローチャート 実施例３の算出部５００の処理を示すフローチャート 実施例３の基準値情報の例 実施例３の拡大時の画像及びトリミングした画像例 実施例３の警告通知画面の例 実施例４の機能構成を示す図 実施例４の色差閾値情報の例 実施例４の判定部２００の処理を示すフローチャート

（実施例１）
本発明の実施例１について説明する。
図１は、本発明の実施例１の医用画像表示システムの構成図である。このシステムは、撮影装置１０、ネットワーク２０、医用画像表示用モニタ３０（以下、モニタ３０）で構成される。
撮影装置１０は、地方等の病院に設置されるビデオカメラ等を示し、診断対象の患者の腕４０にある患部４１を撮影する。撮影装置１０は、撮影した画像データを、ネットワーク２０を介して接続されるモニタ３０へ配信する。
ネットワーク２０は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）
、ＭＡＮ（Metropolitan Area Network）等を示し、有線又は無線による通信が可能であ
る。撮影装置１０及びモニタ３０はネットワーク２０を介して通信する。
モニタ３０は、ネットワーク２０を介して撮影装置１０より受信する画像データを表示する表示装置である。モニタ３０は、撮影装置１０から動画像データとして時系列に入力される画像データに基づく画像を表示する。モニタ３０は、診断開始前に患部とともに色基準となるカラーチャート（色票）を撮影した基準画像を用いて撮影装置１０の撮影条件に合わせた色補正を行う。モニタ３０は、色補正が正しく行われているか否かを、基準画像においてユーザにより設定された追跡対象の画像の特徴量に基づき判定し、色補正が正しく行われていないと判定した場合にユーザに警告を通知する。

モニタ３０内の構成について説明する。モニタ３０は、通信部３１、表示制御部３２、制御部３３、記憶部３４及び操作部３５を有し、これらはバス３６を介して相互に通信可能である。
通信部３１は、ネットワーク２０を介して撮影装置１０から画像データを受信する。通信部３１は、受信した画像データを表示制御部３２へ出力する。
表示制御部３２は、制御部３３より取得する色補正が行われた画像データを表示パネルへ出力する。表示パネルは、液晶パネルや有機ＥＬ（Electro-Luminescence）パネル等であり、特に限定されない。また、表示制御部３２は、制御部３３より取得する警告通知用の画面データ（ＧＵＩ（Graphical User Interface）を構成する画像データ）を画像データに合成し、表示パネルへ出力する。警告通知用の画面データの詳細については、後述する。

制御部３３は、モニタ３０のバス３６を介して各機能部の制御を行うＣＰＵ（Central Processing Unit）である。制御部３３は、通信部３１より取得する画像データをモニタ
３０の内部処理に適した形式の画像データに変換し、この画像データに対し色補正を行い、補正後の画像データを表示制御部３２へ出力する。また、制御部３３は、通信部３１より取得する、診断開始前に被写体（患部）とともに撮影したカラーチャート（色票）の画像を含む画像（基準画像）に基づき、時系列に入力される画像における追跡対象画像を設定するユーザの入力を受け付ける。

制御部３３は、設定した追跡対象画像の位置情報と、追跡対象画像の特徴量の情報と、追跡対象画像の設定時に用いた基準画像の画像データとを関連付けた情報（以下、基準値情報）を記憶部３４へ記憶する。ここで、追跡対象画像は、時系列に入力される画像において、その移動先を追跡する対象の画像であり、横Ｍ画素×縦Ｎ画素の画像である（Ｍ，Ｎは１以上の整数）。

追跡対象画像の位置情報は、追跡対象画像を設定するためにユーザが基準画像内でマウス等により指定した点の座標で表される。座標の原点（Ｘ，Ｙ）＝（０，０）は、画像の最も左上の画素とする。追跡対象画像の大きさが横１画素×縦１画素の場合、追跡対象画像の設定は、基準画像内の１点を指定することで行うことができる。この場合、例えばマウスで所望の点をクリックすることで追跡対象画像の位置を指定できる。追跡対象画像の大きさが１画素より大きい領域である場合、追跡対象画像の指定は、基準画像内の領域を指定する操作により行うことができる。この場合、例えばマウスでドラッグにより矩形を描く操作や、矩形を特定する複数の点をクリックにより指定する操作等により、追跡対象画像を設定できる。

追跡対象画像の特徴量の情報は、例えば、追跡対象画像の色、明るさ、大きさ等である。ここでは、追跡対象画像の特徴量は色であるとし、その情報は追跡対象画像を構成する画素の画素値（Ｒ，Ｇ，Ｂ）値で表す。特徴量として用いる値や、特徴量の表し方はこの例に限られない。制御部３３は、基準画像における追跡対象画像の特徴量の値をその特徴量の基準値として記憶部３４に記憶する。

制御部３３は、通信部３１よりフレーム単位で取得する画像データ（基準画像の画像データの後に入力される画像。基準値情報が設定され、診断開始後に入力される画像。以下、診断画像という）における追跡対象画像を検出する。制御部３３は、検出した追跡対象画像の特徴量（ここでは色）と、記憶部３４で記憶する基準画像の特徴量（基準値）との差異（色差）に基づき、基準画像と診断画像との差異に関する情報を通知する。実施例１では、制御部３３は、基準画像における追跡対象画像の色と診断画像において検出された追跡対象画像の色との差異（色差）が予め設定される閾値以上かを判定する。色差が予め設定される閾値以上の場合、制御部３３は、基準画像と診断画像との差異に関する情報を通知する通知用画面データを生成し、表示制御部３２へ出力する。基準画像と診断画像との差異に関する情報とは、実施例１では、撮影装置１０による撮影条件の変化に関する情報であり、基準画像と診断画像との追跡対象画像の色差が閾値以上の場合。撮影条件が変化したと判定する。詳細については、後述する。

記憶部３４は、不揮発メモリやＲＡＭで構成され、不揮発メモリにはプログラムが予め記憶され、実行時にはプログラムがＲＡＭへ展開され、制御部３３により実行されることで、以下で説明する種々の処理が実行される。また、記憶部３４には基準値情報が記憶される。
操作部３５は、モニタ３０に接続されるマウスやキーボード等であり、ユーザによる指示の入力が行われる。操作部３５に入力された情報は制御部３３へ出力される。
バス３６は、モニタ３０内の各機能部と接続され各機能部間を相互通信可能とする。

図２は、実施例１の制御部３３と記憶部３４の機能構成を示す図である。
補正部９０は、通信部３１より取得する画像データをモニタ３０の内部処理に適した画像データに変換し、画像データについて色補正を行い、補正後の画像データを表示制御部３２と判定部２００へ出力する。補正部９０は、診断開始前に患部とともに色基準となるカラーチャートを撮影した基準画像を用いて、撮影装置１０の撮影条件（照明等の環境条件）に応じた色補正を行う。この際に用いる色補正技術としては、公知の技術（例えば特許文献１を参照）を用いることができる。具体的には、補正部９０は、エッジ抽出等を用いて基準画像内の色票部分を検出し、色票部分の色が目的の色となるような色調整を行うための変換テーブルを作成する。補正部９０は、診断開始前に、変換テーブルを作成する処理を行い、診断中に通信部３１より受信する診断画像に対し、この変換テーブルを用いて色補正を行う。

診断開始とは、例えば、モニタ３０に表示される画像診断ソフトウェアにおいて診断開始の指示を入力することであり、診断開始前とは、診断開始の指示を入力する前の診断の準備設定を行う段階である。そのような準備設定の段階において、例えば、撮影装置１０から時系列に入力される動画像データに対し、ユーザは任意のタイミングで基準画像とするためのフレームを指定し、追跡対象画像を指定する操作を行うことができる。また、撮影装置１０から、時系列に入力される動画像データとは別に、基準画像とするための静止画像データが入力され、その静止画像データを用いて追跡対象画像を指定する操作を行う構成でも良い。診断中とは、基準画像に対し追跡対象画像を設定した後に時系列に入力される診断画像を用いてユーザが画像診断を行っている状態である。診断中に入力される動画像データの各フレームの画像に対しては、基準画像に基づき設定された変換テーブルを用いた色補正が行われる。

設定部１００は、補正部９０より取得する診断開始前に患部とともにカラーチャートを撮影した基準画像の画像データと操作部３５からの入力情報に基づき、追跡対象画像を設定する。設定部１００は、追跡対象画像の位置情報、画素値、追跡対象画像の設定時の画像データ（基準画像の画像データ）を基準値情報として記憶部３４内の第１記憶部４００へ記憶する。設定部１００の処理詳細については、後述する。

判定部２００は、補正部９０から入力される色補正後の診断画像に対し、ユーザ設定された追跡対象画像を検出する処理（トラッキング）を行う。トラッキング技術としては、公知の技術（例えば特開２０００−１３２６９１号公報を参照）を用いることができる。具体的には、判定部２００は、基準値情報における追跡対象画像の位置情報と、基準画像の画像データとに基づき、基準画像における追跡対象画像の周囲の所定範囲の画像と診断画像との相関を計算する。ここで、追跡対象画像の周囲の所定範囲とは、例えば追跡対象画像を中心とする上下左右１０画素の範囲であり、追跡対象画像が横１画素×縦１画素の場合横２１画素×縦２１画素の領域である。

判定部２００は、基準画像における追跡対象画像の周囲の所定範囲の画像と診断画像との２つの画像間の非類似度（相関値）が最も低い位置に追跡対象画像が移動したと推定する（ブロックマッチング）。判定部２００は、基準画像における追跡対象画像を複数のブロックに分割し、ブロック毎に、診断画像との間でブロックマッチングを行うことで、基準画像における追跡対象画像が診断画像においてどこに移動したか計算する。予め用意される追跡対象画像に関する移動・変形パラメーターを用いて、各ブロックの位置を更新する処理をすることができる。判定部２００は、これらの処理を繰り返し行うことで、ユーザ設定した追跡対象画像のトラッキングを行う。

判定部２００は、診断画像において検出された追跡対象画像の色情報と第１記憶部４００が記憶する基準値情報における追跡対象画像の色情報との色差を算出し、算出した色差が予め設定する閾値以上かを判定する。判定部２００は、算出した色差が予め設定する閾値以上の場合、通知部３００へ、基準画像と診断画像との差異に関する情報の通知を行う指示を出す。基準画像と診断画像との差異に関する情報は、撮影装置１０による撮影条件の変化に関する情報であり、通知とは、補正部９０による補正が適切でなくなっていることをユーザに警告する通知である。判定部２００の処理の詳細については、後述する。
通知部３００は、判定部２００より通知指示（通知要求）を受信すると、警告通知のための画面データ（ＧＵＩデータ）を作成し、作成した画面データを表示制御部３２へ出力する。通知部３００の処理の詳細については、後述する。

図３は設定部１００の処理を示すフローチャートである。図４（ａ）は、追跡対象画像を設定する基準画像の例を示し、図４（ｂ）は、診断開始後に表示される診断画像の例を示す。図４（ａ）の基準画像５０は、診断開始前に撮影した画像であり、被写体（ここでは、診断対象の患者の腕）４０にある患部４１の画像と、撮影装置１０の撮影条件に合わせてモニタ３０で色補正を行う際に基準となるカラーチャート６０の画像を含む。基準画像５０は、撮影装置１０から送信される動画像において、所望のフレームを、モニタ３０の操作部３５を用いてユーザがキャプチャ操作して得られた静止画像とする。あるいは、基準画像５０は、撮影装置１０から静止画像としてモニタ３０へ送信される構成でも良い。基準画像５０は、記憶部３４に記憶され、追跡対象画像のトラッキングに用いられる。診断開始後は、図４（ｂ）に示すように、カラーチャートが含まれない診断画像５１が撮影装置１０から入力される。カラーチャート６０を患者の腕に直接貼っていた場合は、はがした状態で医師は診断を行う。これにより、医師は、カラーチャートによる見えの影響を受けずに、診断を行うことができる。

図５は、カラーチャート６０の例を示す図である。カラーチャート６０は、基準となる異なる色で塗りつぶした複数の矩形を配列したものである。例えば、矩形６１は青、矩形６２は赤といったように異なる色で塗りつぶされる。カラーチャート６０は、例えばシールとなっており患部付近の患者の身体に直接貼り付けることができ、これにより被写体の患部４１の画像とカラーチャート６０の画像とがともに含まれる基準画像を簡単に撮影できる。カラーチャート６０は、被写体の患部４１と同じ撮影範囲にあれば任意の位置に配
置してもよい。また、カラーチャートは、異なる複数の色から構成されても良いし、単色で構成されてもよい。どのようなカラーチャートを用いるかは画像診断の目的、撮影装置、表示装置の仕様等に応じて適宜定められる。

Ｓ１０１において、設定部１００は、ユーザにより追跡対象画像が指定されたか判定する。ここでは、設定部１００は、図４に示す基準画像においてユーザがマウス等を操作し、追跡対象画像の位置をクリックする操作が行われたかを判定する。ここで、図６に追跡対象画像設定時の画面表示例を示す。まず、設定部１００は、図６（ａ）に示すような、ユーザに追跡対象画像の位置を指定する操作（クリック）を誘導するメッセージ（例えば「追跡したい場所をクリックしてください。」）を、図４に示す基準画像に重畳表示する。ユーザが「ＯＫ」ボタン７０をマウスにてクリックすることで、図６（ｂ）に示すような、追跡対象画像の位置のクリック待ちの状態となる。ユーザがマウス７１にて任意の位置をクリックすると（Ｓ１０１ ｙｅｓ）、Ｓ１０２に進む。

Ｓ１０２において、設定部１００は、Ｓ１０１において追跡対象画像の特徴量を取得する。ここでは、設定部１００は、Ｓ１０１で指定された位置７２の画素値を取得する。ここで、位置７２の画素値は（Ｒ，Ｇ，Ｂ）＝（２５５，２０４，１５３）とする。

Ｓ１０３において、設定部１００は、Ｓ１０１でユーザが設定した追跡対象画像の位置情報と、Ｓ１０２で取得した追跡対象画像の画素値と、追跡対象画像の設定に用いた基準画像の画像データとを関連付けて、基準値情報として第１記憶部４００に記憶する。図７に、基準値情報の例を示す。実施例１では、基準値情報は、追跡対象画像の位置（Ｘ，Ｙ）＝（５００，５００）、追跡対象画像の画素値（Ｒ，Ｇ，Ｂ）＝（２５５，２０４，１５３）、図４に示す追跡対象画像設定時に用いた基準画像のデータであるとする。

図８は、判定部２００の処理を示すフローチャートである。
診断が開始されると、判定部２００は、補正部９０よりフレーム単位で画像データを受信し、このフローチャートの処理を繰り返す（Ｓ２０１）。
Ｓ２０２において、判定部２００は、補正部９０から入力された診断画像における追跡対象画像を検出し、追跡対象画像の画素値を取得する。追跡対象画像をトラッキングする技術は公知の技術を用いることができる。

Ｓ２０３において、判定部２００は、Ｓ２０２において検出した診断画像の追跡対象画像の特徴量（色）と第１記憶部４００が記憶する基準画像の追跡対象画像の特徴量（色）との差異を算出する。ここでは、判定部２００は、診断画像の追跡対象画像の画素値と基準値情報に含まれる基準画像の追跡対象画像の画素値を用いて色差ΔＥを算出する。ΔＥは下記の式（１）で算出される。ここで、基準画像の追跡対象画像の画素値（Ｒ１，Ｇ１，Ｂ１）をＣＩＥＬＡＢ空間値に変換した値を（Ｌ１，ａ１，ｂ１）、診断画像の追跡対象画像の画素値（Ｒ２，Ｇ２，Ｂ２）をＣＩＥＬＡＢ空間値に変換した値を（Ｌ２，ａ２，ｂ２）とする。ΔＬ＝Ｌ１−Ｌ２、Δａ＝ａ１−ａ２、Δｂ＝ｂ１−ｂ２を表す。

実施例１では、基準画像の追跡対象画像の画素値（Ｒ，Ｇ，Ｂ）＝（２５５，２０４，１５３）、診断画像の追跡対象画像の画素値（Ｒ，Ｇ，Ｂ）＝（２５５，２１６，１５６）とすると、ΔＥ≒６．１となる。

Ｓ２０４において、判定部２００は、Ｓ２０３にて算出した色差ΔＥが予め設定した閾値以上であるかを判定する。閾値は、診断に影響を及ぼす程度の色差に基づき定められる。実施例１では、閾値ΔＥｔｈ＝３．０とする。閾値は、モニタ３０に予め設定され記憶されていてもよいし、ユーザ設定を受け付ける構成でもよい。Ｓ２０３において算出した色差が閾値より小さい場合（Ｓ２０４ ｎｏ）、特段の処理は行われない。Ｓ２０３において算出した色差が閾値以上の場合（Ｓ２０４ ｙｅｓ）、Ｓ２０５に進む。

Ｓ２０５において、判定部２００は、通知部３００へ、診断画像の撮影条件が基準画像の撮影条件から変化したことを通知するよう指示する。ここで、Ｓ２０３において算出した色差ΔＥ≒６．１となり、閾値ΔＥｔｈ＝３．０以上であるため、Ｓ２０５へ進む。

図９は、通知部３００の処理を示すフローチャートを示す。
Ｓ３０１において、通知部３００は、判定部２００から、診断画像の撮影条件が基準画像の撮影条件から変化したことを通知する指示を待つ。通知部３００は、判定部２００から指示を受信すると（Ｓ３０１ ｙｅｓ）、Ｓ３０２に進む。
Ｓ３０２において、通知部３００は、通知画面データを作成し、作成した通知画面データを表示制御部３２へ出力する。図１０に通知画面の例を示す。通知画面は、「追跡対象画像の色が変化しました。撮影装置の照明環境を確認してください。」等の警告メッセージから構成される。表示制御部３２は、通知部３００より通知画面データを取得すると、診断画像に通知画面を重畳させた画像データを作成し、表示パネルへ出力する。

実施例１によれば、カラーチャートを常時表示しなくても、撮影条件が大きく変化した場合にはその旨を通知する表示が行われるので、ユーザは色補正が正しくない状態になったことを容易に認識することができる。そのため、診断を行うユーザがカラーチャートによる見えの影響を受けることを抑制できる。また、撮影装置の照明環境の変化等により基準画像を用いて行った色補正が現フレームにおいて正しくなくなった可能性がある場合に、ユーザは容易にそれに気付くことができる。よって、適宜、色補正をやり直したり、撮影条件を元に戻したりすることにより、表示色の正確性を維持することができ、精度良く画像診断を行うことができる。

（実施例２）
本発明の実施例２について説明する。実施例１では、基準値情報として記憶する基準画像の追跡対象画像の色と診断画像の追跡対象画像の色の色差が閾値以上であった場合に通知を行う方法について説明した。実施例２では、この色差が一定時間以上にわたって継続して閾値以上である場合に通知する方法について説明する。説明は実施例１との差異を中心に行う。

実施例１との差は判定部２００の処理にある。実施例２における判定部２００は、基準画像の追跡対象画像の色と診断画像の追跡対象画像の色の色差が閾値以上である状態が所定の基準時間以上にわたって継続した場合、通知部３００へ撮影条件の変化通知を行うよう指示する。

図１１は、実施例２における判定部２００の処理を示すフローチャートである。
Ｓ７０１において、判定部２００は、変数ＮｕｍＯｆＦｒａｍｅへ０を代入しリセットする。変数ＮｕｍＯｆＦｒａｍｅは、基準画像の追跡対象画像の色と診断画像の追跡対象画像の色の色差が閾値以上であるフレーム数をカウントするための変数である。
Ｓ７０２において、判定部２００は、変数ｔｉｍｅへ０を代入しリセットする。変数ｔｉｍｅは、基準画像の追跡対象画像の色と診断画像の追跡対象画像の色の色差が閾値以上である秒数をカウントする変数である。
Ｓ７０３は、図８のＳ２０１と同等であるため、説明は省略する。

Ｓ７０４において、判定部２００は、変数ＮｕｍＯｆＦｒａｍｅをインクリメントする。
Ｓ７０５からＳ７０７は、図８のＳ２０２からＳ２０４処理と同等であるため、説明は省略する。
色差が閾値より小さい場合（Ｓ７０７ ｎｏ）、判定部２００は、変数ＮｕｍＯｆＦｒａｍｅへ０を代入しリセットし（Ｓ７１１）、タイマー変数ｔｉｍｅへ０を代入しリセットし（Ｓ７１２）、Ｓ７１４に進み次フレームについて処理を行う。色差が閾値以上である場合（Ｓ７０７ ｙｅｓ）、Ｓ７０８に進む。

Ｓ７０８において、判定部２００は、変数ＮｕｍＯｆＦｒａｍｅがモニタ３０の１秒あたりのフレーム数（以下、フレームレート）に達したかを判定する。フレームレートは記憶部３４に記憶されているものとする。実施例２では、フレームレートを３０［ｆｐｓ］とする。変数ＮｕｍＯｆＦｒａｍｅがモニタ３０のフレームレートに達していない場合（Ｓ７０８ ｎｏ）、判定部２００は、Ｓ７１４へ進み次フレームについて処理を行う。
変数ＮｕｍＯｆＦｒａｍｅがフレームレートに達した場合（実施例２では３０以上になった場合）（Ｓ７０８ ｙｅｓ）、Ｓ７０９において、判定部２００は、タイマー変数ｔｉｍｅをインクリメントする。

Ｓ７１０において、判定部２００は、タイマー変数ｔｉｍｅが基準時間以上であるかを判定する。ここで、基準時間（Ｎ秒）は、予め設定されたタイマー変数ｔｉｍｅの閾値であり、例えばＮ＝５［秒］とする。タイマー変数ｔｉｍｅは、基準画像の追跡対象画像の色と診断画像の追跡対象画像の色の色差が閾値以上となってからの経過時間を示す。なお、基準時間（Ｎ秒）は予め定められた固定値であっても良いし、ユーザ設定を受け付ける構成としても良い。タイマー変数ｔｉｍｅが基準時間より短い場合（Ｓ７１０ ｎｏ）、判定部２００はＳ７１４へ進み次フレームについて処理を行う。
タイマー変数ｔｉｍｅが基準時間以上の場合（Ｓ７１０ ｙｅｓ）、判定部２００は、通知部３００へ撮影条件の変化通知を行うよう指示する（Ｓ７１３）。

実施例２では、基準画像の追跡対象画像の色と診断画像の追跡対象画像の色の色差が閾値以上である状態が一定時間以上継続した場合に、撮影条件が変化したことを通知する構成とした。これにより、撮影装置の照明環境等が変化してから一定時間以上継続しても元に戻らない場合にのみ、通知が行われるようになり、通知が不必要に頻繁に行われることを抑制できる。

（実施例３）
本発明の実施例３について説明する。実施例１では、基準値情報として記憶する基準画像の追跡対象画像の色と診断画像の追跡対象画像の色の色差が閾値以上であった場合に通知を行う方法について説明した。しかし、撮影されている被写体（患部）の位置は常に固定とは限らず、患者の動き等によって位置が変動することが考えられる。例えば、患部が撮影装置１０に近づいた場合、診断画像における追跡対象画像の大きさが、基準画像における追跡対象画像の大きさから変化する。

図１６の画像例を用いて説明する。図１６（ａ）は診断前に追跡対象画像のユーザ設定を受け付けたときの基準画像の例を示し、矩形８０はユーザが設定した追跡対象画像を示す。その後、診断中に患部が撮影装置１０に近づいた場合、診断画像は図１６（ｂ）のような画像になり、患者の腕８１、追跡対象画像８２ともに、基準画像と比較して大きく拡大されたような表示になる。図１６（ｂ）の例では、診断画像における追跡対象画像は、基準画像における追跡対象画像より拡大しており、より詳細な画像（高解像度の画像）と
なるため、撮影条件が同じでも色が変化してしまうことがある。なお、複数の画素からなる追跡対象画像の色は、例えば複数の画素の画素値の平均値とすることができる。

そこで、実施例３では、基準画像の追跡対象画像の大きさに対する診断画像の追跡対象画像の大きさの比率（拡大率）が所定の閾値以上になった場合に、撮影条件が変化したことを通知する方法について説明する。説明は実施例１との差異を中心に行う。

図１２は、実施例３の制御部３３と記憶部３４の機能構成を示す図である。
補正部９０は、実施例１と同様のため説明は省略する。

設定部１００の機能は、実施例１と同様のため説明は省略する。但し、実施例３では図３のＳ１０３において第１記憶部４００へ記憶する基準値情報には、追跡対象画像のサイズを、追跡対象画像の位置情報及び画素値と関連付けて記憶する。図１５に、実施例３における基準値情報の例を示す。実施例３では、基準値情報は、追跡対象画像の位置（Ｘ，Ｙ）＝（５００，５００）、画素値（Ｒ，Ｇ，Ｂ）＝（２５５，２０４，１５３）、サイズ（幅、高さ）＝（１，１）、基準画像の画像データが関連付けられて記憶される。

判定部２００は、実施例１と同様、診断中に患部を撮影して得られた画像を補正部９０で補正して得られる診断画像をフレーム単位で補正部９０より受信し、ユーザ設定した追跡対象画像をトラッキングする。判定部２００は、算出部５００へ拡大率算出要求を出力する。判定部２００は、診断画像から追跡対象画像をトリミングした画像を算出部５００へ出力する。判定部２００は、算出部５００が算出した拡大率を取得する。判定部２００は、取得した拡大率が予め設定される所定の閾値以上の場合、通知部３００へ撮影条件の変化通知を行うよう指示する。実施例３では、閾値は３倍とする。なお、閾値は予め設定される固定値であっても良いし、ユーザ設定を受け付ける構成としても良い。判定部２００の処理の詳細については、後述する。

通知部３００は、実施例１と同様のため説明は省略する。但し、実施例３での通知メッセージは実施例１と異なるため、後述する。
算出部５００は、判定部２００からの拡大率算出要求と、診断画像からトリミングした追跡対象画像を取得してそのサイズを算出する。算出部５００は、第１記憶部４００に記憶される基準値情報から基準画像における追跡対象画像のサイズの情報に基づき、拡大率を算出する。算出部５００は、算出した拡大率を判定部２００へ出力する。算出部５００の処理の詳細については、後述する。

図１３は、判定部２００の処理を示すフローチャートである。
Ｓ８０１は、図８のＳ２０１と同様のため、説明は省略する。
Ｓ８０２において、判定部２００は、診断画像における追跡対象画像を検出し、診断画像から追跡対象画像をトリミングする。図１７に基準画像の追跡対象画像をトリミングした画像と診断画像の追跡対象画像をトリミングした画像の一例を示す。図１６（ｃ）は、図１６（ａ）の矩形８０の部分をトリミングした画像であり、診断前に基準画像においてユーザが設定した追跡対象画像を示す。ここでは、基準画像の追跡対象画像の大きさは横１画素×縦１画素の計１画素の領域であるとする。図１６（ｄ）は、図１６（ｂ）の矩形８２の部分をトリミングした画像であり、拡大表示される診断画像における追跡対象画像を示す。ここでは、診断画像の追跡対象画像の大きさは横２画素×縦２画素の計４画素の領域であるとする。Ｓ８０２では、判定部２００は、図１６（ｄ）に示す画像をトリミングして算出部５００へ出力する。

Ｓ８０３において、判定部２００は、算出部５００に対し拡大率算出要求を行うとともに、Ｓ８０２においてトリミングした追跡対象画像を算出部５００へ出力する。算出部５
００は、拡大率を算出し、判定部２００へ出力する。判定部２００は、算出部５００から拡大率を取得する。図１７の例では、拡大率は４倍となる。
Ｓ８０４において、判定部２００は、Ｓ８０３において取得した拡大率が閾値以上であるかの判定を行う。Ｓ８０３において取得した拡大率が閾値より小さい場合（Ｓ８０４ ｎｏ）、判定部２００は、特段の処理は行わず、Ｓ８０６へ進み次フレームについて処理を行う。Ｓ８０３において取得した拡大率が閾値以上の場合（Ｓ８０４ ｙｅｓ）、Ｓ８０５において判定部２００は、通知部３００へ撮影条件の変化通知を行うよう指示する。

図１４は、算出部５００の処理を示すフローチャートである。
Ｓ９０１において、算出部５００は、判定部２００からの拡大率算出要求を待つ。判定部２００より拡大率算出要求を取得すると（Ｓ９０１ ｙｅｓ）、算出部５００は、Ｓ９０２に進む。
Ｓ９０２において、算出部５００は、判定部２００より取得した診断画像の追跡対象画像のサイズを算出し、変数ｓｉｚｅ＿ｎへ代入する。図１７の例では、ｓｉｚｅ＿ｎ＝４である。

Ｓ９０３において、算出部５００は、第１記憶部４００に記憶される基準値情報を参照し、診断前にユーザ設定した基準画像における追跡対象画像のサイズを取得し、変数ｓｉｚｅ＿ｍへ代入する。図１７の例では、ｓｉｚｅ＿ｍ＝１である。
Ｓ９０４において、算出部５００は、Ｓ９０２において求めたｓｉｚｅ＿ｎとＳ９０３において求めたｓｉｚｅ＿ｍを用いて、拡大率を算出し、判定部２００へ出力する。ここで、拡大率は、ｓｉｚｅ＿ｎ／ｓｉｚｅ＿ｍで求められ、図１７の例では拡大率は４となる。

図１７に、実施例３での通知画面の例を示す。実施例３では「追跡対象画像の大きさが変化しました。撮影装置の照明環境を確認するか、再度、追跡対象画像点を設定してください。」等のメッセージを含む通知画面が表示される。

実施例２では、撮影装置と患部の位置関係が変わり追跡対象画像の大きさが基準画像の追跡対象画像の大きさに対し閾値以上変わった場合に警告が通知される。そのため、医師は撮影装置と患部との位置関係の変化により色補正が正しく行われていない状態になった場合に、そのことを容易に認識することができる。よって、精度良く画像診断を行うことができる。

（実施例４）
本発明の実施例４について説明する。実施例３では、基準画像の追跡対象画像の大きさに対する診断画像の追跡対象画像の大きさの比率（拡大率）が所定の閾値以上になった場合に、撮影条件が変化したことを通知する方法について説明した。実施例４では、拡大率に応じて定められた色差の閾値を予め記憶しておき、拡大率に応じて閾値を変えて警告通知を行うか否かの判定を行う方法について説明する。説明は実施例３との差異を中心に行う。

図１８は、実施例４の制御部３３と記憶部３４の機能構成を示す図である。
補正部９０と設定部１００は、実施例３と同様のため説明は省略する。
判定部２００は、実施例３の機能に加え、診断画像における追跡対象画像の色と、第１記憶部４００が記憶する基準値情報における基準画像における追跡対象画像の色との色差を算出する。実施例３で説明したように、複数の画素からなる追跡対象画像の色は、当該複数の画素の画素値の平均値とする。判定部２００は、第２記憶部６００から、基準画像における追跡対象画像の大きさと診断画像における追跡対象画像の大きさとの比率（拡大率）に対応づけられた色差の閾値を取得する。判定部２００は、診断画像における追跡対
象画像の色と基準画像における追跡対象画像の色との色差を、第２記憶部６００から取得した拡大率に応じた閾値と比較し、通知部３００へ撮影条件の変化通知を行うか否かを判定する。判定部２００の処理の詳細については、後述する。
通知部３００、第１記憶部４００、算出部５００は、実施例３と同様のため説明は省略する。

第２記憶部６００は、予め拡大率毎に定められた色差の閾値の情報を記憶している。図１９に、第２記憶部６００に記憶されている拡大率に応じた色差の閾値の例を示す。第２記憶部６００に記憶されている情報は、基準画像における追跡対象画像の大きさと診断画像における追跡対象画像の大きさとの比率（拡大率）と、色差の閾値と、の対応関係のテーブルである。図１９の例では、拡大率＝１倍の場合は色差の閾値ΔＥｔｈ＝３．０、拡大率＝２倍の場合はΔＥｔｈ＝３．５、拡大率＝３倍の場合はΔＥｔｈ＝４．０、拡大率＝４倍の場合はΔＥｔｈ＝４．５、のように定められている。図１９には図示しない拡大率に対応する閾値も記憶されているものとする。なお、拡大率に応じた色差の閾値は、予め定められた固定値であっても良いし、ユーザ設定の入力を受け付ける構成としても良い。また、テーブルに存在しない拡大率に対しては、補間計算によって算出した閾値を用いることができる。

図２０は、判定部２００の処理を示すフローチャートである。
Ｓ１００１からＳ１００２は、図１３のＳ８０１からＳ８０２と同様のため、説明は省略する。
Ｓ１００３において、判定部２００は、診断画像の追跡対象画像の色と、第１記憶部４００が記憶する基準値情報における追跡対象画像の色の色差を算出する。ここでは、診断画像における追跡対象画像は４画素で構成されるとする（図１６（ｄ）参照）。画素値は、左上画素値（Ｒ，Ｇ，Ｂ）＝（２５５，２１６，１５６）、左下画素値（Ｒ，Ｇ，Ｂ）＝（２５５，２１６，１５６）、右上画素値（Ｒ，Ｇ，Ｂ）＝（２４５，２０５，１５３）、右下画素値（Ｒ，Ｇ，Ｂ）＝（２４７，１９９，１０４）とする。この場合、診断画像における追跡対象画像の色は、各画素の画素値の平均値により（Ｒ，Ｇ，Ｂ）＝（２５１，２０９，１４２）となる。この平均値が診断画像の追跡対象画像の色であり、第１記憶部４００が記憶する基準画像の追跡対象画像の色画素値（Ｒ，Ｇ，Ｂ）＝（２５５，２０４，１５３）との色差はΔＥ≒７．８となる。

Ｓ１００４は、図１３のＳ８０３と同様のため、説明は省略する。ここでは拡大率＝４倍である。
Ｓ１００５において、判定部２００は、第２記憶部６００に記憶される色差の閾値の情報を参照し、Ｓ１００４において算出部５００より取得した拡大率に応じた色差の閾値を取得する。判定部２００は、取得した色差の閾値を変数ｔｈｒｅｓｈｏｌｄに代入する。ここでは、拡大率＝４倍のため、ｔｈｒｅｓｈｏｌｄ＝４．５となる（図１９参照）。

Ｓ１００６において、判定部２００は、Ｓ１００３において算出した診断画像の追跡対象画像の色差が、Ｓ１００５において取得した閾値（ｔｈｒｅｓｈｏｌｄ）以上であるかの判定を行う。色差が閾値より小さい場合（Ｓ１００６ ｎｏ）、判定部２００は、特段の処理は行わず、Ｓ１００８へ進み次フレームの処理を行う。色差が閾値以上の場合（Ｓ１００６ ｙｅｓ）、判定部２００は、Ｓ１００７において通知部３００へ撮影条件の変化通知を行うよう指示する。ここでは、Ｓ１００３において算出した色差は７．８、Ｓ１００５において取得した拡大率に応じた閾値は４．５であるため、Ｓ１００７へ進む。

実施例４によれば、追跡対象画像の拡大率に応じた色差の閾値を用いて撮影条件の変化通知を行うか否かの判定を行う。これにより、被写体と撮影装置との位置関係の変化により診断画像が拡大された場合において警告通知を行うか否かをより適切に判定することが
できる。よって、通知が不必要に頻繁に行われることを抑制できる。

以上の実施例では、ネットワークを介して遠隔地にある撮影装置から画像データを取得するよう構成された表示装置に本発明を適用した例を説明したが、本発明はこれに限らない。例えば、ネットワークを介さず、直接接続された画像出力装置から画像データが入力される表示装置にも本発明は適用し得る。いずれの構成においても、本発明は、時系列に入力される画像データの所定の基準画像（初期画像）において設定された追跡対象の画像の特徴量と、その後に入力される画像データの追跡対象の画像の特徴量との比較に基づき警告通知が行われる。従って、常に、初期画像における撮影条件から変化があったか否かを判定し、その判定結果に基づき警告動作を行うか否かが決定される。時系列に入力される連続的な画像データにおいて、直前に入力された画像データからの撮影条件の変化ではなく、初期画像における撮影条件からの変化に基づく警告が行われる。これにより、初期画像に基づき行われた色補正が適切ではなくなったときにすぐにユーザはそのことに気付くことができるので、特に表示装置を用いた画像診断において診断の精度向上に資する。

また、上記の実施例では、追跡対象の画像の特徴量として色を例に説明をしたが、特徴量はこれに限らない。例えば、明るさ（輝度）やサイズでも良いし、色と明るさの両方でも良い。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３５：操作部、１００：設定部、２００：判定部、３００：通知部

Claims (15)

1. 時系列に入力される画像の所定の基準画像において追跡対象の画像の設定を受け付ける入力手段と、
   前記基準画像における前記追跡対象の画像の特徴量を基準値として取得する取得手段と、
   前記基準画像の後に入力される画像における前記追跡対象の画像を検出する検出手段と、
   前記検出された追跡対象の画像の特徴量と前記基準値との差異に基づき、前記基準画像とその後に入力される画像との差異に関する情報を通知する通知手段と、
   を備える表示装置。
2. 前記入力される画像は撮影装置により撮影された画像であり、
   前記基準画像とその後に入力される画像との差異に関する情報は、前記撮影装置による撮影条件の変化に関する情報である請求項１に記載の表示装置。
3. 前記通知手段は、前記検出された追跡対象の画像の特徴量と前記基準値との差異が所定の閾値以上の場合、前記撮影装置による撮影条件が変化したことを通知する請求項２に記載の表示装置。
4. 前記通知手段は、前記差異が前記閾値以上である状態が所定の基準時間以上にわたって継続した場合、前記撮影装置による撮影条件が変化したことを通知する請求項３に記載の表示装置。
5. 前記閾値は、前記基準画像における前記追跡対象の画像の大きさと前記検出された追跡対象の画像の大きさとの比率に応じて定められており、
   前記通知手段は、前記基準画像における前記追跡対象の画像の大きさと前記検出された追跡対象の画像の大きさとの比率を取得し、前記検出された追跡対象の画像の特徴量と前記基準値との差異が、前記比率に応じた閾値以上の場合、前記通知を行う請求項３又は４に記載の表示装置。
6. 前記入力手段は、前記閾値の設定をさらに受け付ける請求項３〜５のいずれか１項に記載の表示装置。
7. 前記入力手段は、前記基準時間の設定をさらに受け付ける請求項４に記載の表示装置。
8. 前記特徴量は、前記追跡対象の画像の色である請求項１〜７のいずれか１項に記載の表示装置。
9. 前記特徴量は、前記追跡対象の画像の明るさである請求項１〜７のいずれか１項に記載の表示装置。
10. 前記追跡対象の画像が複数の画素からなる場合、前記追跡対象の画像の特徴量は、各画素の特徴量の平均値である請求項８又は９に記載の表示装置。
11. 前記特徴量は、前記追跡対象の画像の大きさである請求項１〜７のいずれか１項に記載の表示装置。
12. 前記基準画像は、所定の色票の画像を含み、
    前記基準画像に含まれる色票の画像に基づき入力される画像を補正する補正手段をさら
    に備える請求項１〜１１のいずれか１項に記載の表示装置。
13. 前記設定された追跡対象の画像の特徴量の情報と、前記基準画像における前記追跡対象の画像の位置の情報と、前記基準画像の画像データと、を関連付けて記憶する記憶手段をさらに備え、
    前記検出手段は、前記追跡対象の画像の位置の情報と前記基準画像の画像データとに基づき、前記追跡対象の画像の周囲の所定範囲の画像と、前記入力される画像との相関を計算することにより、前記入力される画像における前記追跡対象の画像を検出する請求項１〜１２のいずれか１項に記載の表示装置。
14. 時系列に入力される画像の所定の基準画像において追跡対象の画像の設定を受け付ける入力工程と、
    前記基準画像における前記追跡対象の画像の特徴量を基準値として取得する取得工程と、
    前記基準画像の後に入力される画像における前記追跡対象の画像を検出する検出工程と、
    前記検出された追跡対象の画像の特徴量と前記基準値との差異に基づき、前記基準画像とその後に入力される画像との差異に関する情報を通知する通知工程と、
    を有する表示装置の制御方法。
15. 請求項１４に記載の各工程をコンピュータに実行させるプログラム。

Images