JP2016163073A - 電子機器及び表示制御方法 - Google Patents

Abstract

【課題】ユーザにとって関心があるアノテーションが付された画像を閲覧しやすくする。【解決手段】画像表示装置１００は、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な画像データと、奥行き方向の複数の位置に関連付けられた複数の付加データと、を取得するデータ取得部６０１と、複数の付加データの内容を表示する表示部４０と、複数の付加データから選択された一以上の付加データを特定するための第１特定情報を取得する情報取得部６０２と、上記の画像データに基づいて、第１特定情報に対応する一以上の付加データが関連付けられた位置にフォーカス位置が設定された一以上のリフォーカス画像を生成する画像生成部６０３と、上記の一以上のリフォーカス画像を表示部４０に表示させる表示制御部６０４と、を有する。【選択図】図８

Description

本発明は、電子機器及び表示制御方法に関するものである。

近年、ライトフィールド（以下、「ＬＦ」と略記する）カメラと呼ばれる撮像装置が実用化されている。この撮像装置は、イメージセンサ上にマイクロレンズアレイが配置され、マイクロレンズによって撮像装置に入射した光を分割することにより、複数の方向から到来する光線の強度を示す光線情報及び入射方向を示す方向情報を含むＬＦ画像データを生成する。特許文献１には、光線情報及び方向情報に基づく演算処理をすることにより、フォーカスが合った奥行き方向の位置（以下、「フォーカス位置」という）が異なる複数のリフォーカス画像を順次表示し、ユーザが、所望の画像を検索しやすくする画像処理装置が開示されている。

また、画像に関する説明を含む付加データ（以下、「アノテーション」という）を、画像とともに表示する方法も知られている。特許文献２には、顕微鏡により撮像された画像とともに、アノテーションを表示する情報処理装置が開示されている。

特開２０１４−２２０５９８号公報 特開２０１１−１３３８４９号公報

画像を閲覧するユーザには、関心がある内容が記載されたアノテーションが付された画像を優先的に閲覧したいというニーズがある。例えば、医療画像を閲覧することにより病気の有無を診断する医師は、診断に有益な情報が記載されたアノテーションが付された画像を選択的に閲覧することで、診断作業の効率を向上させたいというニーズを持っている。

しかしながら、特許文献１に記載の画像処理装置のように、複数のリフォーカス画像を順次表示する場合、ユーザが、ユーザにとって関心があるアノテーションが付された画像を見つけるまでに長時間を要するという問題があった。

また、特許文献２に記載の情報処理装置は、アノテーションが付されている画像がある場合、画像を表示中に、アノテーションに関連する位置を示すマーカーを表示する。ユーザは、表示されたマーカーを選択する操作をすることによって、マーカーに対応するアノテーションが付されている画像を選択することができる。しかし、マーカーには、画像の内容に関する情報が含まれていないので、ユーザにとって関心がない内容のアノテーションが付された画像を選択してしまう場合があるという問題があった。

そこで、本発明は上述した点に鑑みてなされたものであり、ユーザにとって関心があるアノテーションが付された画像を閲覧しやすくすることを目的とする。

上記の課題を解決するために、本発明の電子機器は、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な画像データと、奥行き方向の複数の位置に関連付けられた複数の付加データと、を取得するデータ取得手段と、前記複数の付加データの内容を表示する表示手段と、前記複数の付加データから選択された一以上の付加データを特定するための第１特定情報を取得する情報取得手段と、前記画像データに基づいて、前記第１特定情報に対応する前記一以上の付加データが関連付けられた位置に前記フォーカス位置が設定された一以上のリフォーカス画像を生成する画像生成手段と、前記一以上のリフォーカス画像を前記表示手段に表示させる表示制御手段と、を有することを特徴とする。

本発明によれば、ユーザにとって関心があるアノテーションが付された画像を閲覧しやすくなるという効果を奏する。

ＬＦカメラとしての撮像装置１０の構成の模式図である。 マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。 マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明するための模式図である。 イメージセンサ１３に入射する光線の情報について説明するための模式図である。 リフォーカス演算処理を説明するための模式図である。 マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図である。 被写界深度の調整処理を説明するための模式図である。 第１の実施形態に係る電子機器である画像表示装置１００の構成を示す図である。 画像入力部２０に入力される画像ファイルの一例を示す図である。 付加データの一例を示す図である。 複数のアノテーションの内容が表示された表示部４０の画面を示す図である。 表示制御部６０４が表示部４０にリフォーカス画像を表示させた画面を示す図である。 画像表示装置１００の制御部６０が実行する処理手順を示すフローチャートである。 ４つのリフォーカス画像と４つのアノテーションとが表示された画面を示す図である。 第２の実施形態に係る表示制御部６０４が表示する画面を示す図である。 第２の実施形態に係る表示部４０に表示される画面を示している。 第３の実施形態に係る制御部６０の処理手順を示すフローチャートである。 第５の実施形態に係るコンピュータ２００及びディスプレイ３００の構成を示す図である。

［ＬＦカメラの概要］
本実施形態に係る画像処理装置の説明に先立ち、ＬＦカメラの概要について説明する。
図１は、ＬＦカメラとしての撮像装置１０の構成の模式図である。撮像装置１０は、撮像レンズ１１と、マイクロレンズアレイ１２と、イメージセンサ１３とを有する。被写体からの光は、撮像光学系を構成する撮像レンズ１１及びマイクロレンズアレイ１２を通過した後に、イメージセンサ１３に入射する。イメージセンサ１３は、入射した光を電気信号に変換して、変換後の電気信号を出力する。撮像装置１０は、イメージセンサ１３が出力する電気信号に基づいて、フォーカスが合った位置であるフォーカス位置を変更可能なＬＦ画像データを生成する。

撮像レンズ１１は、被写体からの光をマイクロレンズアレイ１２に投射する。撮像レンズ１１は、撮像装置１０の本体部に装着して使用される、交換可能なレンズである。撮像装置１０のユーザは、撮像レンズ１１のズーム操作により撮像倍率を変更することができる。

マイクロレンズアレイ１２は、格子状に配列された複数の微小レンズ（マイクロレンズ）を有しており、撮像レンズ１１とイメージセンサ１３の間に位置する。マイクロレンズアレイ１２が有する各マイクロレンズは、撮像レンズ１１からの入射光を分割し、分割後の複数の光をイメージセンサ１３の複数の画素に入射する。

イメージセンサ１３は、複数の画素を有する撮像素子であり、各画素において光の強度を検出する。被写体からの光を受光するイメージセンサ１３の各画素には、各画素に対応するマイクロレンズによって分割された、夫々異なる方向の光が入射する。

図２は、マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。マイクロレンズアレイ１２の各マイクロレンズは、イメージセンサ１３における複数の画素に対応するように配置される。イメージセンサ１３の各画素には、各画素に対応するマイクロレンズが分割した光が入射し、イメージセンサ１３は、画素ごとに異なる方向からの光の強度を検出する。撮像装置１０は、イメージセンサ１３の各画素において検出された光の強度を示す光線情報を生成する。

マイクロレンズを介してイメージセンサ１３の各画素に入射した光線の入射方向は、各マイクロレンズに対応する複数の画素の配置によって決まる。したがって、入射方向は、各マイクロレンズとイメージセンサ１３の各画素との位置関係に応じて特定され、撮像装置１０は、特定した入射方向を示す方向情報として、例えば、画素を特定するための座標情報を生成する。

被写体からの光は、被写体と撮像レンズ１１との間の距離に応じて定まる方向でマイクロレンズアレイ１２に入射する。そして、被写体からの光は、被写体と撮像レンズ１１との間の距離に応じて定まる複数のマイクロレンズを通過して、イメージセンサ１３に入射する。その結果、マイクロレンズアレイ１２のレンズ頂点面からの距離が異なる面にフォーカスが合った像は、各マイクロレンズの光軸からの偏心量に対応した位置にあるイメージセンサ１３の複数の画素の各出力を合成することで得られる。したがって、撮像装置１０は、光線情報と方向情報に基づいて光線の並べ替えと計算処理（以下、再構築という）を行うことにより、任意のフォーカス位置に対応する画像データを生成できる。ここで、フォーカス位置は、フォーカスが合った位置であり、ユーザは、撮影後に、ＬＦ画像データに基づいて、所望のフォーカス位置に対応するリフォーカス画像データを得ることができる。

図３は、マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明するための模式図である。
撮像レンズ１１による被写体の像は、マイクロレンズアレイ１２上に結像し、マイクロレンズアレイ１２への入射光線はマイクロレンズアレイ１２を介してイメージセンサ１３で受光される。このとき、図３に示すように、マイクロレンズアレイ１２への入射光線は、フォーカス位置ごとに定まる進行方向に応じてイメージセンサ１３上の異なる位置で受光され、被写体の像がマイクロレンズごとに結像する。

図４は、イメージセンサ１３に入射する光線の情報について説明するための模式図である。
イメージセンサ１３で受光される光線について図４を用いて説明する。ここで、撮像レンズ１１のレンズ面上における直交座標系を（ｕ，ｖ）とし、イメージセンサ１３の撮像面上における直交座標系（ｘ，ｙ）とする。さらに、撮像レンズ１１のレンズ面とイメージセンサ１３の撮像面との距離をＦとする。この場合、撮像レンズ１１およびイメージセンサ１３を通る光線の強度は、図中で示す４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表すことができる。各マイクロレンズに入射する光線は、進行方向に応じて異なる画素に入射されることから、イメージセンサ１３では、光線の位置情報に加えて、光線の進行方向を保持する上記の４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表される光線の強度に対応する情報が記録される。

次に、撮像後のリフォーカス演算処理について説明する。リフォーカス演算処理は、異なるフォーカス位置に対応する画素で受光した光の強度に基づいて、画像を再構築することによりリフォーカス画像データを生成する処理である。本明細書において、リフォーカス画像においてフォーカスが合っている位置の面を、リフォーカス面という。

図５は、リフォーカス演算処理を説明するための模式図である。
図５に示すように、撮像レンズ面、撮像面、リフォーカス面の位置関係を設定した場合、リフォーカス面上の直交座標系（ｓ，ｔ）における光線の強度Ｌ’（ｕ，ｖ，ｓ，ｔ）は、以下の（１）式のように表される。
また、リフォーカス面で得られるイメージＥ’（ｓ，ｔ）は、上記強度Ｌ’（ｕ，ｖ，ｓ，ｔ）をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。
したがって、この（２）式に基づいてリフォーカス演算処理を行うことで、任意のフォーカス位置におけるリフォーカス面に対応する画像データを再構築することができる。

続いて、撮像後の被写界深度の調整処理、すなわち奥行き方向のフォーカス位置の調整処理について説明する。被写界深度を調整する場合、上記のリフォーカス演算処理の前に、各マイクロレンズに割り当てられた画像領域を形成する画像データごとに重み係数を乗じて重み付けを行う。例えば、被写界深度の深い画像を生成する場合には、イメージセンサ１３の受光面に対して相対的に小さな角度で入射する光線の情報のみを用いて積分処理を行う。言い換えると、イメージセンサ１３への入射角が相対的に大きい光線に関しては、重み係数０（ゼロ）を乗じることにより積分処理に含めない。

図６は、マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図であり、図７は、被写界深度の調整処理を説明するための模式図である。
図６に示すように、イメージセンサ１３への入射角が相対的に小さい光線は、より中央の領域に位置することになる。したがって、被写界深度の深い画像を生成する場合には、図７に示すように、領域の中央部（図中の斜線部）で取得された画素データのみを用いて積分処理が行われる。

このような処理を行うことで、撮像装置１０は、一般的な撮像装置などに具備される開口絞りをあたかも絞ったかのように、被写界深度の深い画像を表現することができる。撮像装置１０は、使用する中央部の画素データを更に少なくすることで、被写界深度のより深いパンフォーカス画像データの生成も可能となる。また、撮像装置１０は、ＬＦ画像データの領域ごとに、使用する画素データの位置を変えることにより、領域ごとに異なる被写界深度に調整することもできる。以上のように、撮像装置１０は、ＬＦ画像データに含まれる各画素の重み係数を含むフォーカス情報、並びに光線情報及び方向情報に基づいて、撮影後に画像の被写界深度を調整し、所望のフォーカス位置に設定することができる。
以下、ＬＦ画像データをディスプレイに表示させる電子機器及び表示制御方法の実施形態について説明する。

＜第１の実施形態＞
［画像表示装置１００の構成］
図８は、第１の実施形態に係る電子機器である画像表示装置１００の構成を示す図である。画像表示装置１００は、画像入力部２０と、操作部３０と、表示部４０と、記憶部５０と、制御部６０とを有する。画像表示装置１００は、例えばディスプレイ又はプロジェクタである。

画像入力部２０は、ＬＦ画像データを含む画像ファイルの入力を受けるインターフェイスであり、例えばＵＳＢインターフェイス又は通信インターフェイスである。画像入力部２０は、ＵＳＢインターフェイスを介して接続された記憶媒体、又は通信インターフェイスを介して接続された外部装置から、画像ファイルを受信する。

図９は、画像入力部２０に入力される画像ファイルの一例を示す図である。画像ファイルには、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能なＬＦ画像データと、奥行き方向の複数の位置に関連付けられた複数の付加データと、デフォルトのフォーカス位置を示すデフォルトフォーカス位置データとが含まれている。デフォルトのフォーカス位置は、画像表示装置１００がＬＦ画像データを表示する際の最初に用いられるフォーカス位置である。

付加データは、ＬＦ画像に関連する内容を含むアノテーションと、アノテーションに対応する奥行き方向の位置とが関連付けられたデータである。図１０は、付加データの一例を示す図である。付加データには、アノテーションの内容と、アノテーションを識別するためのＩＤ番号と、アノテーションが画像に付されたフォーカス位置と、が関連付けられている。ＬＦ画像データが医療画像データである場合、アノテーションは、例えば「○○の部分に異常が認められる」、「△△の部分が少しあやしい」のような医師によるコメントである。アノテーションは、撮影日時、撮影部位、患者名等の情報であってもよい。

図８に戻って、操作部３０は、ユーザの操作を受け付けるデバイスである。例えば、操作部３０は、表示部４０の表面に重ねて設けられたタッチパネルである。操作部３０は、表示部４０の表面がタッチされたことを検出すると、タッチされた位置の座標情報を情報取得部６０２へと出力する。
表示部４０は、ユーザが操作するためのメニュー画像、画像ファイルに含まれているアノテーションの内容、及びＬＦ画像データを再構築して得られたリフォーカス画像等を表示する。表示部４０は、例えば液晶ディスプレイである。

記憶部５０は、ＲＯＭ、ＲＡＭ及びハードディスク等の記憶媒体である。記憶部５０は、制御部６０が実行するプログラムを記憶している。また、画像入力部２０を介して入力された画像ファイルに含まれるＬＦ画像データ及び付加データを記憶している。

制御部６０は、例えばＣＰＵであり、記憶部５０に記憶されたプログラムを実行することにより、データ取得部６０１、情報取得部６０２、画像生成部６０３及び表示制御部６０４として機能し、画像ファイルに含まれる複数のアノテーションの内容を表示部４０に表示させる。また、制御部６０は、ユーザにより選択されたアノテーションに対応する位置にフォーカス位置が設定されたＬＦ画像データに基づくリフォーカス画像を表示部４０に表示させる。

データ取得部６０１は、画像入力部２０に入力されたＬＦ画像データ、及び複数の付加データを取得する。データ取得部６０１は、取得したＬＦ画像データ及び複数の付加データを記憶部５０に記憶させる。

情報取得部６０２は、操作部３０を介してユーザが入力した情報を取得する。情報取得部６０２は、例えば、ユーザが、ＬＦ画像データの表示をさせるための操作をすると、ＬＦ画像データの表示処理を開始する操作が行われたことを示す表示要求情報を取得する。表示要求情報には、ユーザが複数のＬＦ画像データから選択したＬＦ画像データを特定する情報が含まれている。情報取得部６０２は、表示要求情報を取得すると、ユーザが選択したＬＦ画像データに関連付けられている複数の付加データの内容を記憶部５０から読み出して、表示制御部６０４を介して、表示部４０に表示させる。そして、情報取得部６０２は、操作部３０を介して入力された、複数の付加データから選択された一以上の付加データを特定するための特定情報（例えば、座標情報）を取得する。

図１１は、複数のアノテーションの内容が表示された表示部４０の画面を示す図である。図１１に示すように、情報取得部６０２は、表示制御部６０４を介して、画像ファイルに含まれていた複数の付加データの内容をユーザが認識できるように表示部４０に表示する。情報取得部６０２は、画像ファイルに含まれていた複数の付加データのうちの一部の付加データのみを表示部４０に表示してもよい。また、情報取得部６０２は、複数の付加データとともに、夫々の付加データが設定されたフォーカス位置に対応するリフォーカス画像のサムネイル画像を表示部４０に表示してもよい。

続いて、ユーザが、表示部４０に表示された複数の付加データのうち一以上の付加データを選択すると、情報取得部６０２は、操作部３０から入力される座標情報に基づいて、ユーザが選択した付加データを特定する。情報取得部６０２は、特定した付加データのＩＤ番号を画像生成部６０３に通知する。

画像生成部６０３は、ＬＦ画像データに基づいて、情報取得部６０２から通知されたＩＤ番号に対応する一以上の付加データが関連付けられた位置にフォーカス位置が設定された一以上のリフォーカス画像データを生成する。具体的には、画像生成部６０３は、記憶部５０に記憶された図１０に示したデータを参照し、情報取得部６０２から通知されたＩＤ番号に対応するアノテーションに関連付けられた奥行き方向の位置を特定する。例えば、ユーザが、「○○の部分に異常が認められる」というアノテーションを選択した場合、画像生成部６０３は、当該アノテーションに対応する奥行き方向の位置が「２」であることを特定し、フォーカス位置を位置「２」に設定したリフォーカス画像データを生成する。

表示制御部６０４は、各種のデータを表示部４０に表示させる。表示制御部６０４は、例えば、情報取得部６０２の指示に基づいて、複数のアノテーションの内容を表示部４０に表示させる。また、表示制御部６０４は、画像生成部６０３が生成したリフォーカス画像データに基づく画像を表示部４０に表示させる。

図１２は、表示制御部６０４が表示部４０にリフォーカス画像を表示させた画面を示す図である。図１２（ａ）は、ユーザが、ＩＤ番号「１」のアノテーションを選択した際に表示される画面を示している。図１２（ａ）においては、フォーカス位置が「２」に設定され、斜線で示す円にフォーカスが合ったリフォーカス画像、及びフォーカス位置「２」に対応する「○○の部分に異常が認められる」というアノテーションが表示されている。図１２（ｂ）は、ユーザが、ＩＤ番号「２」のアノテーションを選択した際に表示される画面を示している。図１２（ｂ）においては、フォーカス位置が「５」に設定され、斜線で示す長方形にフォーカスが合ったリフォーカス画像、及びフォーカス位置「５」に対応する「□□の部分に異常が認められる」というアノテーションが表示されている。

［画像表示装置１００の処理手順を示すフローチャート］
図１３は、画像表示装置１００の制御部６０が実行する処理手順を示すフローチャートである。図１３に示すフローチャートは、ユーザが、ＬＦ画像データを閲覧する処理を起動させた後の処理を示している。

まず、情報取得部６０２は、表示制御部６０４を介して、複数のアノテーションの内容を一覧表示する（Ｓ１１）。情報取得部６０２は、ユーザによりアノテーションが選択されるまで待機する（Ｓ１２）。Ｓ１２において、情報取得部６０２が、ユーザにより選択されたアノテーションに対応する座標情報を取得し、取得した座標情報に対応するアノテーションのＩＤ番号を特定すると（Ｓ１２においてＹＥＳ）、情報取得部６０２は、特定したＩＤ番号を画像生成部６０３に通知する。

画像生成部６０３は、ＩＤ番号の通知を受けると、図１０に示したデータを参照して、ＩＤ番号に対応する位置にフォーカス位置を決定する（Ｓ１３）。続いて、画像生成部６０３は、決定したフォーカス位置に対応するＬＦ画像データを再構築することにより、リフォーカス画像データを生成する（Ｓ１４）。画像生成部６０３は、生成したリフォーカス画像データに、ユーザが選択したアノテーションを合成することにより、表示画像データを生成し（Ｓ１５）、表示制御部６０４を介して、生成した表示画像データに基づく画像を表示部４０に表示させる（Ｓ１６）。

（変形例）
画像生成部６０３は、情報取得部６０２が、２つ以上の付加データの座標情報を取得した場合、２つ以上の付加データの夫々に関連付けられた位置にフォーカス位置が設定された、２つ以上のリフォーカス画像データを生成してもよい。例えば、ユーザが、図１１に示された４つのアノテーションの内容を全て選択した場合、画像生成部６０３は、４つのアノテーションに対応する４つのリフォーカス画像データを生成する。

表示制御部６０４は、４つのリフォーカス画像データと４つのアノテーションとが合成された表示画像データに基づく画像を表示部４０に表示させる。
図１４は、４つのリフォーカス画像と４つのアノテーションとが表示された画面を示す図である。このように、表示制御部６０４が複数のリフォーカス画像と複数のアノテーションとを表示部４０に表示させることで、ユーザは、確認が必要な複数の画像を同時に閲覧することができるので、利便性が向上する。なお、表示制御部６０４が、複数のリフォーカス画像を表示部４０に表示させる場合、図１４のように画面を分割して表示させる代わりに、スライドショーのように所定の間隔で順番に複数のリフォーカス画像及びアノテーションを表示させてもよい。

［第１の実施形態における効果］
以上説明したように、第１の実施形態に係る画像表示装置１００は、複数のアノテーションの内容を表示部４０に表示し、ユーザが、複数のアノテーションの内容を確認して、所望のアノテーションを選択することができる。そして、画像表示装置１００は、ユーザにより選択されたアノテーションに対応する位置にフォーカス位置を設定したリフォーカス画像データを生成し、アノテーション及びリフォーカス画像を表示部４０に表示する。このようにすることで、複数の位置においてアノテーションが付されている場合に、ユーザは、アノテーションの内容に基づいて、画像を確認する必要があるか否かを判断し、確認が必要な位置にフォーカスが合った画像を選択的に閲覧することができる。したがって、ユーザは、閲覧する意味がない画像を見る必要がないので、作業効率が向上する。

＜第２の実施形態＞
第１の実施形態においては、表示制御部６０４が、複数のアノテーションの内容のみを表示部４０に表示させたのに対して、第２の実施形態においては、表示制御部６０４が、複数のアノテーションの内容とともに、複数のアノテーションに対応する奥行き方向の位置を示す情報を表示部４０に表示させる点で第１の実施形態と異なる。

図１５は、第２の実施形態に係る表示制御部６０４が表示する画面を示す図である。図１５（ａ）においては、複数のアノテーションの内容の横に、夫々のアノテーションに対応する奥行き方向の位置が表示されている。この場合、ユーザは、操作部３０を介して、表示された複数の位置から所望の一以上の位置を選択することにより、選択した位置にフォーカスが合ったリフォーカス画像を表示させることができる。情報取得部６０２は、ユーザが選択した一以上の位置を特定するための位置情報を取得すると、画像生成部６０３に位置情報を通知する。画像生成部６０３は、位置情報に対応する位置にフォーカス位置を設定した一以上のリフォーカス画像データを生成するとともに、位置情報に対応するアノテーションをリフォーカス画像データに合成することにより、表示画像データを生成する。

図１５（ｂ）においては、画面の下部に、図１５（ａ）に示されている情報に加えて、フォーカス位置に設定可能な位置の候補（候補位置１〜候補位置１０）が示されている。候補位置１は、フォーカス位置として設定可能な複数の位置のうち、最も手前側の位置に対応し、候補位置１０は最も奥側の位置に対応する。図１５（ｂ）に示す例において、表示制御部６０４は、アノテーションが関連付けられている候補位置を、付加データが関連付けられていない候補位置と異なる表示態様（色、模様等）で表示部４０に表示させている。

ユーザは、図１５（ｂ）に表示されている複数の位置の候補から所望の位置を選択し、選択した位置にフォーカス位置が設定されたリフォーカス画像を表示させることができる。例えば、ユーザは、アノテーション一覧に表示されたアノテーションの内容を見て、関心があるアノテーションが設定された位置の近傍の複数の位置を選択することができる。

図１６は、ユーザが、アノテーションが設定された位置５と、位置５に隣接する位置４及び位置６を選択した場合に表示部４０に表示される画面を示している。位置５に対応するリフォーカス画像にはアノテーションが付されており、位置４及び位置６に対応するリフォーカス画像にはアノテーションが付されていない。このように、画像生成部６０３は、ユーザにより選択された位置にアノテーションが付されている場合、リフォーカス画像データとアノテーションとを合成して表示画像データを生成し、ユーザにより選択された位置にアノテーションが付されていない場合、リフォーカス画像データとアノテーションとを合成することなく、表示画像データを生成する。

［第２の実施形態における効果］
以上説明したように、第２の実施形態に係る画像表示装置１００は、ユーザが、アノテーションの内容を確認しながら、フォーカス位置に設定する奥行き方向の位置を選択することができる。このように、ユーザが、アノテーションが付された位置を参考にして、閲覧する対象となる複数の位置を選択できるようにすることで、例えば、医師が、アノテーションが示す患部の画像を確認する際に、アノテーションが付された位置の前後の位置の画像も同時に確認することができるので、診断作業の効率が向上する。

＜第３の実施形態＞
第１の実施形態においては、予めＬＦ画像データに関連付けてアノテーションが付されている場合について説明したが、第３の実施形態においては、リフォーカス画像を閲覧したユーザが、閲覧しているリフォーカス画像に対してアノテーションを設定することができる点で第１の実施形態と異なる。「閲覧しているリフォーカス画像に対してアノテーションを設定する」とは、ユーザが閲覧しているリフォーカス画像のフォーカス位置に関連付けて、アノテーションを追加することである。第３の実施形態に係る画像表示装置１００は、アノテーションが設定された際のフォーカス位置を、次にリフォーカス画像を表示する際のフォーカス位置として使用する。

図１７は、第３の実施形態に係る制御部６０の処理手順を示すフローチャートである。
まず、情報取得部６０２は、表示制御部６０４を介して、データ取得部６０１が取得したＬＦ画像データのフォーカス位置を設定するための操作画面を表示し、ユーザがフォーカス位置として選択した奥行き方向の位置を特定するための位置情報を取得する（Ｓ２１）。続いて、画像生成部６０３は、取得した位置情報に対応する位置にフォーカス位置を設定してリフォーカス画像データを生成する。表示制御部６０４は、生成されたリフォーカス画像データに基づく画像を表示部４０に表示させる（Ｓ２２）。

表示制御部６０４は、リフォーカス画像を表示した画面に、アノテーションの設定画面を起動するための操作画像を表示させ、情報取得部６０２は、操作画像が選択されるか否か、すなわち、ユーザが、アノテーションの設定を希望するか否かを監視する（Ｓ２３）。情報取得部６０２は、アノテーションを設定することが選択されたことを検出した場合（Ｓ２３においてＹＥＳ）、表示制御部６０４を介して、アノテーション設定画面を表示部４０に表示させる（Ｓ２４）。情報取得部６０２は、操作部３０を介して、ユーザが入力したアノテーション情報（例えば、テキスト情報）を追加付加データとして取得すると、取得したアノテーション情報を記憶部５０に記憶させる（Ｓ２５）。

また、情報取得部６０２は、アノテーション情報を取得した際に表示部４０に表示されているリフォーカス画像に設定されているフォーカス位置、すなわち、Ｓ２１において設定されたフォーカス位置を、アノテーションを設定したＬＦ画像データのデフォルトフォーカス位置として記憶部５０に記憶させる（Ｓ２６）。このようにすることで、次に表示制御部６０４が上記のＬＦ画像データを表示する際には、ユーザがアノテーションを設定した位置にフォーカスが合ったリフォーカス画像を表示部４０に表示させることができる。

［第３の実施形態における効果］
以上説明したように、第３の実施形態に係る画像表示装置１００は、ユーザにアノテーションを設定させることができ、ユーザがアノテーションを設定した際のフォーカス位置をデフォルトフォーカス位置にすることができる。このようにすることで、ユーザは、再び閲覧する可能性があると判断したフォーカス位置においてアノテーションを設定することにより、次にＬＦ画像データを閲覧する際に、アノテーションが設定された位置にフォーカスが合ったリフォーカス画像を速やかに閲覧できる。

＜第４の実施形態＞
第１の実施形態において、表示制御部６０４は、画像ファイルに含まれている複数のアノテーションの内容を表示部４０に表示させたが、第４の実施形態に係る表示制御部６０４は、複数のアノテーションのうち、所定の単語を含む一以上のアノテーションを選択し、選択した一以上のアノテーションの内容を表示部４０に表示させる。所定の単語は、例えば、ユーザが関心を持っている情報を示す単語である。ユーザが医師であり、ＬＦ画像データが医療画像データである場合、表示制御部６０４は、例えば「腫瘍」、「潰瘍」、「病変」等の単語を含むアノテーションを選択する。情報取得部６０２は、図１３におけるＳ１１において、所定の単語を含むアノテーションの内容を一覧表示する。

情報取得部６０２は、操作部３０を介してユーザにより入力された、付加データの選択に用いる所定の単語を取得してもよい。この場合、情報取得部６０２は、取得した単語を含むアノテーションを選択し、選択したアノテーションの内容を一覧表示する。

［第４の実施形態における効果］
以上説明したように、第４の実施形態に係る画像表示装置１００は、所定の単語を含むアノテーションを選択的に表示する。したがって、アノテーションが付された位置が多数ある場合に、ユーザに関心がある可能性が高いアノテーションが表示されるので、ユーザは、関心がないアノテーションを読む必要がなく、ユーザの作業効率が向上する。

＜第５の実施形態＞
図１８は、第５の実施形態に係るコンピュータ２００及びディスプレイ３００の構成を示す図である。第１の実施形態においては、画像表示装置１００が画像ファイルを取得し、画像表示装置１００が有する表示部４０にリフォーカス画像及びアノテーションの内容を表示させた。これに対して、第５の実施形態においては、コンピュータ２００が画像ファイルを取得し、コンピュータ２００が生成したリフォーカス画像データ、及びコンピュータ２００が出力するアノテーションの内容を、ディスプレイ３００が表示する。

コンピュータ２００は、画像入力部２０と、操作部３０と、記憶部５０と、制御部６０とを有する。画像入力部２０、記憶部５０及び制御部６０は、画像表示装置１００が有していた画像入力部２０、記憶部５０及び制御部６０と同等の機能を有する。操作部３０は、例えばキーボード及びマウスである。

ディスプレイ３００は、例えば液晶ディスプレイであり、ＨＤＭＩ（登録商標）ケーブルを介して、コンピュータ２００と接続されている。ディスプレイ３００は、コンピュータ２００において生成されたリフォーカス画像データに対応する画像と、コンピュータ２００が出力するアノテーションの内容とを表示する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００・・・画像表示装置
６０１・・・データ取得部
６０２・・・情報取得部
６０３・・・画像生成部
６０４・・・表示制御部

Claims (13)

1. フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な画像データと、奥行き方向の複数の位置に関連付けられた複数の付加データと、を取得するデータ取得手段と、
   前記複数の付加データの内容を表示する表示手段と、
   前記複数の付加データから選択された一以上の付加データを特定するための第１特定情報を取得する情報取得手段と、
   前記画像データに基づいて、前記第１特定情報に対応する前記一以上の付加データが関連付けられた位置に前記フォーカス位置が設定された一以上のリフォーカス画像を生成する画像生成手段と、
   前記一以上のリフォーカス画像を前記表示手段に表示させる表示制御手段と、
   を有することを特徴とする電子機器。
2. 前記表示制御手段は、前記複数の付加データの内容とともに、前記フォーカス位置に設定する複数の候補位置を前記表示手段に表示させ、
   前記情報取得手段は、前記複数の候補位置から選択された一以上の候補位置を特定するための第２特定情報を取得し、
   前記画像生成手段は、前記第２特定情報に対応する前記一以上の候補位置に前記フォーカス位置が設定された一以上のリフォーカス画像を生成することを特徴とする、
   請求項１に記載の電子機器。
3. 前記表示制御手段は、前記付加データが関連付けられている前記候補位置を、前記付加データが関連付けられていない前記候補位置と異なる表示態様で前記表示手段に表示させることを特徴とする、
   請求項２に記載の電子機器。
4. 前記画像生成手段は、前記第１特定情報が二以上の付加データを特定する情報を含んでいる場合、前記二以上の付加データの夫々に関連付けられた位置に前記フォーカス位置が設定された、二以上の前記リフォーカス画像を生成し、
   前記表示制御手段は、前記二以上のリフォーカス画像を前記表示手段に表示させることを特徴とする、
   請求項１から３のいずれか１項に記載の電子機器。
5. 前記情報取得手段は、前記画像データに設定する追加付加データを取得し、前記追加付加データを取得したときに前記表示手段が表示している前記リフォーカス画像の前記フォーカス位置を、前記画像データのデフォルトのフォーカス位置として記憶部に記憶させることを特徴とする、
   請求項１から４のいずれか１項に記載の電子機器。
6. 前記表示制御手段は、前記複数の付加データのうち、所定の単語を含む一以上の付加データを前記表示手段に表示させることを特徴とする、
   請求項１から５のいずれか１項に記載の電子機器。
7. フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な画像データと、奥行き方向の複数の位置に関連付けられた一以上の付加データと、を取得するデータ取得ステップと、
   前記複数の付加データの内容を表示手段に表示させる第１表示ステップと、
   前記複数の付加データから選択された一以上の付加データを特定するための第１特定情報を取得する情報取得ステップと、
   前記画像データに基づいて、前記第１特定情報に対応する前記一以上の付加データが関連付けられた位置に前記フォーカス位置が設定された一以上のリフォーカス画像を生成する画像生成ステップと、
   前記一以上のリフォーカス画像を前記表示手段に表示させる第２表示ステップと、
   を有することを特徴とする表示制御方法。
8. 前記第１表示ステップにおいて、前記複数の付加データの内容とともに、前記フォーカス位置に設定する複数の候補位置を前記表示手段に表示させ、
   前記情報取得ステップにおいて、前記複数の候補位置から選択された一以上の候補位置を特定するための第２特定情報を取得し、
   前記画像生成ステップにおいて、前記第２特定情報に対応する前記一以上の候補位置に前記フォーカス位置が設定された一以上のリフォーカス画像を生成することを特徴とする、
   請求項７に記載の表示制御方法。
9. 前記第１表示ステップにおいて、前記付加データが関連付けられている前記候補位置を、前記付加データが関連付けられていない前記候補位置と異なる表示態様で前記表示手段に表示させることを特徴とする、
   請求項８に記載の表示制御方法。
10. 前記画像生成ステップにおいて、前記第１特定情報が二以上の付加データを特定する情報を含んでいる場合、前記二以上の付加データの夫々に関連付けられた位置に前記フォーカス位置が設定された、二以上の前記リフォーカス画像を生成し、
    前記第２表示ステップにおいて、前記二以上のリフォーカス画像を前記表示手段に表示させることを特徴とする、
    請求項７から９のいずれか１項に記載の表示制御方法。
11. 前記画像データに設定する追加付加データを取得するステップと、
    前記追加付加データを取得したときに前記表示手段が表示している前記リフォーカス画像の前記フォーカス位置を、前記画像データのデフォルトのフォーカス位置として記憶部に記憶させるステップと、
    を有することを特徴とする、
    請求項７から１０のいずれか１項に記載の表示制御方法。
12. 前記第１表示ステップにおいて、前記複数の付加データのうち、所定の単語を含む一以上の付加データを前記表示手段に表示させることを特徴とする、
    請求項７から１１のいずれか１項に記載の表示制御方法。
13. コンピュータに、
    フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な画像データと、奥行き方向の複数の位置に関連付けられた一以上の付加データと、を取得するデータ取得ステップと、
    前記複数の付加データの内容を表示手段に表示させる第１表示ステップと、
    前記複数の付加データから選択された一以上の付加データを特定するための第１特定情報を取得する情報取得ステップと、
    前記画像データに基づいて、前記第１特定情報に対応する前記一以上の付加データが関連付けられた位置に前記フォーカス位置が設定された一以上のリフォーカス画像を生成する画像生成ステップと、
    前記一以上のリフォーカス画像を前記表示手段に表示させる第２表示ステップと、
    を実行させることを特徴とする表示制御用プログラム。