JP2016146606A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】フォーカスが合った奥行き方向の位置を変更可能な複数の画像から所望の画像を検索しやすくする。【解決手段】画像処理装置１００は、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な複数の画像を取得する画像取得部６０１と、複数の画像から一部の画像を検索するための条件として、フォーカス位置の範囲であるフォーカス範囲を取得する検索条件取得部６０２と、複数の画像のうち少なくとも一部の画像に基づいて、フォーカス範囲に含まれる位置にフォーカス位置が設定されたリフォーカス画像を生成する画像生成部６０３と、リフォーカス画像を表示部４０に表示させる表示制御部６０５と、を有する。【選択図】図８

Description

本発明は、複数の画像から一部の画像を検索するための画像処理装置及び画像処理方法に関するものである。

近年、ライトフィールド（以下、「ＬＦ」と略記する）カメラと呼ばれる撮像装置が実用化されている。この撮像装置は、イメージセンサ上にマイクロレンズアレイが配置され、マイクロレンズによって撮像装置に入射した光を分割することにより、複数の方向から到来する光線の強度を示す光線情報及び入射方向を示す方向情報を含むＬＦ画像を生成する。特許文献１には、光線情報及び方向情報に基づく演算処理をすることにより、フォーカスが合った奥行き方向の位置（以下、「フォーカス位置」という）が異なる複数のリフォーカス画像を順次表示することにより、ユーザが、所望の画像を検索しやすくする画像処理装置が開示されている。

特開２０１４−２２１１９８号公報

しかしながら、ユーザが、従来の画像処理装置を用いて画像を検索する場合、順次表示される大量のリフォーカス画像を確認しなければならず、奥行き方向の所望の位置をフォーカス位置とするリフォーカス画像を見つけるまでに長時間を要するという問題があった。例えば、医師が、医療画像に写っている腫瘍等の患部に類似する過去の症例を示す画像を検索しようとする場合、従来の方法では、患部にフォーカスが合っていない画像も検索されてしまう。その結果、医師が、患部にフォーカスが合っておらず診断に使用できない画像を閲覧してしまうので、医師の時間が無駄になるという問題があった。

そこで、本発明は上述した点に鑑みてなされたものであり、フォーカスが合った位置を変更可能な複数の画像から所望の画像を検索しやすくすることを目的とする。

上記の課題を解決するために、本発明の画像処理装置は、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な複数の画像を取得する画像取得手段と、前記複数の画像から一部の画像を検索するための条件として、前記フォーカス位置の範囲であるフォーカス範囲を取得する条件取得手段と、前記複数の画像のうち少なくとも一部の画像に基づいて、前記フォーカス範囲に含まれる位置に前記フォーカス位置が設定されたリフォーカス画像を生成する画像生成手段と、前記リフォーカス画像を表示手段に表示させる表示制御手段と、を有することを特徴とする。

本発明によれば、フォーカスが合った位置を変更可能な複数の画像から所望の画像を検索しやすくすることができるという効果を奏する。

ＬＦカメラとしての撮像装置１０の構成の模式図である。 マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。 マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明する模式図である。 イメージセンサ１３に入射する光線の情報を説明するための模式図である。 リフォーカス演算処理を説明するための模式図である。 マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図である。 被写界深度の調整処理を説明するための模式図である。 第１の実施形態に係る画像処理装置１００の構成を示す図である。 検索条件入力領域２０２、及び検索結果表示領域２０３を含む画面２０１を示す図である。 リフォーカス画像２１２の一例を示す図である。 画像処理装置１００の動作手順を示すフローチャートである。 第２の実施形態におけるリフォーカス画像４０１を示す図である。 第２の実施形態に係る画像処理装置１００の動作手順を示すフローチャートである。 第３の実施形態におけるリフォーカス画像５０１を示す図である。 第３の実施形態に係る画像処理装置１００の動作手順を示すフローチャートである。 第４の実施形態に係る画像処理装置１００の動作手順を示すフローチャートである。

［ＬＦカメラの概要］
本実施形態に係る画像処理装置の説明に先立ち、ＬＦカメラの概要について説明する。
図１は、ＬＦカメラとしての撮像装置１０の構成の模式図である。撮像装置１０は、撮像レンズ１１と、マイクロレンズアレイ１２と、イメージセンサ１３とを有する。被写体からの光は、撮像光学系を構成する撮像レンズ１１及びマイクロレンズアレイ１２を通過した後に、イメージセンサ１３に入射する。イメージセンサ１３は、入射した光を電気信号に変換して、変換後の電気信号を出力する。撮像装置１０は、イメージセンサ１３が出力する電気信号に基づいて、フォーカスが合った位置であるフォーカス位置を変更可能なＬＦ画像データを生成する。

撮像レンズ１１は、被写体からの光をマイクロレンズアレイ１２に投射する。撮像レンズ１１は、撮像装置１０の本体部に装着して使用される、交換可能なレンズである。撮像装置１０のユーザは、撮像レンズ１１のズーム操作により撮像倍率を変更することができる。

マイクロレンズアレイ１２は、格子状に配列された複数の微小レンズ（マイクロレンズ）を有しており、撮像レンズ１１とイメージセンサ１３の間に位置する。マイクロレンズアレイ１２が有する各マイクロレンズは、撮像レンズ１１からの入射光を分割し、分割後の複数の光をイメージセンサ１３の複数の画素に入射する。

イメージセンサ１３は、複数の画素を有する撮像素子であり、各画素において光の強度を検出する。被写体からの光を受光するイメージセンサ１３の各画素には、各画素に対応するマイクロレンズによって分割された、夫々異なる方向の光が入射する。

図２は、マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。マイクロレンズアレイ１２の各マイクロレンズは、イメージセンサ１３における複数の画素に対応するように配置される。イメージセンサ１３の各画素には、各画素に対応するマイクロレンズが分割した光が入射し、イメージセンサ１３は、画素ごとに異なる方向からの光の強度を検出する。撮像装置１０は、イメージセンサ１３の各画素において検出された光の強度を示す光線情報を生成する。

マイクロレンズを介してイメージセンサ１３の各画素に入射した光線の入射方向は、各マイクロレンズに対応する複数の画素の配置によって決まる。したがって、入射方向は、各マイクロレンズとイメージセンサ１３の各画素との位置関係に応じて特定され、撮像装置１０は、特定した入射方向を示す方向情報として、例えば、画素を特定するための座標情報を生成する。

被写体からの光は、被写体と撮像レンズ１１との間の距離に応じて定まる方向でマイクロレンズアレイ１２に入射する。そして、被写体からの光は、被写体と撮像レンズ１１との間の距離に応じて定まる複数のマイクロレンズを通過して、イメージセンサ１３に入射する。その結果、マイクロレンズアレイ１２のレンズ頂点面からの距離が異なる面にフォーカスが合った像は、各マイクロレンズの光軸からの偏心量に対応した位置にあるイメージセンサ１３の複数の画素の各出力を合成することで得られる。したがって、撮像装置１０は、光線情報と方向情報に基づいて光線の並べ替えと計算処理（以下、再構築という）を行うことにより、任意のフォーカス位置に対応する画像データを生成できる。ここで、フォーカス位置は、フォーカスが合った位置であり、ユーザは、撮影後に、ＬＦ画像データに基づいて、所望のフォーカス位置に対応するリフォーカス画像データを得ることができる。

図３は、マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明するための模式図である。
撮像レンズ１１による被写体の像は、マイクロレンズアレイ１２上に結像し、マイクロレンズアレイ１２への入射光線はマイクロレンズアレイ１２を介してイメージセンサ１３で受光される。このとき、図３に示すように、マイクロレンズアレイ１２への入射光線は、フォーカス位置ごとに定まる進行方向に応じてイメージセンサ１３上の異なる位置で受光され、被写体の像がマイクロレンズごとに結像する。

図４は、イメージセンサ１３に入射する光線の情報について説明するための模式図である。
イメージセンサ１３で受光される光線について図４を用いて説明する。ここで、撮像レンズ１１のレンズ面上における直交座標系を（ｕ，ｖ）とし、イメージセンサ１３の撮像面上における直交座標系（ｘ，ｙ）とする。さらに、撮像レンズ１１のレンズ面とイメージセンサ１３の撮像面との距離をＦとする。この場合、撮像レンズ１１およびイメージセンサ１３を通る光線の強度は、図中で示す４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表すことができる。各マイクロレンズに入射する光線は、進行方向に応じて異なる画素に入射されることから、イメージセンサ１３では、光線の位置情報に加えて、光線の進行方向を保持する上記の４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表される光線の強度に対応する情報が記録される。

次に、撮像後のリフォーカス演算処理について説明する。リフォーカス演算処理は、異なるフォーカス位置に対応する画素で受光した光の強度に基づいて、画像を再構築することによりリフォーカス画像データを生成する処理である。本明細書において、リフォーカス画像においてフォーカスが合っている位置の面を、リフォーカス面という。

図５は、リフォーカス演算処理を説明するための模式図である。
図５に示すように、撮像レンズ面、撮像面、リフォーカス面の位置関係を設定した場合、リフォーカス面上の直交座標系（ｓ，ｔ）における光線の強度Ｌ’（ｕ，ｖ，ｓ，ｔ）は、以下の（１）式のように表される。
また、リフォーカス面で得られるイメージＥ’（ｓ，ｔ）は、上記強度Ｌ’（ｕ，ｖ，ｓ，ｔ）をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。
したがって、この（２）式に基づいてリフォーカス演算処理を行うことで、任意のフォーカス位置におけるリフォーカス面に対応する画像データを再構築することができる。

続いて、撮像後の被写界深度の調整処理、すなわち奥行き方向のフォーカス位置の調整処理について説明する。被写界深度を調整する場合、上記のリフォーカス演算処理の前に、各マイクロレンズに割り当てられた画像領域を形成する画像データごとに重み係数を乗じて重み付けを行う。例えば、被写界深度の深い画像を生成する場合には、イメージセンサ１３の受光面に対して相対的に小さな角度で入射する光線の情報のみを用いて積分処理を行う。言い換えると、イメージセンサ１３への入射角が相対的に大きい光線に関しては、重み係数０（ゼロ）を乗じることにより積分処理に含めない。

図６は、マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図であり、図７は、被写界深度の調整処理を説明するための模式図である。
図６に示すように、イメージセンサ１３への入射角が相対的に小さい光線は、より中央の領域に位置することになる。したがって、被写界深度の深い画像を生成する場合には、図７に示すように、領域の中央部（図中の斜線部）で取得された画素データのみを用いて積分処理が行われる。

このような処理を行うことで、撮像装置１０は、一般的な撮像装置などに具備される開口絞りをあたかも絞ったかのように、被写界深度の深い画像を表現することができる。撮像装置１０は、使用する中央部の画素データを更に少なくすることで、被写界深度のより深いパンフォーカス画像データの生成も可能となる。また、撮像装置１０は、ＬＦ画像データの領域ごとに、使用する画素データの位置を変えることにより、領域ごとに異なる被写界深度に調整することもできる。以上のように、撮像装置１０は、ＬＦ画像データに含まれる各画素の重み係数を含むフォーカス情報、並びに光線情報及び方向情報に基づいて、撮影後に画像の被写界深度を調整し、所望のフォーカス位置に設定することができる。
以下、ＬＦ画像データを処理する画像処理装置及び画像処理方法の実施形態について説明する。

＜第１の実施形態＞
［画像処理装置１００の構成］
図８は、第１の実施形態に係る画像処理装置１００の構成を示す図である。画像処理装置１００は、画像データの編集、検索及び表示を行う機能を有している。画像処理装置１００は、例えば、ＬＦ画像データの編集が可能なディスプレイ又はコンピュータである。画像処理装置１００は、複数のＬＦ画像データを取得し、複数のＬＦ画像データから、ユーザにより指定された範囲にフォーカス位置が設定されたリフォーカス画像データを生成する。画像処理装置１００は、生成した複数のリフォーカス画像データから、検索の基準となる画像データに類似するリフォーカス画像データを検索する。このようにすることで、画像処理装置１００のユーザは、ユーザが所望の奥行き方向の位置にフォーカスが合っており、かつ、検索の基準となる画像データに類似する画像に絞り込むことができる。

以下、画像処理装置１００の構成について説明する。
画像処理装置１００は、画像入力部２０と、操作部３０と、表示部４０と、記憶部５０と、制御部６０とを有する。

画像入力部２０は、外部装置から画像データの入力を受けるインターフェイスである。画像入力部２０は、例えば、通信回線を介して外部装置から画像データの入力を受けるための通信インターフェイスである。外部装置が医療機器である場合、画像入力部２０には、コンピュータ断層撮影画像及びレントゲン画像等の医療画像が入力される。画像入力部２０は、画像データが格納された記憶媒体と接続され、記憶媒体に格納された画像データの入力を受けることができるインターフェイスであってもよい。

操作部３０は、画像処理装置１００を使用するユーザの操作を受けるキーボード、マウス又はタッチパネル等のユーザインターフェイスである。
表示部４０は、画像を表示するディスプレイである。

記憶部５０は、不揮発性の記憶媒体（例えばＲＯＭ又はハードディスク）を含んでおり、制御部６０が実行する画像処理用プログラムを記憶している。記憶部５０は、揮発性の記憶媒体（例えばＲＡＭ）を含んでおり、制御部６０が画像処理用プログラムを実行することにより生成される各種データを一時的に記憶する。また、記憶部５０は、画像入力部２０を介して入力された画像データを記憶する。

制御部６０は、例えばＣＰＵであり、記憶部５０に記憶された画像処理用プログラムを実行することにより、画像処理装置１００の各部を制御する。また、制御部６０は、画像処理用プログラムを実行することにより、画像取得部６０１、検索条件取得部６０２、画像生成部６０３、類似度決定部６０４及び表示制御部６０５として機能する。以下、制御部６０により提供される各機能部の構成を説明する。

画像取得部６０１は、画像入力部２０を介して入力された複数の画像データを取得する。画像入力部２０を介して入力される画像データは、例えば、撮影後に、フォーカスが合った奥行き方向の位置であるフォーカス位置を変更可能なＬＦ画像データである。画像取得部６０１は、取得した画像データを記憶部５０に記憶させる。

検索条件取得部６０２は、画像取得部６０１が取得した複数のＬＦ画像データから一部のＬＦ画像データを検索するための条件（以下、「検索条件」という）として、フォーカス位置の範囲であるフォーカス範囲を取得する。検索条件取得部６０２は、例えば、リフォーカス画像を生成する基準となる画像である代表画像のデータを取得し、代表画像のフォーカス位置として指定された位置の範囲を、フォーカス範囲として取得する。フォーカス範囲は、例えば、被写体を撮影した撮像装置１０に近い手前側の位置から撮像装置１０から遠い奥側の位置までの範囲として定められ、検索条件取得部６０２は、撮像装置１０と被写体との間の任意の範囲をフォーカス範囲として取得できる。なお、リフォーカス画像データは、ＬＦ画像データのデフォルト状態のフォーカス位置と異なる位置にフォーカスが合った画像である。

図９は、検索条件を入力するための検索条件入力領域２０２、及び検索後の画像が表示される検索結果表示領域２０３を含む画面２０１を示す図である。
検索条件入力領域２０２には、検索条件の一つとなる基準画像としての代表画像を表示する代表画像表示領域２０４が含まれている。代表画像表示領域２０４には、画像取得部６０１が取得した複数のＬＦ画像データからユーザが選択した代表画像データに基づく画像が表示されている。検索結果表示領域２０３には、類似度決定部６０４における検索処理により、代表画像に類似した画像が表示される。

代表画像表示領域２０４の右側には、表示されている代表画像のフォーカス位置を示すフォーカス位置表示バー２０５が設けられている。フォーカス位置表示バー２０５の上側は、奥側のフォーカス位置に対応し、フォーカス位置表示バー２０５の下側は、手前側のフォーカス位置に対応する。フォーカス位置表示バー２０５の中の黒色で示されたフォーカスマーカー２０６は、表示中の代表画像のフォーカス位置に対応しており、ユーザは、フォーカスマーカー２０６の中央位置、又はフォーカスマーカー２０６の両端の位置を移動させることにより、代表画像におけるフォーカス位置を変更することができる。なお、図９における代表画像は、内視鏡により胃を撮影した画像であり、腫瘍２０７にフォーカスが合った状態を示している。

検索条件入力領域２０２には、ユーザが代表画像データを指定するための代表画像指定領域２０８が設けられている。ユーザが、代表画像データとして使用したい画像データのパス名又は画像データ名を代表画像指定領域２０８に入力すると、入力されたパス名又は画像データ名に対応するＬＦ画像データが、代表画像表示領域２０４に表示される。代表画像表示領域２０４には、代表画像データのデフォルト状態のフォーカス位置に対応する画像が最初に表示される。

検索条件入力領域２０２には、検索して検索結果表示領域２０３に表示する対象となるＬＦ画像データのフォーカス範囲を指定するためのフォーカス範囲指定バー２０９が含まれている。フォーカス範囲指定バー２０９の右側は、奥行き方向の奥側のフォーカス位置に対応し、左側は、奥行き方向の手前側のフォーカス位置に対応する。フォーカス範囲指定バー２０９の中の黒色のフォーカスマーカー２１０は、検索する対象とするフォーカス範囲に対応しており、ユーザは、フォーカスマーカー２１０の中央位置又は両端の位置を調整することにより、フォーカス範囲を調整することができる。

なお、検索条件取得部６０２は、フォーカス位置表示バー２０５におけるフォーカスマーカー２０６が示す代表画像データのフォーカス範囲を、リフォーカス画像を生成する際に用いるフォーカス範囲として取得してもよい。また、検索条件取得部６０２は、フォーカス位置表示バー２０５におけるフォーカスマーカー２０６の範囲に対応するフォーカス範囲、及びフォーカス範囲指定バー２０９におけるフォーカスマーカー２１０の範囲に対応するフォーカス範囲の両方に含まれる範囲を、リフォーカス画像を生成する際に用いるフォーカス範囲として取得してもよい。

また、検索条件取得部６０２は、ユーザがフォーカス範囲指定バー２０９を用いてフォーカス範囲を調整しやすいように、デフォルト状態において、フォーカス範囲指定バー２０９におけるフォーカスマーカー２１０の位置が、フォーカス位置表示バー２０５の中のフォーカスマーカー２０６に対応する位置になるようにしてもよい。

検索条件入力領域２０２には、その他の検索条件を指定する条件指定領域２１１も含まれている。条件指定領域２１１において、ユーザは、検索対象とするＬＦ画像データに付加されている情報の種別を指定することができる。例えば、図９においては、付加情報Ａが「有」とされているので、付加情報Ａが付されたＬＦ画像データに絞り込んで検索される。なお、ＬＦ画像データが医療画像データである場合、付加情報は、例えば、医師による診断履歴の有無を示す情報である。

検索結果表示領域２０３には、検索により抽出されたリフォーカス画像２１２が表示される。図９におけるリフォーカス画像２１２は、代表画像に類似しているとともに、フォーカス範囲指定バー２０９において指定されたフォーカス範囲にフォーカス位置がある画像である。

図１０は、リフォーカス画像２１２の一例を示す図である。リフォーカス画像２１２は、腫瘍３０１にフォーカスが合った状態で表示されている。リフォーカス画像２１２の右側のフォーカス範囲バー３０２は、リフォーカス画像２１２の元となったＬＦ画像データに基づいて再構築できる全フォーカス範囲を示しており、上側が奥行き方向の奥側に対応し、下側が奥行き方向の手前側に対応している。黒色で示されたフォーカスマーカー３０３は、全フォーカス範囲のうちのどの位置にフォーカスが合っているかを示している。

図８に戻って、画像生成部６０３は、画像取得部６０１が取得した複数のＬＦ画像データのうち少なくとも一部のＬＦ画像データのフォーカス位置に基づいて、検索条件取得部６０２が取得したフォーカス範囲に含まれる位置にフォーカス位置が設定されたリフォーカス画像データを生成する。画像生成部６０３は、例えば、画像取得部６０１が取得した画像の初期状態のフォーカス位置から、ユーザが指定したフォーカス範囲に含まれる他の位置にフォーカス位置を変更することによりリフォーカス画像データを生成する。

例えば、画像生成部６０３は、まず、画像取得部６０１が取得した複数のＬＦ画像データのうち、検索条件取得部６０２が取得したフォーカス範囲内の位置にフォーカスが合ったリフォーカス画像データを再構築可能なＬＦ画像データを選択する。続いて、画像生成部６０３は、選択したＬＦ画像データを再構築し、再構築した画像データをデコードすることにより、ユーザが指定したフォーカス範囲内の位置をフォーカス位置とするリフォーカス画像データを生成する。フォーカス範囲内に、リフォーカス画像データを生成可能なフォーカス位置が複数存在する場合、画像生成部６０３は、複数のリフォーカス画像データを生成する。

類似度決定部６０４は、検索結果表示領域２０３に表示させるリフォーカス画像を絞り込むために、リフォーカス画像と代表画像との類似度を決定する。類似度決定部６０４は、例えば、リフォーカス画像及び代表画像に含まれる高周波成分を抽出して、夫々の輪郭情報を生成し、夫々の輪郭情報の差分の大きさに基づいて、リフォーカス画像と代表画像との類似度を決定する。類似度決定部６０４は、決定した類似度が所定の範囲内のリフォーカス画像データを表示制御部６０５へと出力する。類似度の範囲は、予め定められた範囲であってもよく、検索条件取得部６０２がユーザから取得した範囲であってもよい。

なお、類似度決定部６０４がリフォーカス画像と代表画像との類似度を決定する方法は任意であり、類似度決定部６０４は、リフォーカス画像及び代表画像の対応する座標における色の差分の大きさに基づいて、類似度を決定してもよい。リフォーカス画像及び代表画像が医療画像である場合、類似度決定部６０４は、夫々の画像に写っている部位が身体のどの部位であるかを特定し、リフォーカス画像及び代表画像に含まれている部位が同一の部位であるか否かを判定することにより、類似度を決定してもよい。

表示制御部６０５は、類似度決定部６０４から入力された、類似度が所定の範囲内のリフォーカス画像を表示部４０に表示させる。表示制御部６０５は、例えば、図９に示すように、複数のリフォーカス画像をマトリクス状に並べた状態で表示部４０に表示させる。

［画像処理装置１００の動作手順を示すフローチャート］
図１１は、画像処理装置１００の動作手順を示すフローチャートである。
まず、検索条件取得部６０２は、検索条件を取得する（Ｓ１１）。続いて、画像生成部６０３は、検索条件取得部６０２が取得した検索条件に基づいて、画像取得部６０１が取得したＬＦ画像データのうち、検索条件として指定されたフォーカス範囲に含まれる位置をフォーカス位置とするＬＦ画像データをデコードすることにより、リフォーカス画像データを生成する（Ｓ１２）。

続いて、類似度決定部６０４は、Ｓ１２において生成されたリフォーカス画像データと代表画像データとの類似度を決定することにより、検索処理を実施する（Ｓ１３）。類似度決定部６０４は、Ｓ１２において生成されたリフォーカス画像データの全てに対して代表画像との類似度を決定するまで検索処理を実施する。類似度決定部６０４が、全てのリフォーカス画像データに対する検索処理が終了すると（Ｓ１４においてＹｅｓ）、表示制御部６０５は、検索結果として、類似度が所定の範囲内のリフォーカス画像データに基づく画像を表示部４０に表示させる（Ｓ１５）。Ｓ１４において、検索処理が終了していないリフォーカス画像データが残っている場合、類似度決定部６０４は、Ｓ１２に戻り、Ｓ１２からＳ１４までの処理を繰り返す。このようにすることで、画像処理装置１００は、ユーザが所望する位置にフォーカスが合っており、かつ代表画像に類似する画像を検索して表示することができる。

（変形例）
上記の説明において、類似度決定部６０４は、代表画像データと画像生成部６０３が生成したリフォーカス画像データとの類似度を決定したが、類似度決定部６０４は、画像生成部６０３がリフォーカス画像データを生成する前に、画像取得部６０１が取得したＬＦ画像データと代表画像データとの類似度を決定してもよい。この場合、類似度決定部６０４は、代表画像データに類似するＬＦ画像データを抽出して画像生成部６０３に入力する。画像生成部６０３は、類似度決定部６０４から入力されたＬＦ画像データのうち、検索条件取得部６０２が取得した検索条件を満たすフォーカス位置のリフォーカス画像データを再構築する。画像処理装置１００は、このようにしても、ユーザが所望する位置にフォーカスが合っており、かつ代表画像に類似する画像を検索して表示することができる。

［第１の実施形態における効果］
以上説明したように、第１の実施形態に係る画像処理装置１００における画像生成部６０３は、画像取得部６０１が取得したＬＦ画像データのフォーカス位置を、検索条件として取得したフォーカス範囲に含まれる位置に変更したリフォーカス画像データを生成し、生成したリフォーカス画像データのうち、代表画像データに類似するリフォーカス画像データに基づく画像を表示部４０に表示させる。このようにすることで、画像処理装置１００は、多数のＬＦ画像データから、所望の位置にフォーカスが合っており、かつ基準となる画像データに類似する画像データを容易に検索して表示することができる。

本実施形態に係る画像処理装置１００は、例えば、医師が、患者の検査画像を代表画像として指定し、患部の可能性があると考えられる部分に対して、過去の類似症例の画像と比較する場合に好適である。代表画像としてユーザが選択した検査画像の手前側に腫瘍らしき部位が見られる場合、医師は、過去の類似症例のＬＦ画像データを再構築する際に使用するフォーカス位置の範囲を手前側に指定することにより、腫瘍らしき部位と比較する際に有効な、手前側に腫瘍がある過去の類似症例の画像データを検索することができる。医師は、逆に、代表画像における奥行き方向の奥側に小さく腫瘍が見られる場合に、フォーカス範囲を奥側に指定することにより、奥側に腫瘍がある過去の類似症例の画像データを検索することが可能になる。このようにすることで、医師が、類似した症例を詳細に検証したい場合に、検証の対象となる患部にフォーカスが合っておらず、検証に使用できない画像が表示されることを防ぐことができるので、医療画像の確認作業の効率が向上する。

＜第２の実施形態＞
第１の実施形態における画像処理装置１００は、指定されたフォーカス範囲内にフォーカス位置があるリフォーカス画像データを生成した後に、リフォーカス画像データの全領域を用いて、リフォーカス画像データと代表画像データとの類似度を決定した。これに対して、第２の実施形態に係る画像処理装置１００は、リフォーカス画像データの全領域のうち、フォーカスが合っている領域を用いて、リフォーカス画像データと代表画像データとの類似度を決定する点で、第１の実施形態と異なる。

図１２は、第２の実施形態におけるリフォーカス画像４０１を示す図である。フォーカス範囲バー３０２において黒色に示されたフォーカスマーカー３０３は、リフォーカス画像４０１において、奥行き方向の手前側の領域にフォーカスが合っていることを示している。フォーカス範囲バー３０２において斜線で示された部分は、リフォーカス画像４０１におけるフォーカス範囲外の位置を示している。

リフォーカス画像４０１における斜線で示された領域４０２は、奥行き方向の奥側の領域であり、フォーカスが合っていない領域である。類似度決定部６０４は、リフォーカス画像データに含まれる複数の画素のうち、フォーカス範囲においてフォーカスが合っていない領域４０２の画素を、代表画像との類似度を決定するために用いる画素から除外する。すなわち、類似度決定部６０４は、領域４０２以外のフォーカスが合った領域（奥行方向の手前側の領域）の画素を用いて、リフォーカス画像データと代表画像データとの類似度を決定することにより、ユーザが所望するリフォーカス画像データを検索する。このようにすることで、類似度決定部６０４は、類似度の決定精度を向上させることができるので、代表画像に類似するリフォーカス画像データが表示される確率が高まる。

図１３は、第２の実施形態に係る画像処理装置１００の動作手順を示すフローチャートである。Ｓ２１及びＳ２２においては、図１１におけるＳ１１及びＳ１２と同様の処理が行われる。画像生成部６０３は、Ｓ２２においてリフォーカス画像データを生成した後に、リフォーカス画像データを解析し、フォーカス範囲においてフォーカスが合っていない領域４０２を判別する（Ｓ２３）。画像生成部６０３は、フォーカスが合っていない領域４０２を、類似度決定部６０４が代表画像データとの類似度を決定するために用いる領域から除外し（Ｓ２４）、フォーカスが合っている領域の画素を特定するための座標を類似度決定部６０４に通知する。類似度決定部６０４は、画像生成部６０３から通知を受けた座標に対応する画素の値を、代表画像における当該座標に対応する画素の値と比較することにより、リフォーカス画像データと代表画像データとの類似度を決定することで、所望のリフォーカス画像データを検索する（Ｓ２５）。Ｓ２６及びＳ２７においては、図１１におけるＳ１４及びＳ１５と同様の処理が行われる。

なお、Ｓ２４において、リフォーカス画像データに、フォーカス範囲においてフォーカスが合っている領域がないことが判明した場合、画像処理装置１００は、類似度決定部６０４において当該リフォーカス画像データと代表画像データとの類似度を決定することなく、Ｓ２２に戻ってもよい。

［第２の実施形態における効果］
以上説明したように、第２の実施形態に係る画像処理装置１００は、検索条件として指定されたフォーカス範囲に含まれる位置にフォーカス位置が設定されているリフォーカス画像の領域のうち、フォーカス位置においてフォーカスが合っていない領域を除外して、リフォーカス画像データと代表画像データとの類似度を決定する。このようにすることで、画像処理装置１００は、リフォーカス画像データと代表画像データとの比較に用いられる画素数が低減するので、検索時間を短縮することができる。また、画像処理装置１００は、フォーカスが合った領域を用いて類似度を決定することができるので、検索の精度を向上させることができる。このような検索処理は、ユーザが指定したフォーカス範囲においてフォーカスが合った部位を詳細に観察する用途において好適である。

＜第３の実施形態＞
第１の実施形態における画像処理装置１００は、指定されたフォーカス範囲内にフォーカス位置がある全てのリフォーカス画像データを検索対象として用いて、類似度決定部６０４において代表画像データとの類似度を決定した。これに対して、第３の実施形態における画像処理装置１００は、フォーカス位置においてフォーカスが合っている領域が所定の割合以上含まれているリフォーカス画像データを検索対象とし、フォーカスが合っている領域が所定の割合より小さいリフォーカス画像データを検索対象から除外する点で異なる。

図１４は、第３の実施形態におけるリフォーカス画像５０１を示す図である。フォーカス範囲バー３０２において黒色に示されたフォーカスマーカー３０３は、リフォーカス画像５０１において、奥行き方向の手前側の領域にフォーカスが合っていることを示している。フォーカス範囲バー３０２において斜線で示された部分は、リフォーカス画像５０１におけるフォーカス範囲外の位置を示している。

リフォーカス画像５０１における斜線で示された領域５０２は、奥行き方向の奥側の領域であり、フォーカスが合っていない領域である。画像生成部６０３は、リフォーカス画像データのうち、フォーカス範囲においてフォーカスが合っている領域の画素の割合が所定の割合以上のリフォーカス画像データを選択し、選択したフォーカス画像データを類似度決定部６０４に入力する。類似度決定部６０４は、画像生成部６０３により選択された、フォーカス範囲においてフォーカスが合っている領域の画素の割合が所定の割合以上のリフォーカス画像データと代表画像データとの類似度を決定することにより、ユーザが所望するリフォーカス画像データを検索する。

画像生成部６０３が、リフォーカス画像データを検索対象とするか否かを決定する際に用いるフォーカスが合っている領域の割合の閾値は、予め設定された値であってもよく、操作部３０を介してユーザにより設定された値であってもよい。

図１５は、第３の実施形態に係る画像処理装置１００の動作手順を示すフローチャートである。Ｓ３１からＳ３３においては、図１３におけるＳ２１からＳ２３と同様の処理が行われる。画像生成部６０３は、Ｓ３３においてリフォーカス画像データを解析した結果、フォーカス範囲外においてフォーカスが合っている領域の割合が、所定の閾値よりも小さい否かを判定する（Ｓ３４）。

Ｓ３４において、画像生成部６０３が、フォーカス範囲内においてフォーカスが合っている領域の割合が閾値以上であると判定した場合（Ｓ３４においてＹｅｓ）、類似度決定部６０４は、Ｓ３４においてＹｅｓと判定されたリフォーカス画像データと代表画像データとの類似度を決定することで、所望のリフォーカス画像データを検索する（Ｓ３５）。Ｓ３４において、画像生成部６０３が、フォーカス範囲内においてフォーカスが合っている領域の割合が閾値より小さいと判定した場合（Ｓ３４においてＮｏ）、類似度決定部６０４は、Ｓ３４においてＮｏと判定したリフォーカス画像データを検索対象から除外して、Ｓ３２に戻る。Ｓ３６及びＳ３７の処理は、図１３におけるＳ２６及びＳ２７の処理と同様である。

［第３の実施形態における効果］
以上説明したように、第３の実施形態に係る画像処理装置１００は、フォーカス範囲内においてフォーカスが合っている領域の割合が所定の閾値以上であるリフォーカス画像データを検索対象とするので、不要な画像データを検索対象から除外できる。したがって、画像処理装置１００は、検索処理に要する時間を短縮できるとともに、ユーザが使用する価値が低い画像データが表示されることを防止できる。

＜第４の実施形態＞
第１の実施形態においては、画像取得部６０１が取得する画像データがＬＦ画像データである場合を想定していたが、第４の実施形態においては、画像取得部６０１が、ＬＦ画像データではない画像データであって、フォーカス位置を示すフォーカス位置情報を含む画像データを取得する点で第１の実施形態と異なる。フォーカス位置情報を含む画像データとは、例えばＪＰＥＧ画像データであり、ＥＸＩＦ（Exchangeable Image File Format）形式のヘッダ情報に、フォーカス位置を示す情報が含まれた画像データである。画像生成部６０３は、フォーカス位置を示す情報が含まれた画像データのうち、フォーカス位置情報が示すフォーカス位置が、検索条件取得部６０２において指定されたフォーカス範囲に含まれている画像データを、表示部４０に表示する対象となるリフォーカス画像データの一つとすることができる。

図１６は、第４の実施形態に係る画像処理装置１００の動作手順を示すフローチャートである。Ｓ４１においては、図１１におけるＳ１１と同様の処理が行われる。

Ｓ４２において、画像生成部６０３は、画像取得部６０１から入力された検索対象の画像データがＬＦ画像データであるか否かを判定する（Ｓ４２）。画像生成部６０３は、検索対象の画像データがＬＦ画像データである場合（Ｓ４２においてＹｅｓ）、図１１におけるＳ１２及びＳ１３と同様に、リフォーカス画像を生成して（Ｓ４３）、検索処理を実施する（Ｓ４６）。画像生成部６０３は、検索対象の画像データがＬＦ画像データでない場合（Ｓ４２においてＮｏ）、検索対象の画像データに、フォーカス位置を示す付加データが存在するか否かを判定する（Ｓ４４）。

画像生成部６０３は、検索対象の画像データにフォーカス位置を示す付加データが存在する場合（Ｓ４４においてＹｅｓ）、付加データが示すフォーカス位置が、検索条件取得部６０２が取得した検索条件が示すフォーカス範囲に含まれているか否かを判定する（Ｓ４５）。画像生成部６０３は、付加データが示すフォーカス位置が、検索条件が示すフォーカス範囲に含まれている場合（Ｓ４５においてＹｅｓ）、Ｓ４６に進み、類似度決定部６０４が、リフォーカス画像データと代表画像データとの類似度を決定することで、所望のリフォーカス画像データを検索する。Ｓ４４及びＳ４５においてＮｏと判定された場合、Ｓ４７に進む。Ｓ４７及びＳ４８においては、図１１におけるＳ１４及びＳ１５と同様の処理が行われる。

［第４の実施形態における効果］
以上説明したように、第４の実施形態に係る画像処理装置１００は、ＬＦ画像データとともに、フォーカス位置を示す付加情報が含まれているＪＰＥＧ画像データ等のＬＦ画像データ以外の画像データを検索対象として用いることができる。したがって、ユーザは、より多くの画像データから所望の画像データを検索することが可能になる。

＜第５の実施形態＞
第１の実施形態に係る画像処理装置１００は、検索条件の一つとしてフォーカス範囲を用いたが、第５の実施形態に係る画像処理装置１００は、検索条件として、画像が撮影された時刻の範囲も用いる点で、第１の実施形態に係る画像処理装置１００と異なる。

画像取得部６０１は、撮影された時刻を示す時刻情報を含むＬＦ画像データを取得する。検索条件取得部６０２は、複数のＬＦ画像の夫々が撮影された時刻の範囲を検索条件の一つとして取得する。検索条件取得部６０２は、年月日、時間、分、秒等の任意の単位により示される時刻の範囲を検索条件として取得することができる。

画像生成部６０３は、複数のＬＦ画像データのうち、検索条件取得部６０２が取得した時刻の範囲に含まれる時刻に撮影された画像に対応するＬＦ画像データのフォーカス位置を、検索条件取得部６０２において指定されたフォーカス範囲に含まれる位置に変更することによりリフォーカス画像データを生成する。具体的には、画像生成部６０３は、まず、複数のＬＦ画像データから、検索条件としての時刻の範囲に含まれる時刻に撮影されたＬＦ画像データを抽出する。続いて、画像生成部６０３は、抽出したＬＦ画像データに基づいて、指定されたフォーカス範囲に含まれるフォーカス位置のリフォーカス画像データを生成する。類似度決定部６０４は、画像生成部６０３が生成したリフォーカス画像データと代表画像データとの類似度を決定することにより、代表画像に類似する画像を検索する。

［第５の実施形態における効果］
以上説明したように、第５の実施形態に係る画像処理装置１００は、所定の時刻に撮影されたＬＦ画像のうち、所定のフォーカス範囲にフォーカス位置が含まれているＬＦ画像を検索することができる。このようにすることで、例えば、運動会のように、類似する画像が大量にある場合に、画像処理装置１００は、撮影された時刻によって検索対象とする画像を絞り込むことができるので、検索に要する時間を短縮することができる。

なお、第５の実施形態に係る画像処理装置１００は、第２の実施形態から第４の実施形態までにおける処理を組み合わせて実行してもよい。画像処理装置１００は、例えば、第３の実施形態のように、フォーカスが合った領域が所定の割合以上のリフォーカス画像を検索対象とすることにより、運動会の特定の競技において撮影され、子供の顔にフォーカスが合ったリフォーカス画像のみを検索することができる。このようにすることで、ユーザは、特定の競技で撮影され、子供の顔にフォーカスが合ったリフォーカス画像の中から、子供の表情が最も良いリフォーカス画像を容易に選択することが可能になる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、上記の実施形態においては、医療画像及び運動会で撮影されたＬＦ画像を例示したが、ＬＦ画像は任意の用途で撮影された画像であってもよい。

１００・・・画像処理装置
６０１・・・画像取得部
６０２・・・検索条件取得部
６０３・・・画像生成部
６０４・・・表示制御部

Claims (15)

1. フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な複数の画像を取得する画像取得手段と、
   前記複数の画像から一部の画像を検索するための条件として、前記フォーカス位置の範囲であるフォーカス範囲を取得する条件取得手段と、
   前記複数の画像のうち少なくとも一部の画像に基づいて、前記フォーカス範囲に含まれる位置に前記フォーカス位置が設定されたリフォーカス画像を生成する画像生成手段と、
   前記リフォーカス画像を表示手段に表示させる表示制御手段と、
   を有することを特徴とする画像処理装置。
2. 前記条件取得手段は、前記リフォーカス画像を生成する基準となる基準画像を取得し、前記基準画像の前記フォーカス位置として指定された位置の範囲を、前記フォーカス範囲として取得することを特徴とする、
   請求項１に記載の画像処理装置。
3. 前記リフォーカス画像と前記基準画像との類似度を決定する類似度決定手段をさらに有し、
   前記表示制御手段は、前記類似度決定手段が決定した前記類似度が所定の範囲内の前記リフォーカス画像を前記表示手段に表示させることを特徴とする、
   請求項２に記載の画像処理装置。
4. 前記類似度決定手段は、前記リフォーカス画像に含まれる複数の画素のうち、前記フォーカス範囲においてフォーカスが合っていない領域の画素を、前記基準画像との前記類似度を決定するために用いる画素から除外することを特徴とする、
   請求項３に記載の画像処理装置。
5. 前記画像生成手段は、前記リフォーカス画像のうち、前記フォーカス範囲においてフォーカスが合っている領域の画素の割合が所定の割合以上の前記リフォーカス画像を選択し、
   前記表示制御手段は、前記画像生成手段が選択した前記リフォーカス画像を前記表示手段に表示させることを特徴とする、
   請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記画像取得手段は、前記フォーカス位置を示すフォーカス位置情報を含む画像を取得し、
   前記画像生成手段は、前記フォーカス位置情報が示す前記フォーカス位置が前記フォーカス範囲に含まれている前記画像を、前記リフォーカス画像とすることを特徴とする、
   請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記条件取得手段は、前記複数の画像の夫々が撮影された時刻の範囲を前記条件の一つとして取得し、
   前記画像生成手段は、前記複数の画像のうち、前記時刻の範囲に含まれる時刻に撮影された画像の前記フォーカス位置を、前記フォーカス範囲に含まれる位置に変更することにより前記リフォーカス画像を生成することを特徴とする、
   請求項１から６のいずれか１項に記載の画像処理装置。
8. フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な複数の画像を取得するステップと、
   前記複数の画像から一部の画像を検索するための条件として、前記フォーカス位置の範囲であるフォーカス範囲を取得するステップと、
   前記複数の画像のうち少なくとも一部に基づいて、前記フォーカス範囲に含まれる位置に前記フォーカス位置が設定されたリフォーカス画像を生成するステップと、
   前記リフォーカス画像を表示手段に表示させるステップと、
   を有することを特徴とする画像処理方法。
9. 前記フォーカス範囲を取得するステップは、
   前記リフォーカス画像を生成する基準となる基準画像を取得するステップと、
   前記基準画像の前記フォーカス位置として指定された位置の範囲を、前記フォーカス範囲として取得するステップと、
   を含むことを特徴とする、
   請求項８に記載の画像処理方法。
10. 前記リフォーカス画像と前記基準画像との類似度を決定するステップをさらに有し、
    前記表示させるステップにおいて、前記類似度が所定の範囲内の前記リフォーカス画像を前記表示手段に表示させることを特徴とする、
    請求項９に記載の画像処理方法。
11. 前記類似度を決定するステップにおいて、前記リフォーカス画像に含まれる複数の画素のうち、前記フォーカス範囲においてフォーカスが合っていない領域の画素を、前記基準画像との前記類似度を決定するために用いる画素から除外することを特徴とする、
    請求項１０に記載の画像処理方法。
12. 前記画像を生成するステップにおいて、前記リフォーカス画像のうち、前記フォーカス範囲においてフォーカスが合っている領域の画素の割合が所定の割合以上の前記リフォーカス画像を選択し、
    前記表示するステップにおいて、前記画像を生成するステップにおいて選択した前記リフォーカス画像を前記表示手段に表示させることを特徴とする、
    請求項８から１１のいずれか１項に記載の画像処理方法。
13. 前記画像を取得するステップにおいて、前記フォーカス位置を示すフォーカス位置情報を含む画像を取得し、
    前記画像を生成するステップにおいて、前記フォーカス位置情報が示す前記フォーカス位置が前記フォーカス範囲に含まれている前記画像を、前記リフォーカス画像とすることを特徴とする、
    請求項８から１２のいずれか１項に記載の画像処理方法。
14. 前記条件を取得するステップにおいて、前記複数の画像の夫々が撮影された時刻の範囲を前記条件の一つとして取得し、
    前記画像を生成するステップにおいて、前記複数の画像のうち、前記時刻の範囲に含まれる時刻に撮影された画像の前記フォーカス位置を、前記フォーカス範囲に含まれる位置に変更することにより前記リフォーカス画像を生成することを特徴とする、
    請求項８から１３のいずれか１項に記載の画像処理方法。
15. コンピュータに、
    フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な複数の画像を取得するステップと、
    前記複数の画像から一部の画像を検索するための条件として、前記フォーカス位置の範囲であるフォーカス範囲を取得するステップと、
    前記複数の画像のうち少なくとも一部の画像に基づいて、前記フォーカス範囲に含まれる位置に前記フォーカス位置が設定されたリフォーカス画像を生成するステップと、
    前記リフォーカス画像を表示手段に表示させるステップと、
    を実行させることを特徴とする画像処理用プログラム。