JP2015221089A - 画像生成装置および画像生成方法 - Google Patents
画像生成装置および画像生成方法 Download PDFInfo
- Publication number
- JP2015221089A JP2015221089A JP2014106233A JP2014106233A JP2015221089A JP 2015221089 A JP2015221089 A JP 2015221089A JP 2014106233 A JP2014106233 A JP 2014106233A JP 2014106233 A JP2014106233 A JP 2014106233A JP 2015221089 A JP2015221089 A JP 2015221089A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- calculation unit
- correlation
- image generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 58
- 238000004364 calculation method Methods 0.000 claims abstract description 74
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 13
- 230000004075 alteration Effects 0.000 claims description 8
- 238000005314 correlation function Methods 0.000 claims description 8
- 238000002156 mixing Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 210000004204 blood vessel Anatomy 0.000 description 21
- 230000003044 adaptive effect Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 14
- 210000001525 retina Anatomy 0.000 description 13
- 238000012937 correction Methods 0.000 description 12
- 238000005259 measurement Methods 0.000 description 12
- 210000000608 photoreceptor cell Anatomy 0.000 description 12
- 238000012545 processing Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 206010030113 Oedema Diseases 0.000 description 3
- 230000000740 bleeding effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000010187 selection method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 208000002177 Cataract Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002445 nipple Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G06T3/14—
-
- G06T3/147—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Abstract
【解決手段】複数の画像各々の間の相関度を算出する算出手段と、複数の画像の特徴量を算出する第二の算出手段と、該算出手段と該第二の算出手段との算出結果に基づいて、複数の画像を貼り合せて生成するパノラマ画像を生成するための複数の画像の位置合わせを行う順番を決定する順番決定手段と、を画像処理装置内に配する。
【選択図】図1
Description
前記複数の画像各々の間の相関度を算出する算出手段と、
前記算出手段の算出結果に基づいて、前記複数の画像を貼り合せて生成するパノラマ画像を生成するための前記複数の画像の位置合わせを行う順番を決定する順番決定手段と、を有することを特徴とする。
図1は、本実施例に係る画像生成装置10の機能構成を示したものであり、図2の補償光学SLO装置と接続されている。図1において、信号取得部100は、補償光学SLO装置から網膜からの反射信号や画像生成に必要な他の情報を取得する。取得した情報は制御部120を通じて記憶部130に記憶される。140は画像生成部であり、取得した情報を用いて反射信号を画像化する。そして生成した画像を用いて、画像特徴算出部151は生成した画像を用いてそれぞれの画像の特徴量を算出し、画像相関算出部152は各画像間の相関度を算出する。位置合わせ部153は、それらの演算結果を用いて位置合わせの順番を決定する。また、位置合わせ部153は、決定した順番に従って、順次位置合わせと画像貼り合わせとを行う。このようにして画像処理部150が演算を行い、パノラマ画像を生成する。出力部160は、生成した画像を不図示のモニタ等に出力する。
次に、図3のフローチャートを参照して、本実施形態の画像生成装置10の処理手順を説明する。
ステップS310において、信号取得部100は、画像生成装置10に接続される補償光学SLO装置から取得された複数の画像、または動画の信号情報を取得する。信号情報は、網膜の撮影に用いられるガルバノスキャナ、共振スキャナの位置信号、及び撮影によって取得された網膜からの反射信号などである。取得された信号情報は、制御部120を通じて記憶部130に保存される。
ステップS320において、画像生成部140は、記憶部130に保存されている補償光学SLO装置により取得された信号情報からそれぞれの画像、または動画を生成する。すなわち、画像生成部140はWFSLO像およびWFSLO像よりも小画角な収差が補正された画像(AOSLO像)を生成する。取得された画像、または動画は、制御部120を通じて記憶部130に保存される。本実施例では、取得画像、または動画は一般的な四角形の形状を取るが、これに限定されるものではない。
ステップS330において、画像特徴算出部151は、ステップS320で取得されたそれぞれの画像、または動画における特徴領域の特徴量を算出する。そうして算出した特徴量を、制御部120を通じて記憶部130に保存する。すなわち、該画像特徴算出部151は、本実施例での複数の画像の特徴量を算出する第二の算出手段として機能する。
なお、第一の特徴量および第2の特徴量のどちらかの特徴量のみを、算出しても十分な結果を得られる場合は、計算量を減らすために、片方の特徴量のみを対象にしてよい。また特徴量算出の方法は、ここに書かれている対象や方法のみならず、画像位置合わせを行うことができる画像内構造物であれば類を問わない。また上記の二つ以上の特徴量を用いてもよい。
ステップS410において、画像特徴算出部151は、ステップS320で取得された画像、または動画のうち特徴量算出に使用する少なくとも1枚の画像を選択する。例えば、画像特徴算出部151はステップS320で取得された全てのWFSLO像を選択する。また、WFSLO像を選択する際に予め画像の輝度を取得し、輝度が所定値以下の場合には選択しないこととしてもよい。輝度が所定値以下の画像からは後述するステップS420,430で十分な特徴量が検出できない虞があり、輝度が所定値以下の画像を選択しないことで無駄な処理を省くことが可能となる。なお、WFSLO像だけではなくAOSLO像を選択することとしてもよいし、AOSLO像のみを選択することとしてもよい。
また、動画の場合、少なくとも1動画内の画像のうち後述のステップS420、430で算出される特徴量の最も大きいものを選択してもよい。これはどちらかのみを用いてもよいし、どちらかに優先順位をつけて選定するなどしてもよい。また少なくとも1動画内の各フレームの画像間位置合わせを行い、瞬きにより輝度が極端に低いフレームや固視微動により画像歪みが生じているフレーム、収差補正不良によりS/N比が低いフレームを例外フレームとしてこれらを除き、残りの画像を用いて平均化画像を生成して、これを用いてもよい。
なお、画角が所定値以上の画像においてはステップS420,430を省略することとしてもよい。例えば、WFSLO像がステップS410で選択された場合にはステップS420,430を省略することとしてもよい。
ステップS420において、画像特徴算出部151は、ステップS410で選ばれた少なくとも一つ以上の画像の第一の特徴量を算出する。図7に血管を対象とした第一の特徴量を算出する画像の例を提示する。図の下に眼底の画角の広い画像を示し、左側に乳頭があり、画像中上から下にかけて右方向に伸びるアーケード血管がみられる。そして、図上に広画角の画像上に四角でかこってあるアーケード血管近傍の太い血管の上を撮影した小画角の画像を示した。当該ステップでは、まず各画像における平均輝度値Ai及び血管領域Viを取得する。
ステップS430において、画像特徴算出部151は、ステップS410で選ばれた少なくとも一つ以上の画像の第二の特徴量を算出する。ステップS420で検出した大きな構造物である領域Vi以外の構造物を、第二の特徴量を検出するための第二の特徴領域として検出する。例えば、上記の領域Viである血管や病変部の中には視細胞ははっきりと観察されないので、第二の特徴量の算出対象は、網膜画像中の視細胞に相当する。
ステップS340において、画像相関算出部152は、ステップS320で取得された画像のうちステップS410によって選択された画像間の相関情報を例えば相関度として算出する。そうして算出した各画像間の相関についての情報を、制御部120を通じて記憶部130に保存する。該画像相関算出部152は、本実施例において、複数の画像各々の間の相関度を算出する算出手段として機能する。
図5に画像の相関の算出(ステップS340)の詳細を説明するためのフローチャートを示す。少なくとも2つ以上の組み合わせの画像間の相関の度合いを算出して、画像間の関連性を評価する。
ステップS510において、画像相関算出部152は、ステップS410によって取得された画像のうち、少なくとも一つの画像を選択する。なお、ステップS410によって取得された画像のうち全ての画像を選択することとしてもよいし、WFSLO像のみを選択することとしてもよい。また、AOSLO像のみを選択することとしてもよい。
なお、すべての画像が同じ画角である場合、それらのすべて、もしくは複数の組み合わせの相関の程度、例えば相関度を算出するので、どれを選択してもよい。また、ステップS410によって選択した画像のうち特徴量の大きな画像のみを基準画像として選んでもよい。また複数の画角の画像が含まれる場合、一番初めは最大画角とすると、より多くの画像の相関度を算出できる可能性がある。またこれらはユーザーの指定の画像のみを選択してもよい。
ステップS520において、画像相関算出部152は、ステップS510で選択された基準画像に対して、組み合わせ画像としてその他の画像を少なくとも一つずつ選択する。すべての画像が同じ画角である場合、ここではどれを選んでもよい。また複数の画角の画像が含まれる場合、画角が同じ、もしくは近いもののみを選ぶほうが、計算量を減らすことができるが、その選択方法は限定されない。なお、ステップS510においてWFSLO像を選択し、ステップS520において同一画角の画像のみを選択することとしてもよいし、ステップS520においてAOSLO像等のWFSLO像よりも狭い画角の画像を選択することとしてもよい。
ステップS530において、画像相関算出部152は、ステップS510、520で選択された少なくとも二つずつ、即ち少なくとも二つ以上の画像間の粗位置合わせを行う。固視の良い被検眼の場合で、固視灯を用いた場合など、精度は保証されないが、ある程度位置のわかる画像については、その予想される位置を探索の初期位置とすると計算量が減る可能性がある。すなわち、各画像に対応付けられた固視に関する情報に基づいて位置合わせを行うこととしてもよい。
ステップS540において、画像相関算出部152は、ステップS530で相関度を算出した組み合わせ画像について位置合わせを行った回数が、M回目である場合、ステップS550に進む。本実施例では、Mは基準画像に対してすべての画像の組み合わせの数に対応するが、これは限定されない。また、ステップS530で相関度を算出した組み合わせ画像について位置合わせを行った回数がM回目より小さい場合は、ステップS520に戻って、まだ行っていない組み合わせ画像を選択してステップS530を繰り返す。
ステップS550において、基準画像すべてに対して粗位置合わせが行われたか否かを判定する。ここでステップS510で相関度を算出するために選択した基準画像がN枚であるとする。画像相関算出部152は、ステップS520から540で取得した、ある基準画像に対してすべての組み合わせ画像での相関度が算出される。粗位置合わせを行った回数が選択された基準画像の数であるNと等しいN回目である場合、この工程は終了する。本実施例では、Nはすべての基準画像の数であるが、これは限定されない。ここでステップS520から540で取得したすべての組み合わせ画像での相関度が算出された基準画像の数が、Nより小さい場合は、ステップS510に戻って、まだ行っていない基準画像を選択してステップS520から540を繰り返す。
ステップS350において、位置合わせ部153は、ステップS330、340で取得された各画像の特徴量と画像間相関情報に基づき画像位置合わせと画像貼り合わせを順次行う。そして位置合わせを行った画像の位置情報とパノラマ画像とを、制御部120を通じて記憶部130に保存する。即ち、位置合わせ部153は、本実施例において、画像特徴算出部151と画像相関算出部152との算出結果に基づいて複数の画像を貼り合せてパノラマ画像を生成するための複数の画像の位置合わせを行う際の順番を決定する順番決定手段として機能する。
ステップS610において、位置合わせ部153は、ステップS330、340で取得された各画像の特徴量と画像間相関情報に基づき、位置合わせの順番を決定する。本実施例では、すべての画像が同じ画角である場合の順番の決定法を以下に述べる。
本実施例では、画像の関連性が多く、複数の画像にまたがる大きな特徴を持ち、画像のシャープネスの高い画像を選びたいので、優先順位を(1)、(2)、(3)としてリファレンスフレームを選択するが、これは限定されるものではなくユーザーが選択してもよい。また、(1)−(3)の条件に重み付けをして、全ての条件を考慮してリファレンスフレームを選択することとしてもよいし、(1)−(3)の条件のうち一つの条件のみに基づいてリファレンスアームを選択することとしてもよい。例えば、他の画像との相関度の合計が最も高い画像をリファレンスフレームとしてもよい。
なお、例えば、WFSLO像のみで位置合わせを行う場合には他のWFSLO像に対して最も相関の高い画像をリファレンスフレームとして選択し、その後次に他のWFSLO像に対して相関の高い画像を位置合わせする処理を繰り返す。このように、AOSLO像であっても条件(1)のみを用いて位置合わせ順序を決定することとしてもよい。
例えば図10を用いて位置合わせ順序の決定方法を説明する。図10はWFSLO像上に3枚のAOSLO像が位置合わせされた状態を示している。画角の異なる画像が含まれているため上述の如く最初にリファレンスフレームとしてWFSLO像が選択される。なお、図10においてAOSLO像501は血管等の特徴部分が不鮮明であるものとする。図10の上方における図において、点線は血管を示すものである。
大きな血管が含まれているAOSLO像500はAOSLO像501、502よりもWFSLO像に対して相関度が高くなる。また、AOSLO像502はAOSLO像501よりも鮮明であるためWFSLO像に対して相関度が高くなる。従って、位置合わせ順序はWFSLO像に対して相関度の高い順に、AOSLO像500、AOSLO像502、AOSLO像501の順序で行われる。このようにするとWFSLO像に対して相関度が低く位置合わせが難しいAOSLO像501もAOSLO像500、502の特徴部分を手掛かりに位置合わせを行うことが可能となる。また、AOSLO像500をWFSLO像に位置合わせした後にAOSLO像501を位置合わせする場合に比べて、AOSLO像502も位置合わせの基準として用いることが可能なため位置合わせの精度が向上し失敗を避けることが可能となる。なお、図10の下方のAOSLO像は上方におけるAOSLO像を拡大したものである。図10の下方のAOSLO像501の血管は位置合わせが行われていることを示すために明確に図示しているが、上述したように実際は不鮮明になっている。
ステップS620において、位置合わせ部153は、ステップS610で選択されたリファレンスフレーム、もしくはこれまで位置合わせを行ったパノラマ画像に対して、次に選ばれた位置合わせを行う画像についての粗位置合わせを行う。本実施例ではステップS530で算出された位置を探索の初期位置とする。また探索範囲は、ある程度限定するほうが計算は速く行えるが、全検索してもよい。また粗位置合わせの方法は、ステップS530と同様であり、制御部120を通じて、粗位置合わせの位置情報を記憶部130に保存する。またここである程度相関が低い場合は、マッチングしない画像として制御部120を通じて記憶部130に保存して、ステップS660に進んでよい。
ステップS640において、位置合わせ部153は、ステップS610で選択されたリファレンスフレーム、もしくはこれまで位置合わせを行ったパノラマ画像に対して、選択画像を分割することで得られる各小画像による位置合わせを行う。ここで画像の分割は、画像の特徴によって決めることができ、本実施例では12×12分割で行ったが、この数に限定されるものではない。
ステップS640において、位置合わせ部153は、ステップS630で取得した、リファレンスフレームもしくはこれまで位置合わせを行ったパノラマ画像に対して、位置合わせを行った組み合わせ画像の分割したそれぞれの小画像の位置に基づいて、任意の公知の方法で組み合わせ画像のアフィン係数を決定する。本実施例では、まずステップS630で取得した位置に基づいて、それぞれの小画像の中心位置を平面上に並べた点群Siを作成する。そして、組み合わせ画像の初期に分割のみ行ったそれぞれの小画角の中心位置を点群Aiとする。
ステップS650において、位置合わせ部153は、位置合わせを行った画像の数が、L回目である場合、ステップS660に進む。本実施例では、Lはすべての画像の数であるが、これは限定されない。ここで、ステップS650で位置合わせを行った画像の数が、L回目より小さい場合は、ステップS610に戻って、次に位置合わせを行う画像を選択してステップS610から640を繰り返す。あらかじめ位置合わせの順番が決定されている場合は、S620に戻ってもよい。
ステップS650において、位置合わせ部153は、ステップS610から650で取得した、すべての画像の位置合わせが終了したのち、ステップS620から640でマッチングしなかった画像についてステップS610から640の工程を繰り返し、これら画像について再度位置合わせを行う。マッチングしないエラー画像の数に再度位置合わせを行う回数をかけた数をXとして、ステップS610に戻り、再度位置合わせを行う。ここで、再度の位置合わせの操作を何度か繰り返して位置が合わなくなるまで行ってよいし、その回数や実施するかどうかも限定されない。最終的に位置の合わせでマッチングした画像は、その画像のアフィン値と最終的なパノラマ画像とが制御部120を通じて記憶部130に保存される。また、マッチングしない画像は、不適合画像としての情報としてパノラマ画像に貼り合わせずに、最も相関の近い位置のアフィン値のみを制御部120を通じて記憶部130に保存する。再度位置合わせを実施する場合それが設定されたX回目である場合、この工程は終了する。
ステップS360において、出力部160は、ステップS350において記憶部130に保存された網膜のパノラマ画像を、出力部160を通じてモニタ等に表示する。さらに、ステップS310からステップS350で記憶部130に保存された各画像の特徴量と画像間相関情報などのパラメータ、或いは各画像の位置を特定したアフィン係数をデータベースに保存する。さらにもしユーザーかたの指定があれば、選択された画像のみ貼り合わせを行いパノラマ画像として再出力してもよく、また不適合画像を、最も相関の高い位置にアフィン変形して貼り合わせてもよい。
上記実施例では、特徴量が少なく、高精細で画角の小さい網膜の平面画像についてのものであったが、その他の高解像度の網膜断層撮影装置であるOCTなどの異なるモダリティでの、網膜の断層画像同士による位置合わせや、OCTなどの断層画像の積算によって生成される三次元積算画像の一つの面と本実施例のAO−SLOのような平面画像との位置合わせを行うことも可能である。ここで網膜断層像というのは、被検眼を正面から眼底カメラなどで撮影する際に得られる、正面像に対して垂直である、深さ方向の平面像のことを言う。このように複数のモダリティの画像同士の組み合わせでもよく、2次元、3次元の位置合わせに対しても、同様に画像特有の特徴点をもとに位置合わせの順番を設定することで、位置合わせを行うことが可能であるため、撮影モダリティに限定されない。
100 信号取得部
120 制御部
130 記憶部
140 画像生成部
150 画像処理部
151 画像特徴算出部
152 画像相関算出部
153 位置合わせ部
160 出力部
Claims (23)
- 複数の画像各々の間の相関度を算出する算出手段と、
算出手段の算出結果に基づいて、前記複数の画像を貼り合せて生成するパノラマ画像を生成するための前記複数の画像の位置合わせを行う順番を決定する順番決定手段と、を有することを特徴とする画像生成装置。 - 複数の画像の特徴量を算出する第二の算出手段をさらに有し、
前記順番決定手段は、前記算出手段と前記第二の算出手段との算出結果に基づいて前記順番を決定することを特徴とする請求項1に記載の画像生成装置。 - 前記画像各々のシフト量を算出する演算手段と、
前記演算手段が算出したシフト量に基づいて前記画像各々を変形させ、変形後の画像を順番決定手段が決定した順番に応じて貼り合わせて前記パノラマ画像を生成する貼り合せ手段と、を有することを特徴とする請求項2に記載の画像生成装置。 - 前記第二の算出手段は、複数の前記画像にまたがる大きな構造物についての特徴量を算出することを特徴とする請求項2又は3に記載の画像生成装置。
- 前記第二の算出手段は、複数の前記画像にまたがる構造物の前記画像端と交わる個所の数を前記特徴量として算出することを特徴とする請求項2乃至4の何れか一項に記載の画像生成装置。
- 前記第二の算出手段は、複数の前記画像にまたがる構造物の画像端と交わる個所の大きさを前記特徴量として算出する行うことを特徴とする請求項2乃至5の何れか一項に記載の画像生成装置。
- 前記第二の算出手段は、複数の前記画像にまたがる構造物の面積を前記特徴量として算出することを特徴とする請求項2乃至6の何れか一項に記載の画像生成装置。
- 前記二の算出手段は、前記画像内の構造物の鮮鋭度を前記特徴量として算出することを特徴とする請求項2乃至7の何れか一項に記載の画像生成装置。
- 前記算出手段は、少なくとも二つ以上の画像間の位置合わせを行うことを特徴とする請求項2乃至8の何れか一項に記載の画像生成装置。
- 前記算出手段は、前記画像間の位置合わせに際し、前記画像間において最も相関度の良くなる位置及び前記相関度を、位相限定相関関数を用いることで算出することを特徴とする請求項2乃至9の何れか一項に記載の画像生成装置。
- 前記算出手段は、ユーザーにより指定された前記画像間での位置合わせを行い、前記相関度を算出することを特徴とする請求項2乃至9の何れか一項に記載の画像生成装置。
- 前記算出手段は、前記画像間の位置合わせに際し、少なくとも複数の画像同士の組み合わせの間で前記相関度の算出を行うことを特徴とする請求項2乃至10の何れか一項に記載の画像生成装置。
- 前記順番決定手段は、前記第二の算出手段が算出した複数種類の特徴量について、少なくとも一つの種類以上の特徴量を順不同で用いることを特徴とする請求項2乃至12の何れか一項に記載の画像生成装置。
- 前記演算手段は、前記画像同士の位相限定相関関数を用いることで前記シフト量を演算することを特徴とする請求項3に記載の画像生成装置。
- 前記演算手段は、前記画像を小画像に分割してそれぞれの位置合わせを行うことを特徴とする請求項3に記載の画像生成装置。
- 前記演算手段は、分割した小画像の位置合わせの際に用いる前記シフト量を、位相限定相関関数を用いることで演算することを特徴とする請求項3に記載の画像生成装置。
- 前記演算手段は、前記画像における一画像を小画像に分割してそれぞれの位置合わせを行った後、前記小画角の画像各々についてのアフィン変換係数を取得することを特徴とする請求項3に記載の画像生成装置。
- 前記複数の画像を貼り合せる貼り合せ手段をさらに有し、
前記貼り合せ手段は、前記画像各々の端部に対してアルファブレンディングを行うことで前記貼り合せを行うことを特徴とする請求項1に記載の画像生成装置。 - 前記複数の画像を貼り合せる貼り合せ手段をさらに有し、
前記貼り合せ手段は、前記画像の貼り合せに際して、前記画像毎の輝度調整を行うことを特徴とする請求項1に記載の画像生成装置。 - 前記パノラマ画像は検査された被検眼の画像であることを特徴とする請求項1乃至19の何れか一項に記載の画像生成装置。
- 前記被検眼の画像は、前記被検眼により生じた収差が補正された画像であることを特徴とする請求項20に記載の画像生成装置。
- 請求項1乃至21の何れか一項に記載の画像生成装置をコンピュータで実現させるためのプログラム。
- 複数の画像各々の間の相関度を算出する工程と、
算出された結果に基づいて、前記複数の画像を貼り合せて生成するパノラマ画像を生成するための前記複数の画像の位置合わせを行う順番を決定する工程と、を有することを特徴とする画像生成方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014106233A JP6438216B2 (ja) | 2014-05-22 | 2014-05-22 | 画像生成装置および画像生成方法 |
US14/712,252 US9613419B2 (en) | 2014-05-22 | 2015-05-14 | Image generating device and image generating method |
EP15168324.0A EP2947623B1 (en) | 2014-05-22 | 2015-05-20 | Image generating device and image generating method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014106233A JP6438216B2 (ja) | 2014-05-22 | 2014-05-22 | 画像生成装置および画像生成方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015221089A true JP2015221089A (ja) | 2015-12-10 |
JP2015221089A5 JP2015221089A5 (ja) | 2017-06-29 |
JP6438216B2 JP6438216B2 (ja) | 2018-12-12 |
Family
ID=53189718
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014106233A Active JP6438216B2 (ja) | 2014-05-22 | 2014-05-22 | 画像生成装置および画像生成方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9613419B2 (ja) |
EP (1) | EP2947623B1 (ja) |
JP (1) | JP6438216B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018000954A (ja) * | 2016-07-01 | 2018-01-11 | キヤノン株式会社 | 検査装置の制御方法、制御装置及びプログラム |
JP2018066846A (ja) * | 2016-10-19 | 2018-04-26 | オリンパス株式会社 | 顕微鏡システム |
US10018826B2 (en) | 2016-10-19 | 2018-07-10 | Olympus Corporation | Microscope system |
JP2018117693A (ja) * | 2017-01-23 | 2018-08-02 | 株式会社トプコン | 眼科装置 |
JP2020060394A (ja) * | 2018-10-05 | 2020-04-16 | 株式会社Ihi | 非接触計測装置の計測範囲拡大方法 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8968086B2 (en) | 2010-02-10 | 2015-03-03 | Leap Forward Gaming, Inc. | Video processing and signal routing apparatus for providing picture in a picture capabilities on an electronic gaming machine |
US10672224B2 (en) | 2014-06-12 | 2020-06-02 | Ronnie HARRIS | Apparatus, system and method for utilizing a secondary controller for multiple game play and tracking credits |
US9588514B2 (en) | 2015-01-26 | 2017-03-07 | Fisher-Rosemount Systems, Inc. | Commissioning field devices in a process control system supported by big data |
JP2017104343A (ja) | 2015-12-10 | 2017-06-15 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
KR102517104B1 (ko) * | 2016-02-17 | 2023-04-04 | 삼성전자주식회사 | 가상 현실 시스템에서 이미지 처리 방법 및 장치 |
JP6885896B2 (ja) * | 2017-04-10 | 2021-06-16 | 富士フイルム株式会社 | 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム |
JP7263983B2 (ja) * | 2019-08-30 | 2023-04-25 | 富士通株式会社 | 撮影漏れ検出装置、及び、撮影漏れ検出方法 |
CN111210379B (zh) * | 2020-01-09 | 2023-05-02 | 珠海博明视觉科技有限公司 | 一种提高2d测量效率的图像采集和拼接优化方法 |
CN114897678B (zh) * | 2022-03-29 | 2023-05-16 | 中山大学中山眼科中心 | 婴幼儿眼底视网膜全景影像生成采集反馈方法及系统 |
CN117593462A (zh) * | 2023-11-30 | 2024-02-23 | 约翰休斯(宁波)视觉科技有限公司 | 三维空间场景的融合方法和系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06319034A (ja) * | 1993-05-07 | 1994-11-15 | Sharp Corp | 画像処理装置 |
JP2002058647A (ja) * | 2000-08-22 | 2002-02-26 | Nippon Telegr & Teleph Corp <Ntt> | 眼底画像変形合成方法、及びそのプログラムを記録した記録媒体 |
JP2009533924A (ja) * | 2006-04-10 | 2009-09-17 | ノキア コーポレイション | フレーム選択を用いるパノラマ画像の構成 |
JP2009544377A (ja) * | 2006-07-28 | 2009-12-17 | カール ツァイス メディテック アクチエンゲゼルシャフト | 眼底パノラマ画像の調整方法 |
JP2013058124A (ja) * | 2011-09-09 | 2013-03-28 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
JP2013063216A (ja) * | 2011-09-20 | 2013-04-11 | Canon Inc | 画像処理装置及び画像処理方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5259484B2 (ja) | 2009-04-30 | 2013-08-07 | 株式会社ニデック | 眼底撮影装置 |
JP6039908B2 (ja) | 2012-02-21 | 2016-12-07 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
JP6174908B2 (ja) | 2013-05-27 | 2017-08-02 | キヤノン株式会社 | 情報処理装置、情報処理方法、及び、コンピュータプログラム |
-
2014
- 2014-05-22 JP JP2014106233A patent/JP6438216B2/ja active Active
-
2015
- 2015-05-14 US US14/712,252 patent/US9613419B2/en active Active
- 2015-05-20 EP EP15168324.0A patent/EP2947623B1/en not_active Not-in-force
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06319034A (ja) * | 1993-05-07 | 1994-11-15 | Sharp Corp | 画像処理装置 |
JP2002058647A (ja) * | 2000-08-22 | 2002-02-26 | Nippon Telegr & Teleph Corp <Ntt> | 眼底画像変形合成方法、及びそのプログラムを記録した記録媒体 |
JP2009533924A (ja) * | 2006-04-10 | 2009-09-17 | ノキア コーポレイション | フレーム選択を用いるパノラマ画像の構成 |
JP2009544377A (ja) * | 2006-07-28 | 2009-12-17 | カール ツァイス メディテック アクチエンゲゼルシャフト | 眼底パノラマ画像の調整方法 |
JP2013058124A (ja) * | 2011-09-09 | 2013-03-28 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
JP2013063216A (ja) * | 2011-09-20 | 2013-04-11 | Canon Inc | 画像処理装置及び画像処理方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018000954A (ja) * | 2016-07-01 | 2018-01-11 | キヤノン株式会社 | 検査装置の制御方法、制御装置及びプログラム |
JP6995504B2 (ja) | 2016-07-01 | 2022-01-14 | キヤノン株式会社 | 検査装置の制御方法、制御装置及びプログラム |
JP2018066846A (ja) * | 2016-10-19 | 2018-04-26 | オリンパス株式会社 | 顕微鏡システム |
US10018826B2 (en) | 2016-10-19 | 2018-07-10 | Olympus Corporation | Microscope system |
US10261307B2 (en) | 2016-10-19 | 2019-04-16 | Olympus Corporation | Microscope system |
JP2018117693A (ja) * | 2017-01-23 | 2018-08-02 | 株式会社トプコン | 眼科装置 |
JP2020060394A (ja) * | 2018-10-05 | 2020-04-16 | 株式会社Ihi | 非接触計測装置の計測範囲拡大方法 |
Also Published As
Publication number | Publication date |
---|---|
US9613419B2 (en) | 2017-04-04 |
EP2947623B1 (en) | 2017-12-20 |
US20150339822A1 (en) | 2015-11-26 |
EP2947623A1 (en) | 2015-11-25 |
JP6438216B2 (ja) | 2018-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6438216B2 (ja) | 画像生成装置および画像生成方法 | |
JP6108827B2 (ja) | 眼科装置および位置合わせ方法 | |
US9320424B2 (en) | Image display apparatus, image display method and imaging system | |
KR101736728B1 (ko) | 정보처리장치, 정보처리방법, 및 컴퓨터 판독 가능한 기억매체 | |
US10165939B2 (en) | Ophthalmologic apparatus and ophthalmologic apparatus control method | |
US10791920B2 (en) | Image forming apparatus and image forming method | |
JP5847510B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6463048B2 (ja) | 画像処理装置及び画像処理装置の作動方法 | |
JP2019201952A (ja) | 撮影装置及びその制御方法 | |
JP2019201951A (ja) | 撮影装置及びその制御方法 | |
JP2018068630A (ja) | 断層画像取得装置及び方法 | |
JP2017018177A (ja) | 画像処理装置及び画像処理方法 | |
JP2017127580A (ja) | 検査装置及び検査方法 | |
US10674902B2 (en) | Information processing apparatus, operation method thereof, and computer program | |
US10123688B2 (en) | Information processing apparatus, operation method thereof, and computer program | |
JP2017018202A (ja) | 画像生成装置および画像生成方法 | |
JP6882242B2 (ja) | 眼科装置およびその制御方法 | |
JP6468907B2 (ja) | 画像処理装置及び画像処理方法及びプログラム | |
JP6419238B2 (ja) | 眼科装置および位置合わせ方法 | |
JP2017176716A (ja) | 画像処理装置および画像処理方法 | |
JP2018164814A (ja) | 画像処理装置及び画像処理装置の作動方法 | |
JP2017118919A (ja) | 画像形成装置、画像形成方法及びそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170519 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170519 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20171214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180702 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180921 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181018 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181116 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6438216 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |