JP2001274973A - 顕微鏡画像合成装置、顕微鏡画像合成方法、顕微鏡画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

顕微鏡画像合成装置、顕微鏡画像合成方法、顕微鏡画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number
JP2001274973A
JP2001274973A JP2000083840A JP2000083840A JP2001274973A JP 2001274973 A JP2001274973 A JP 2001274973A JP 2000083840 A JP2000083840 A JP 2000083840A JP 2000083840 A JP2000083840 A JP 2000083840A JP 2001274973 A JP2001274973 A JP 2001274973A
Authority
JP
Japan
Prior art keywords
image
lens distortion
distortion correction
shading correction
microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000083840A
Other languages
English (en)
Inventor
Naoki Chiba
直樹 千葉
Hiroshi Kano
浩 蚊野
Haruo Hatanaka
晴雄 畑中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2000083840A priority Critical patent/JP2001274973A/ja
Publication of JP2001274973A publication Critical patent/JP2001274973A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Input (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

(57)【要約】 【課題】 この発明は、高価なＰＣ制御の電動ステージ
を用いる必要がなく、かつユーザに複雑な操作をしいる
ことなく、顕微鏡用レンズが装着された撮像手段で撮像
された複数の画像を貼り合わせることができる顕微鏡画
像合成装置を提供することを目的とする。 【解決手段】 顕微鏡用レンズが装着された撮像手段に
よって撮像された互いに重なり部を有する第１画像と第
２画像とを合成する顕微鏡画像合成装置であって、第１
画像および第２画像に対してレンズ歪み補正およびシェ
ーディング補正を行なう第１手段、レンズ歪み補正およ
びシェーディング補正後の第１画像と第２画像との間の
幾何変換係数を算出する第２手段、および得られた幾何
変換係数に基づいて、レンズ歪み補正およびシェーディ
ング補正後の第１画像と第２画像とを合成する第３手段
を備えている。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、複数の顕微鏡画
像から、各画像を自動的に接合し、高解像度かつ広視野
の合成画像を獲得するための、顕微鏡画像合成装置、顕
微鏡画像合成方法、顕微鏡画像合成プログラムを記録し
たコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】〔１〕従来のオプテカルフローの算出方
法についての説明
【０００３】２枚の画像からオプティカルフローを計算
し、得られたオプティカルフローに基づいて、２枚の画
像間での位置合わせを行う技術が知られている。従来の
オプテカルフローの算出方法について説明する。
【０００４】（１）Lucas-Kanade法 従来から、動画像における運動物体の見かけの速度場
（オプティカルフロー）を計算する手法が数多く提案さ
れている。中でも局所勾配法であるLucas-Kanade法は、
最も良い手法の一つである。その理由は、処理が高速、
実装が容易、結果が信頼度を持つことである。
【０００５】Lucas-Kanade法の詳細については、文献：
B.Lucas and T.Kanade,"An Iterative Image Registra
tion Technique with an Application to Stereo Visio
n,"In Seventh International Joint Conference on Ar
tificial Intelligence(IJCAI-81), pp. 674-979, 1981
を参照のこと。
【０００６】以下に、Lucas-Kanade法の概要を述べる。
ある時刻ｔの画像座標ｐ＝（ｘ，ｙ）の濃淡パターンＩ
（ｘ，ｙ，ｔ）が、ある微小時間後（δｔ）に座標（ｘ
＋δｘ，ｙ＋δｙ）に、その濃淡分布を一定に保ったま
ま移動した時、次のオプティカルフロー拘束式１が成り
立つ。
【０００７】
【数１】
【０００８】２次元画像でオプティカルフロー｛ｖ＝
（δｘ／δｔ，δｙ／δｔ）＝（ｕ，ｖ）｝を計算する
には、未知パラメータ数が２個であるので、もう一個拘
束式が必要である。Lucas とKanade( 金出) は、同一物
体の局所領域では、同一のオプティカルフローを持つと
仮定した。
【０００９】例えば、画像上の局所領域ω内で、オプテ
ィカルフローが一定であるとすると、最小化したい濃淡
パターンの二乗誤差Ｅは、 Ｉ0 （ｐ）＝Ｉ（ｘ，ｙ，ｔ）， Ｉ1 （ｐ＋ｖ）＝Ｉ（ｘ＋ｕ，ｙ＋ｖ，ｔ＋δｔ） と書き改めると、次式２で定義できる。
【００１０】
【数２】
【００１１】ここで、ｖが微少な場合には、テーラー展
開の２次以上の項を無視できるので、次式３の関係が成
り立つ。
【００１２】
【数３】
【００１３】ここで、ｇ（ｐ）は、Ｉ1 （ｐ）の一次微
分である。
【００１４】誤差Ｅが最小になるのは、Ｅのｖに対する
微分値が０の時であるので、次式４の関係が成り立つ。
【００１５】
【数４】
【００１６】故にオプティカルフローｖは次式５で求め
られる。
【００１７】
【数５】
【００１８】更に、次式６に示すように、ニュートン・
ラフソン的な反復演算によって精度良く求めることがで
きる。
【００１９】
【数６】
【００２０】（２）階層的推定法 Lucas-Kanade法を含む勾配法の最も大きな問題点は、良
好な初期値が必要なために、大きな動きに対しては適用
できないことである。そこで、従来からピラミッド階層
構造型に数段回の解像度の異なる画像を作成して解決す
る方法が提案されている。
【００２１】これは、まず、２枚の連続した画像から、
予めそれぞれの画像の数段階の解像度の異なる画像を作
成する。次に、最も解像度の低い画像間において、おお
まかなオプティカルフローを計算する。そして、この結
果を参考にして、一段解像度の高い画像間においてより
精密なオプティカルフローを計算する。この処理を最も
解像度の高い画像間まで順次繰り返す。
【００２２】図４は原画像を、図３は図４の原画像より
解像度の低い画像を、図２は図３の低解像度画像より解
像度の低い画像を、図１は図２の低解像度画像より解像
度の低い画像を、それぞれ示している。図１〜図４にお
いて、Ｓは、１つのパッチを示している。
【００２３】図１の画像（階層１の画像）、図２の画像
（階層２の画像）、図３の画像（階層３の画像）および
図４の画像（階層４の画像）の順番で段階的にオプティ
カルフローが求められる。図１〜図４において矢印は、
パッチ毎に求められたオプティカルフローベクトルを示
している。
【００２４】しかしながら、ここでの問題点は、実画像
では、十分な模様（テクスチャ）を含む領域が少なく、
信頼性のあるオプティカルフローが得られないことにあ
る。
【００２５】〔２〕本出願人が開発したオプティカルフ
ロー算出方法についての説明。
【００２６】本出願人が開発したオプティカルフロー算
出方法は、ピラミッド階層型に数段回の解像度の異なる
画像を作成して、オプティカルフローを段階的に計算す
る階層的推定を前提としている。オプティカルフローの
計算方法は、Lucas-Kanade法等の勾配法に従う。つま
り、階層構造化した勾配法によるオプティカルフロー推
定法を前提としている。ここでは、勾配法としてLucas-
Kanade法が用いられている。
【００２７】本出願人が開発したオプティカルフロー推
定方法の特徴は、階層構造化したLucas-Kanade法による
オプティカルフロー推定法の各段階において得られたオ
プティカルフローを、膨張処理によって補完することに
ある。以下、これについて詳しく説明する。
【００２８】Lucas-Kanade法の長所の一つは、追跡結果
が信頼性を持つことである。Tomasiと Kanade とは、あ
る領域の追跡可能性が、以下のように微分画像から算出
できることを示した(C.Tomasi and T.Kanade,"Shape an
d Motion from Image Streams: a Factorization metho
d-Part 3 Detection and Tracking of Point Features
,"CMU-CS-91-132, Carnegie Mellon University, 199
1.) 。
【００２９】ある領域画像ωの垂直・水平方向の微分の
２乗を要素に持つ次式７の２×２の係数行列Ｇから、そ
の固有値を計算することで、その領域の追跡可能性を決
定することができる。
【００３０】
【数７】
【００３１】この行列Ｇの固有値が両方とも大きい場合
には、その領域は直交方向に変化を持ち、一意の位置決
めが可能である。従って、小さい方の固有値λmin と、
追跡後の領域間の濃淡残差Ｅから、追跡結果の信頼度γ
を次式８によって得ることができる。
【００３２】
【数８】
【００３３】本発明者らは、オプティカルフローの同一
階層内で信頼度の高い結果を用いて、信頼度の低い領域
を補間する方法を開発した。これは、一段階粗い階層で
の結果を、追跡の初期値だけに用いて、着目している現
段階の階層の結果には何も利用しない。代わりに、テク
スチャの少ない領域のオプティカルフローはその周囲の
オプティカルフローに近い値を持つと仮定し、モルフォ
ロジー処理によりフロー場を補完するものである。
【００３４】図５にフローベクトルの膨張処理の様子を
示す。
【００３５】左図は、フローベクトルの信頼度のマップ
を濃淡で表したものである。ここで、黒ければ黒い程信
頼度が高いとする。
【００３６】まず、得られたフローをしきい値処理す
る。白い部分は、結果の信頼度が低いために、しきい値
処理されたものである。
【００３７】次に、２値画像でのモルフォロジー演算に
よる穴埋め処理を模して、フロー場において結果の膨張
処理を次のように行う。ある領域ｉ，ｊのフローベクト
ルｕ（ｉ，ｊ）は、その４近傍のフローベクトルから信
頼度γに応じて重み付けを行って次式９のように計算で
きる。
【００３８】
【数９】
【００３９】この処理を、しきい値処理されたすべての
信頼度の低い領域が埋まるまで、繰り返す。この補完処
理を、各階層において行う。なお、ある領域ｉ，ｊのフ
ローベクトルｕ（ｉ，ｊ）を、その８近傍のフローベク
トルから信頼度γに応じて重み付けを行って算出するよ
うにしてもよい。
【００４０】図６（ａ）は、ある階層の画像に対してし
きい値処理されたオプティカルフローを示し、図６
（ｂ）は補完後のオプティカルフローを示している。図
６（ａ）において、矢印はしきい値処理によって信頼度
が高いと判定されたオプティカルフローベクトルであ
り、×印は信頼度が低いとされた部分を示している。
【００４１】〔３〕従来の顕微鏡画像の合成技術につい
ての説明
【００４２】顕微鏡によって拡大した試験片を撮像する
システムでは視野が狭いため、広域の画像を撮像するた
めには、分割して撮像した画像を貼りあわせる必要があ
る。
【００４３】従来は、ＰＣ（パーソナルコンピュータ）
で制御する電動ステージで試験片の載った台を動かして
複数の画像を撮像し、台の移動量に基づいて、ＰＣ上で
複数の撮像画像を貼りあわせていた。しかしながら、こ
のシステムは、電動ステージが不可欠なため、高価とな
るいう問題がある。
【００４４】また、従来から、分割して撮像された顕微
鏡画像をＰＣで貼りあわせる技術が提案されているが、
各画像間の移動量の数値をユーザが入力する必要がある
ため、ユーザに負担がかかるという問題がある。
【００４５】
【発明が解決しようとする課題】この発明は、高価なＰ
Ｃ制御の電動ステージを用いる必要がなく、かつユーザ
に複雑な操作をしいることなく、顕微鏡用レンズが装着
された撮像手段で撮像された複数の画像を貼り合わせる
ことができる顕微鏡画像合成装置、顕微鏡画像合成方
法、顕微鏡画像合成処理プログラムを記録したコンピュ
ータ読み取り可能な記録媒体を提供することを目的とす
る。
【００４６】
【課題を解決するための手段】この発明による画像合成
装置は、顕微鏡用レンズが装着された撮像手段によって
撮像された互いに重なり部を有する第１画像と第２画像
とを合成する顕微鏡画像合成装置であって、第１画像お
よび第２画像に対してレンズ歪み補正およびシェーディ
ング補正を行なう第１手段、レンズ歪み補正およびシェ
ーディング補正後の第１画像と第２画像との間の幾何変
換係数を算出する第２手段、および得られた幾何変換係
数に基づいて、レンズ歪み補正およびシェーディング補
正後の第１画像と第２画像とを合成する第３手段を備え
ていることを特徴とする。
【００４７】第２手段としては、たとえば、レンズ歪み
補正およびシェーディング補正後の第１画像と第２画像
との重なり部を抽出する手段、一方の画像における他方
の画像との重なり部分から、両画像間のオプティカルフ
ローによる追跡に有効な複数の部分画像を特徴点として
抽出する手段、上記一方の画像上の各特徴点に対応する
上記他方の画像上の点を、両画像間のオプティカルフロ
ーに基づいて追跡する手段、および上記追跡結果に基づ
いて、２つの画像間の幾何変換係数を算出する手段を備
えているものが用いられる。
【００４８】レンズ歪み補正時において、ユーザにレン
ズ歪み補正係数を入力させるための手段、およびレンズ
歪み補正前の画像とユーザによって入力されたレンズ歪
み補正係数に応じたレンズ歪み補正を行なった後の画像
とを表示させる手段を備えていることが好ましい。
【００４９】シェーディング補正時において、ユーザに
シェーディング補正係数を入力させるための手段、およ
びシェーディング補正前の画像とユーザによって入力さ
れたシェーディング補正係数に応じたシェーディング補
正を行なった後の画像とを表示させる手段を備えている
ことが好ましい。
【００５０】この発明による画像合成方法は、顕微鏡用
レンズが装着された撮像手段によって撮像された互いに
重なり部を有する第１画像と第２画像とを合成する顕微
鏡画像合成方法であって、第１画像および第２画像に対
してレンズ歪み補正およびシェーディング補正を行なう
第１ステップ、レンズ歪み補正およびシェーディング補
正後の第１画像と第２画像との間の幾何変換係数を算出
する第２ステップ、および得られた幾何変換係数に基づ
いて、レンズ歪み補正およびシェーディング補正後の第
１画像と第２画像とを合成する第３ステップを備えてい
ることを特徴とする。
【００５１】第２ステップとしては、たとえば、レンズ
歪み補正およびシェーディング補正後の第１画像と第２
画像との重なり部を抽出するステップ、一方の画像にお
ける他方の画像との重なり部分から、両画像間のオプテ
ィカルフローによる追跡に有効な複数の部分画像を特徴
点として抽出するステップ、上記一方の画像上の各特徴
点に対応する上記他方の画像上の点を、両画像間のオプ
ティカルフローに基づいて追跡するステップ、および上
記追跡結果に基づいて、２つの画像間の幾何変換係数を
算出するステップを備えているものが用いられる。
【００５２】レンズ歪み補正時において、ユーザにレン
ズ歪み補正係数を入力させるためのステップ、およびレ
ンズ歪み補正前の画像とユーザによって入力されたレン
ズ歪み補正係数に応じたレンズ歪み補正を行なった後の
画像とを表示させるステップを備えていることが好まし
い。
【００５３】シェーディング補正時において、ユーザに
シェーディング補正係数を入力させるためのステップ、
およびシェーディング補正前の画像とユーザによって入
力されたシェーディング補正係数に応じたシェーディン
グ補正を行なった後の画像とを表示させるステップを備
えていることが好ましい。
【００５４】この発明による記録媒体は、顕微鏡用レン
ズが装着された撮像手段によって撮像された互いに重な
り部を有する第１画像と第２画像とを合成するための顕
微鏡画像合成処理プログラムを記録したコンピュータ読
み取り可能な記録媒体であって、第１画像および第２画
像に対してレンズ歪み補正およびシェーディング補正を
行なう第１ステップ、レンズ歪み補正およびシェーディ
ング補正後の第１画像と第２画像との間の幾何変換係数
を算出する第２ステップ、および得られた幾何変換係数
に基づいて、レンズ歪み補正およびシェーディング補正
後の第１画像と第２画像とを合成する第３ステップをコ
ンピュータに実行させるための顕微鏡画像合成処理プロ
グラムを記録していることを特徴とする。
【００５５】第２ステップとしては、たとえば、レンズ
歪み補正およびシェーディング補正後の第１画像と第２
画像との重なり部を抽出するステップ、一方の画像にお
ける他方の画像との重なり部分から、両画像間のオプテ
ィカルフローによる追跡に有効な複数の部分画像を特徴
点として抽出するステップ、上記一方の画像上の各特徴
点に対応する上記他方の画像上の点を、両画像間のオプ
ティカルフローに基づいて追跡するステップ、および上
記追跡結果に基づいて、２つの画像間の幾何変換係数を
算出するステップを備えているものが用いられる。
【００５６】レンズ歪み補正時において、ユーザにレン
ズ歪み補正係数を入力させるためのステップ、およびレ
ンズ歪み補正前の画像とユーザによって入力されたレン
ズ歪み補正係数に応じたレンズ歪み補正を行なった後の
画像とを表示させるステップをコンピュータに実行させ
るための顕微鏡画像合成処理プログラムを記録している
ことが好ましい。
【００５７】シェーディング補正時において、ユーザに
シェーディング補正係数を入力させるためのステップ、
およびシェーディング補正前の画像とユーザによって入
力されたシェーディング補正係数に応じたシェーディン
グ補正を行なった後の画像とを表示させるステップをコ
ンピュータに実行させるための顕微鏡画像合成処理プロ
グラムを記録していることが好ましい。
【００５８】
【発明の実施の形態】以下、この発明の実施の形態につ
いて説明する。
【００５９】〔１〕 顕微鏡画像合成装置の全体構成の
説明
【００６０】図７は、顕微鏡画像合成装置の全体構成を
示している。
【００６１】顕微鏡画像合成装置は、パーソナルコンピ
ュータによって実現される。パーソナルコンピュータ１
０には、ディスプレイ２１、マウス２２およびキーボー
ド２３が接続されている。パーソナルコンピュータ１０
は、ＣＰＵ１１、メモリ１２、ハードディスク１３、Ｃ
Ｄ−ＲＯＭのようなリムーバブルディスクのドライブ
（ディスクドライブ）１４を備えている。
【００６２】ハードディスク１３には、ＯＳ（オペレー
ティングシステム）等の他、顕微鏡画像合成処理プログ
ラムが格納されている。顕微鏡画像合成処理プログラム
は、それが格納されたＣＤ−ＲＯＭ２０を用いて、ハー
ドディスク１３にインストールされる。また、ハードデ
ィスク１３には、合成されるべき複数の顕微鏡画像が予
め格納されているものとする。
【００６３】〔２〕 顕微鏡画像合成処理プログラムが
起動された場合にＣＰＵ１１によって行われる顕微鏡画
像合成処理手順の説明。
【００６４】ユーザは、顕微鏡用レンズを装着したカメ
ラで、台を移動させたり、試料を移動させながら、各画
像間で重なりを持った複数の顕微鏡画像を撮像する。そ
して、得られた複数の顕微鏡画像をハードディスク１３
に格納しておく。
【００６５】図８は、ＣＰＵ１１によって行われる全体
的な処理手順を示している。
【００６６】まず、合成されるべき複数の顕微鏡画像を
メモリ１２に読み込む（ステップ１）。
【００６７】次に、取り込んだ顕微鏡画像に対してレン
ズ歪み補正処理を行なう（ステップ２）。顕微鏡用レン
ズには、周辺部に歪みがある。この歪みを取り除くため
の補正ベクトル（ｄｕ，ｄｖ）を、次式１０を用いて計
算する。
【００６８】
【数１０】
【００６９】ただし、ｕ，ｖは、画像の中心を原点と
し、直交座標軸をＵ，Ｖとした時の座標である。また、
ｋはレンズ歪み補正係数である。
【００７０】この補正ベクトル（ｄｕ，ｄｖ）を用い
て、入力画像の座標（ｕ，ｖ）を、次式１１によって、
座標（ｕ’，ｖ’）に変換することでレンズ歪みを補正
する。
【００７１】
【数１１】
【００７２】レンズ歪み補正処理を行なう際には、図９
に示すようなレンズ歪み係数設定ウィンドウがディスプ
レイ２１に表示される。ユーザは、レンズ歪み補正係数
ｋを、レンズ歪み係数設定ウィンドウ上のスライダーバ
ー３１を操作することによって設定する。
【００７３】レンズ歪み係数設定ウィンドウには、レン
ズ歪み補正前の画像が表示される領域３２と、レンズ歪
み補正後の画像が表示される領域３３とが設けられてい
る。このため、ユーザは、レンズ歪み補正前の画像とレ
ンズ歪み補正後の画像とを同時に見ることができる。ま
た、ユーザは、スライダーバー３１で係数ｋを設定する
とリアルタイムで変換画像（レンズ歪み補正後の画像）
が表示されるため、簡単な操作でかつ、直感的に係数を
設定することができる。
【００７４】レンズ歪み補正が行なわれた顕微鏡画像に
対して、シェーディング補正処理を行なう（ステップ
３）。
【００７５】顕微鏡撮像系では、光学系の設定よって、
画像の周辺部が暗くなるシェーディングが発生する。こ
れを補正するために、各画素毎に、画像中心からの距離
に応じた補正画素値ｅ（ｕ，ｖ）を次式１２で計算す
る。
【００７６】
【数１２】
【００７７】ただし、ｕ，ｖは、画像の中心を原点と
し、直交座標軸をＵ，Ｖとした時の座標である。また、
ｓはシェーディング補正係数、Ｒは画像中心からもっと
も離れた画素の中心からの距離である。
【００７８】この補正画素値ｅ（ｕ，ｖ）を用いて、入
力画像の画素値Ｉ（ｕ，ｖ）を、次式１３によって、画
素値Ｉ’（ｕ，ｖ）へ変換することでシェーディングを
補正する。
【００７９】
【数１３】
【００８０】シェーディング補正処理を行なう際には、
図１０に示すようなシェーディング補正係数設定ウィン
ドウがディスプレイ２１に表示される。ユーザは、シェ
ーディング補正係数ｓを、シェーディング補正係数設定
ウィンドウ上のスライダーバー４１を操作することによ
って設定する。
【００８１】シェーディング補正係数設定ウィンドウに
は、シェーディング補正前の画像が表示される領域４２
と、シェーディング補正後の画像が表示される領域４３
とが設けられている。このため、ユーザは、シェーディ
ング補正前の画像とシェーディング補正後の画像とを同
時に見ることができる。また、ユーザは、スライダーバ
ー４１で係数ｓを設定するとリアルタイムで変換画像
（シェーディング補正後の画像）が表示されるため、簡
単な操作でかつ、直感的に係数を設定することができ
る。
【００８２】次に、レンズ歪み補正およびシェーディン
グ補正が行なわれた複数の顕微鏡画像を接合するための
処理（画像接合処理）を行なう（ステップ４）。なお、
上記の例では、レンズ歪み補正処理が行なわれた後にシ
ェーディング補正処理を行なっているが、シェーディン
グ補正処理を先に行ない、この後にレンズ歪み補正処理
を行なうようにしてもよい。
【００８３】〔３〕図８のステップ４の画像接合処理に
ついての説明
【００８４】図１１は、図８のステップ４で実行される
画像接合処理手順を示している。
【００８５】説明の便宜上、ここでは、重なり部を有す
る２枚の顕微鏡画像（第１画像Ａ１及び第２画像Ａ２）
を接合する場合について説明する。
【００８６】まず、第１画像Ａ１と第２画像Ａ２との重
なり部の抽出処理が行われる（ステップ１１）。この重
なり部の抽出処理は、たとえば、ＳＳＤ法（Sum of Squ
aredDifference)、正規化相互相関法に基づいて行われ
る。
【００８７】（ａ）ＳＳＤ法の説明 ＳＳＤ法では、まず、重なり部を抽出すべき２枚の画像
Ａ１、Ａ２それぞれについて、原画像より解像度の低い
画像Ｉ1 ，Ｉ2 が生成される。２枚の低解像度画像
Ｉ1 ，Ｉ2 の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式
１４に示すように画素あたりの２乗誤差Ｅを用いて求め
られる。画像間の移動量（ｄ）が可能な範囲で変化せし
められ、Ｅが最も小さい移動量（ｄ）から、重なり部が
抽出される。
【００８８】
【数１４】
【００８９】（ｂ）正規化相互相関法の説明 正規化相互相関法では、まず、重なり部を抽出すべき２
枚の画像Ａ１、Ａ２それぞれについて、原画像より解像
度の低い画像Ｉ1 ，Ｉ2 が生成される。２枚の低解像度
画像Ｉ1 ，Ｉ2 の重なり部分ω（サイズ：Ｍ×Ｎ）が、
次式１５に示すように正規化相互相関係数Ｃを用いて求
められる。画像間の移動量（ｄ）が可能な範囲で変化せ
しめられ、Ｃが最も大きな移動量（ｄ）から、重なり部
が抽出される。
【００９０】
【数１５】
【００９１】式１５において、Ｉ1 ￣、Ｉ2 ￣は、第１
画像を固定させ、第２画像をｄだけ移動させたときの、
両画像の重なり部における各画像それぞれの濃淡値の平
均である。また、σ1 、σ2 は、第１画像Ｉ1 を固定さ
せ、第２画像Ｉ2 をｄだけ移動させたときの、両画像の
重なり部における各画像それぞれの濃淡値の分散であ
る。
【００９２】次に、特徴点抽出処理が行われる（ステッ
プ１２）。つまり、第１画像Ａ１における第２画像Ａ２
との重なり部分から、追跡に有効な複数の部分画像（矩
形領域）が特徴点として抽出される。ただし、各特徴点
は互いに重ならないように抽出される。具体的には、上
述した固有値λmin （式８参照）の高い部分が特徴点と
して抽出される。
【００９３】次に、特徴点追跡処理が行われる（ステッ
プ１３）。つまり、抽出された第１画像Ａ１上の特徴点
に対する第２画像Ａ２上の位置が追跡される。
【００９４】具体的には、まず、本出願人が開発したオ
プティカルフロー推定方法（従来技術の説明の欄の
〔２〕参照）によって、適当なサイズ（例えば、１３×
１３）のパッチ毎のオプティカルフローベクトルが求め
られる。第１画像Ａ１上の特徴点に対応する第２画像Ａ
２上の位置は、第１画像Ａ１上の特徴点の４近傍のパッ
チのフローベクトルから線形補間により画素単位以下で
求められる。これにより、第１画像Ａ１と第２画像Ａ２
との重なり部において、両画像の対応点の座標が得られ
る。
【００９５】第１画像に第２画像を接合する場合には、
上記ステップ１３で求められた第１画像Ａ１と第２画像
Ａ２との対応点の座標に基づいて、第２画像Ａ２内の各
画素の座標を第１画像Ａ１上の座標に変換するための幾
何変換行列（幾何変換係数）を算出する（ステップ１
４）。第２画像に第１画像を接合する場合には、第１画
像Ａ１内の各画素の座標を第２画像Ａ２上の座標に変換
するための幾何変換行列（幾何変換係数）を算出すれば
よい。
【００９６】幾何変換行列としては、２次元平行移動の
ための行列または２次元剛体変換行列が用いられる。
【００９７】この段階では、第２画像Ａ２内の各画素の
座標を第１画像Ａ１上の座標に変換しないが、第２画像
Ａ２内の各画素の座標（ｘ，ｙ，１）を第１画像Ａ１の
座標（ｘ’，ｙ’，１）に変換する式は、次式１６また
は次式１７で表される。
【００９８】
【数１６】
【００９９】
【数１７】
【０１００】上記式１６は、幾何変換行列として２次元
平行移動のための行列を用いた場合の変換式を示し、上
記式１７は、幾何変換行列として２次元剛体変換行列を
用いた場合の変換式を示している。
【０１０１】上記式１６において、（ｔx ，ｔy ）は平
行移動量を示し、ｋは零でない任意の定数を示してい
る。また、上記式１７において、（ｔx ，ｔy ）は平行
移動量を示し、θは回転角を示し、ｋは零でない任意の
定数を示している。
【０１０２】次に、画素値調合の重み（画素値調合係
数）を算出する（ステップ１５）。
【０１０３】顕微鏡用レンズを装着したカメラで、試料
台を移動させたり、試料台上の試料を移動させながら、
複数の画像を撮像した場合には、自動露出調整機能が動
作することにより、画像間の明るさが異なってしまうこ
とがある。
【０１０４】そこで、接合されるべき第１画像と第２画
像とが重なる領域では、各画像の画素値を調合する処理
を後処理として行なう。画素値調合処理は、両画像の重
なり領域の画素値を画像間で滑らかに変化させることに
より、明るさの差異を目立たなくさせる処理である。ま
た、この処理は、同時に、幾何学変換による合成誤差も
目立たなくさせることができる。
【０１０５】この実施の形態では、各画像の重心からの
距離に基づいて両画像の重なり領域の画素値を調合す
る。
【０１０６】まず、第１画像の重心位置Ｇ1 を求める。
また、第２画像を第１画像に接合した合成画像上で、第
２画像の重心位置Ｇ2 を、接合のために使用される変換
式（上記式１６式または上記式１７式）に基づいて求め
る。
【０１０７】次に、第１画像の４頂点（４隅）の位置を
それぞれ求める。また、第２画像を第１画像に接合した
合成画像上で、第２画像の４頂点の位置を、接合に使用
される変換式（上記式１６式または上記式１７式）に基
づいて求める。これにより、合成画像上における第１画
像の４頂点の位置および第２画像の４頂点の位置が分か
るので、合成画像上において第１画像と第２画像との重
なり領域を抽出する。
【０１０８】合成画像上での第１画像と第２画像との重
なり領域内の各画素（画素値調合対象画素）から第１画
像と第２画像のそれぞれの画像の重心位置Ｇ1 、Ｇ2 ま
での距離に応じて、当該画素値調合対象画素の画素値の
重みを決定する。この重みは、画素値調合対象画素から
重心までの距離が近い方の画像の画素値を大きくするよ
うに決定する。
【０１０９】つまり、合成画像上での第１画像と第２画
像との重なり領域内の画素値調合対象画素の座標から、
合成画像上での第１画像の重心位置Ｇ1 までのユークリ
ッド距離をｄ1 、合成画像上での第２画像の重心位置Ｇ
2 までのユークリッド距離をｄ2 とすると、画素値調合
対象画素における第１画像の画素値に対する重みｗ1お
よび第２画像の画素値に対する重みｗ2 は、次式１８で
表される。
【０１１０】
【数１８】
【０１１１】各画素値調合対象画素に対して式２１に基
づいて重みｗ1 およびｗ2 を算出し、画素値調合対象画
素に対する重みｗ1 およびｗ2 のテーブル（重みテーブ
ル）を作成する。
【０１１２】次に、画像を合成する（ステップ１６）。
【０１１３】つまり、上記式１６または上記式１７を用
いて第２画像を第１画像の座標系に描画する。
【０１１４】この際、ステップ１５で得られた重みテー
ブルに基づいて、第１画像と第２画像の重なり領域の画
素値Ｐ1 、Ｐ2 を画素調合する。すなわち、次式１９に
より、各画素値調合対象画素の画素値Ｐi を算出する。
【０１１５】
【数１９】
【０１１６】上記実施の形態によれば、高価なＰＣ制御
の電動ステージを用いることなく、かつユーザに複雑な
操作をしいることなく、顕微鏡用レンズが装着された撮
像手段で撮像された複数の顕微鏡画像を貼り合わせるこ
とができるようになる。
【０１１７】また、レンズの半径方向に対して像が歪む
レンズ歪みをユーザによって入力されたレンズ歪み補正
係数に基づいて補正した際に、レンズ歪み補正前の画像
とレンズ歪み補正後の画像とをユーザに提示しているた
め、簡単な操作でかつ、直感的にレンズ歪み補正係数を
設定することができる。
【０１１８】また、顕微鏡画像に特有なシェーディング
（画像の周辺部が暗くなる現象）をユーザによって入力
されたシェーディング補正係数に基づいて補正した際
に、シェーディング補正前の画像とシェーディング補正
後の画像とをユーザに提示しているため、簡単な操作で
かつ、直感的にシェーディング補正を設定することがで
きる。
【０１１９】
【発明の効果】この発明によれば、高価なＰＣ制御の電
動ステージを用いる必要がなく、かつユーザに複雑な操
作をしいることなく、顕微鏡用レンズが装着された撮像
手段で撮像された複数の顕微鏡画像を貼り合わせること
ができるようになる。
【図面の簡単な説明】
【図１】図１は、階層的推定法を説明するための図であ
って、階層１の画像を示す模式図である。
【図２】図２は、階層的推定法を説明するための図であ
って、階層２の画像を示す模式図である。
【図３】図３は、階層的推定法を説明するための図であ
って、階層３の画像を示す模式図である。
【図４】図４は、階層的推定法を説明するための図であ
って、階層４の画像を示す模式図である。
【図５】図５は、実施例で採用されたオプティカルフロ
ー推定方法において行われる膨張処理を説明するための
模式図である。
【図６】図６（ａ）は、ある階層の画像に対してしきい
値処理されたオプティカルフローの例を示す模式図であ
り、図６（ｂ）は、補完後のオプティカルフローを示す
模式図である。
【図７】図７は、顕微鏡画像合成装置の構成を示すブロ
ック図である。
【図８】図８は、顕微鏡画像合成処理プログラムが起動
された場合にＣＰＵ１１によって行われる顕微鏡画像合
成処理手順を示すフローチャートである。
【図９】図９は、レンズ歪み補正係数設定ウインドウの
一例を示す模式図である。
【図１０】図１０は、シェーディング補正係数設定ウイ
ンドウの一例を示す模式図である。
【図１１】図１１は、図８のステップ４で実行される画
像接合処理手順を示すフローチャートである。
【符号の説明】
１０ パーソナルコンピュータ １１ ＣＰＵ １２ メモリ １３ ハードディスク １４ ディスクドライブ
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 3/00 ４００ Ｇ０６Ｔ 3/00 ４００Ｊ ５Ｌ０９６ 7/20 7/20 Ｂ Ｈ０１Ｊ 37/22 ５０２ Ｈ０１Ｊ 37/22 ５０２Ｈ Ｈ０４Ｎ 5/262 Ｈ０４Ｎ 5/262 (72)発明者 畑中 晴雄 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内 Ｆターム(参考） 2H052 AF14 AF21 AF25 5B047 AA17 BC05 CB22 DA04 5B057 AA10 BA02 CA12 CA16 CB12 CB16 CD12 CE10 DA07 DA08 DB02 DC22 DC30 DC32 DC36 5C023 AA11 AA37 BA13 5C076 AA13 AA19 AA23 BA06 CA02 5L096 CA04 DA04 EA07 FA19 FA32 FA34 FA60 FA66 HA02 HA04

Claims (12)

    【特許請求の範囲】
  1. 【請求項１】 顕微鏡用レンズが装着された撮像手段に
    よって撮像された互いに重なり部を有する第１画像と第
    ２画像とを合成する顕微鏡画像合成装置であって、 第１画像および第２画像に対してレンズ歪み補正および
    シェーディング補正を行なう第１手段、 レンズ歪み補正およびシェーディング補正後の第１画像
    と第２画像との間の幾何変換係数を算出する第２手段、
    ならびに得られた幾何変換係数に基づいて、レンズ歪み
    補正およびシェーディング補正後の第１画像と第２画像
    とを合成する第３手段、 を備えていることを特徴とする顕微鏡画像合成装置。
  2. 【請求項２】 第２手段は、 レンズ歪み補正およびシェーディング補正後の第１画像
    と第２画像との重なり部を抽出する手段、 一方の画像における他方の画像との重なり部分から、両
    画像間のオプティカルフローによる追跡に有効な複数の
    部分画像を特徴点として抽出する手段、 上記一方の画像上の各特徴点に対応する上記他方の画像
    上の点を、両画像間のオプティカルフローに基づいて追
    跡する手段、および上記追跡結果に基づいて、２つの画
    像間の幾何変換係数を算出する手段、 を備えていることを特徴とする請求項１に記載の顕微鏡
    画像合成装置。
  3. 【請求項３】 レンズ歪み補正時において、ユーザにレ
    ンズ歪み補正係数を入力させるための手段、およびレン
    ズ歪み補正前の画像とユーザによって入力されたレンズ
    歪み補正係数に応じたレンズ歪み補正を行なった後の画
    像とを表示させる手段、 を備えている請求項１および２のいずれかに記載の顕微
    鏡画像合成装置。
  4. 【請求項４】 シェーディング補正時において、ユーザ
    にシェーディング補正係数を入力させるための手段、お
    よびシェーディング補正前の画像とユーザによって入力
    されたシェーディング補正係数に応じたシェーディング
    補正を行なった後の画像とを表示させる手段、 を備えている請求項１、２および３のいずれかに記載の
    顕微鏡画像合成装置。
  5. 【請求項５】 顕微鏡用レンズが装着された撮像手段に
    よって撮像された互いに重なり部を有する第１画像と第
    ２画像とを合成する顕微鏡画像合成方法であって、 第１画像および第２画像に対してレンズ歪み補正および
    シェーディング補正を行なう第１ステップ、 レンズ歪み補正およびシェーディング補正後の第１画像
    と第２画像との間の幾何変換係数を算出する第２ステッ
    プ、および得られた幾何変換係数に基づいて、レンズ歪
    み補正およびシェーディング補正後の第１画像と第２画
    像とを合成する第３ステップ、 を備えていることを特徴とする顕微鏡画像合成方法。
  6. 【請求項６】 第２ステップは、 レンズ歪み補正およびシェーディング補正後の第１画像
    と第２画像との重なり部を抽出するステップ、 一方の画像における他方の画像との重なり部分から、両
    画像間のオプティカルフローによる追跡に有効な複数の
    部分画像を特徴点として抽出するステップ、 上記一方の画像上の各特徴点に対応する上記他方の画像
    上の点を、両画像間のオプティカルフローに基づいて追
    跡するステップ、および上記追跡結果に基づいて、２つ
    の画像間の幾何変換係数を算出するステップ、 を備えていることを特徴とする請求項５に記載の顕微鏡
    画像合成方法。
  7. 【請求項７】 レンズ歪み補正時において、ユーザにレ
    ンズ歪み補正係数を入力させるためのステップ、および
    レンズ歪み補正前の画像とユーザによって入力されたレ
    ンズ歪み補正係数に応じたレンズ歪み補正を行なった後
    の画像とを表示させるステップ、 を備えている請求項５および６のいずれかに記載の顕微
    鏡画像合成方法。
  8. 【請求項８】 シェーディング補正時において、ユーザ
    にシェーディング補正係数を入力させるためのステッ
    プ、およびシェーディング補正前の画像とユーザによっ
    て入力されたシェーディング補正係数に応じたシェーデ
    ィング補正を行なった後の画像とを表示させるステッ
    プ、 を備えている請求項５、６および７のいずれかに記載の
    顕微鏡画像合成方法。
  9. 【請求項９】 顕微鏡用レンズが装着された撮像手段に
    よって撮像された互いに重なり部を有する第１画像と第
    ２画像とを合成するための顕微鏡画像合成処理プログラ
    ムを記録したコンピュータ読み取り可能な記録媒体であ
    って、 第１画像および第２画像に対してレンズ歪み補正および
    シェーディング補正を行なう第１ステップ、 レンズ歪み補正およびシェーディング補正後の第１画像
    と第２画像との間の幾何変換係数を算出する第２ステッ
    プ、および得られた幾何変換係数に基づいて、レンズ歪
    み補正およびシェーディング補正後の第１画像と第２画
    像とを合成する第３ステップ、 をコンピュータに実行させるための顕微鏡画像合成処理
    プログラムを記録したコンピュータ読み取り可能な記録
    媒体。
  10. 【請求項１０】 第２ステップは、 レンズ歪み補正およびシェーディング補正後の第１画像
    と第２画像との重なり部を抽出するステップ、 一方の画像における他方の画像との重なり部分から、両
    画像間のオプティカルフローによる追跡に有効な複数の
    部分画像を特徴点として抽出するステップ、 上記一方の画像上の各特徴点に対応する上記他方の画像
    上の点を、両画像間のオプティカルフローに基づいて追
    跡するステップ、および上記追跡結果に基づいて、２つ
    の画像間の幾何変換係数を算出するステップ、 を備えていることを特徴とする請求項９に記載の顕微鏡
    画像合成処理プログラムを記録したコンピュータ読み取
    り可能な記録媒体。
  11. 【請求項１１】 レンズ歪み補正時において、ユーザに
    レンズ歪み補正係数を入力させるためのステップ、およ
    びレンズ歪み補正前の画像とユーザによって入力された
    レンズ歪み補正係数に応じたレンズ歪み補正を行なった
    後の画像とを表示させるステップ、 をコンピュータに実行させるための顕微鏡画像合成処理
    プログラムを記録している請求項９および１０のいずれ
    かに記載のコンピュータ読み取り可能な記録媒体。
  12. 【請求項１２】 シェーディング補正時において、ユー
    ザにシェーディング補正係数を入力させるためのステッ
    プ、およびシェーディング補正前の画像とユーザによっ
    て入力されたシェーディング補正係数に応じたシェーデ
    ィング補正を行なった後の画像とを表示させるステッ
    プ、 をコンピュータに実行させるための顕微鏡画像合成処理
    プログラムを記録している請求項９、１０および１１の
    いずれかに記載のコンピュータ読み取り可能な記録媒
    体。
JP2000083840A 2000-03-24 2000-03-24 顕微鏡画像合成装置、顕微鏡画像合成方法、顕微鏡画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 Pending JP2001274973A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000083840A JP2001274973A (ja) 2000-03-24 2000-03-24 顕微鏡画像合成装置、顕微鏡画像合成方法、顕微鏡画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000083840A JP2001274973A (ja) 2000-03-24 2000-03-24 顕微鏡画像合成装置、顕微鏡画像合成方法、顕微鏡画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体

Publications (1)

Publication Number Publication Date
JP2001274973A true JP2001274973A (ja) 2001-10-05

Family

ID=18600407

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000083840A Pending JP2001274973A (ja) 2000-03-24 2000-03-24 顕微鏡画像合成装置、顕微鏡画像合成方法、顕微鏡画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体

Country Status (1)

Country Link
JP (1) JP2001274973A (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7016109B2 (en) 2002-09-10 2006-03-21 Olympus Optical Co., Ltd. Microscopic image capture apparatus and microscopic image capturing method
US7075569B2 (en) * 2001-03-26 2006-07-11 Minolta Co., Ltd. Image processing apparatus for performing shading correction on synthesized images
JP2006208381A (ja) * 2005-01-31 2006-08-10 Xerox Corp シートの動きを監視するための光学マウス・センサ
WO2007043382A1 (ja) * 2005-10-07 2007-04-19 Nikon Corporation 顕微鏡装置及び画像生成方法
US7388610B2 (en) 2002-08-16 2008-06-17 Zoran Corporation Techniques of modifying image field data by extrapolation
US7391450B2 (en) 2002-08-16 2008-06-24 Zoran Corporation Techniques for modifying image field data
US7408576B2 (en) 2002-08-16 2008-08-05 Zoran Corporation Techniques for modifying image field data as a function of radius across the image field
JP2009064427A (ja) * 2007-08-27 2009-03-26 Core Logic Inc 映像歪曲補正方法及びその補正方法を採用した映像処理装置
JP2010140899A (ja) * 2008-12-12 2010-06-24 Fei Co 粒子光学装置の歪曲を特定するための方法
EP2194414A3 (en) * 2008-12-08 2010-10-20 Olympus Corporation Microscope system and method of operation thereof
JP2011221350A (ja) * 2010-04-12 2011-11-04 Advantest Corp マスク検査装置及び画像生成方法
JP2012028282A (ja) * 2010-07-28 2012-02-09 Hitachi High-Technologies Corp 透過型および走査透過型電子顕微鏡
US20120147224A1 (en) * 2010-12-08 2012-06-14 Canon Kabushiki Kaisha Imaging apparatus
JP2014178781A (ja) * 2013-03-13 2014-09-25 Olympus Corp 画像処理装置、顕微鏡システム及び画像処理方法
JP2018029225A (ja) * 2016-08-15 2018-02-22 リコーイメージング株式会社 画像処理装置および撮像装置
CN112489134A (zh) * 2020-11-26 2021-03-12 南方科技大学 面向运动估计的跨帧超高速相机设计方法及运动估计方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03182976A (ja) * 1989-12-11 1991-08-08 Sumitomo Metal Ind Ltd ディジタル画像の接合方法
JPH07294215A (ja) * 1994-04-25 1995-11-10 Canon Inc 画像処理方法及び装置
JPH10187929A (ja) * 1996-11-08 1998-07-21 Olympus Optical Co Ltd 画像処理装置
JPH11339021A (ja) * 1998-05-21 1999-12-10 Sanyo Electric Co Ltd オプティカルフロ―推定方法および画像合成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03182976A (ja) * 1989-12-11 1991-08-08 Sumitomo Metal Ind Ltd ディジタル画像の接合方法
JPH07294215A (ja) * 1994-04-25 1995-11-10 Canon Inc 画像処理方法及び装置
JPH10187929A (ja) * 1996-11-08 1998-07-21 Olympus Optical Co Ltd 画像処理装置
JPH11339021A (ja) * 1998-05-21 1999-12-10 Sanyo Electric Co Ltd オプティカルフロ―推定方法および画像合成方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7075569B2 (en) * 2001-03-26 2006-07-11 Minolta Co., Ltd. Image processing apparatus for performing shading correction on synthesized images
US7834921B1 (en) 2002-08-16 2010-11-16 Zoran Corporation Compensation techniques for variations in image field data
US8218037B2 (en) 2002-08-16 2012-07-10 Csr Technology Inc. Techniques of modifying image field data by extrapolation
US7817196B1 (en) 2002-08-16 2010-10-19 Zoran Corporation Techniques of modifying image field data by extrapolation
US7907195B2 (en) 2002-08-16 2011-03-15 Zoran Corporation Techniques for modifying image field data as a function of radius across the image field
US7388610B2 (en) 2002-08-16 2008-06-17 Zoran Corporation Techniques of modifying image field data by extrapolation
US7391450B2 (en) 2002-08-16 2008-06-24 Zoran Corporation Techniques for modifying image field data
US7408576B2 (en) 2002-08-16 2008-08-05 Zoran Corporation Techniques for modifying image field data as a function of radius across the image field
US7016109B2 (en) 2002-09-10 2006-03-21 Olympus Optical Co., Ltd. Microscopic image capture apparatus and microscopic image capturing method
US7248403B2 (en) 2002-09-10 2007-07-24 Olympus Corporation Microscopic image capture apparatus and microscopic image capturing method
JP2006208381A (ja) * 2005-01-31 2006-08-10 Xerox Corp シートの動きを監視するための光学マウス・センサ
WO2007043382A1 (ja) * 2005-10-07 2007-04-19 Nikon Corporation 顕微鏡装置及び画像生成方法
JP2009064427A (ja) * 2007-08-27 2009-03-26 Core Logic Inc 映像歪曲補正方法及びその補正方法を採用した映像処理装置
US8363099B2 (en) 2008-12-08 2013-01-29 Olympus Corporation Microscope system and method of operation thereof
EP2194414A3 (en) * 2008-12-08 2010-10-20 Olympus Corporation Microscope system and method of operation thereof
US8885973B2 (en) 2008-12-12 2014-11-11 Fei Company Method for determining distortions in a particle-optical apparatus
JP2010140899A (ja) * 2008-12-12 2010-06-24 Fei Co 粒子光学装置の歪曲を特定するための方法
JP2011221350A (ja) * 2010-04-12 2011-11-04 Advantest Corp マスク検査装置及び画像生成方法
JP2012028282A (ja) * 2010-07-28 2012-02-09 Hitachi High-Technologies Corp 透過型および走査透過型電子顕微鏡
US20120147224A1 (en) * 2010-12-08 2012-06-14 Canon Kabushiki Kaisha Imaging apparatus
JP2014178781A (ja) * 2013-03-13 2014-09-25 Olympus Corp 画像処理装置、顕微鏡システム及び画像処理方法
JP2018029225A (ja) * 2016-08-15 2018-02-22 リコーイメージング株式会社 画像処理装置および撮像装置
CN112489134B (zh) * 2020-11-26 2024-05-14 南方科技大学 面向运动估计的跨帧超高速相机设计方法及运动估计方法
CN112489134A (zh) * 2020-11-26 2021-03-12 南方科技大学 面向运动估计的跨帧超高速相机设计方法及运动估计方法

Similar Documents

Publication Publication Date Title
JP3435084B2 (ja) オプティカルフロー推定方法および画像合成方法
CN107845134B (zh) 一种基于彩色深度相机的单个物体的三维重建方法
JP5094663B2 (ja) 位置姿勢推定用モデル生成装置、位置姿勢算出装置、画像処理装置及びそれらの方法
Zhou et al. Monocular real-time full body capture with inter-part correlations
US20030012410A1 (en) Tracking and pose estimation for augmented reality using real features
JP2001274973A (ja) 顕微鏡画像合成装置、顕微鏡画像合成方法、顕微鏡画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
CN110033475B (zh) 一种高分辨率纹理生成的航拍图运动物体检测与消除方法
Lee et al. Simultaneous localization, mapping and deblurring
JP2003196327A (ja) ３次元コンピュータモデリング
KR20090108642A (ko) 이미지의 캡쳐링, 프로세싱, 및 렌더링 방법
US10785469B2 (en) Generation apparatus and method for generating a virtual viewpoint image
CN112348958A (zh) 关键帧图像的采集方法、装置、系统和三维重建方法
CN111986296B (zh) 一种用于子弹时间的cg动画合成方法
Pulli et al. Mobile panoramic imaging system
JP3557168B2 (ja) レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体
CN114782646A (zh) 房屋模型的建模方法、装置、电子设备和可读存储介质
JP2003087549A (ja) 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP6555755B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2000155831A (ja) 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体
US20220148314A1 (en) Method, system and computer readable media for object detection coverage estimation
JP3979811B2 (ja) 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
CN117173012A (zh) 无监督的多视角图像生成方法、装置、设备及存储介质
JP3548071B2 (ja) 中間画像合成方法、中間画像合成装置、中間画像合成プログラムを記録した記録媒体
JP3540696B2 (ja) 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体
JP2002094849A (ja) 広視野画像撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060308

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060927