JP2003534837A - 動きのアーティファクトを自動補正する方法およびシステム - Google Patents

動きのアーティファクトを自動補正する方法およびシステム

Info

Publication number
JP2003534837A
JP2003534837A JP2001573400A JP2001573400A JP2003534837A JP 2003534837 A JP2003534837 A JP 2003534837A JP 2001573400 A JP2001573400 A JP 2001573400A JP 2001573400 A JP2001573400 A JP 2001573400A JP 2003534837 A JP2003534837 A JP 2003534837A
Authority
JP
Japan
Prior art keywords
motion
raster field
pixels
image
raster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001573400A
Other languages
English (en)
Inventor
スウィフト，ダナ
バードシル，ラリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smith and Nephew Inc
Original Assignee
Smith and Nephew Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smith and Nephew Inc filed Critical Smith and Nephew Inc
Publication of JP2003534837A publication Critical patent/JP2003534837A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Abstract

(57)【要約】 この発明の方法およびシステムによれば、カメラの動きによって生じた線状の動きのアーティファクトと、局部的な動きのアーティファクトとが、自動的にかつ区別をつけて検出される。局部的な動きのアーティファクトは例えば、内視鏡手術あるいは他の手術において、画像フィールドの中における外科用具あるいは患者の動きによって生じることがある。カメラの動きと局部的な動きとの双方について画像が自動的に補正された後に、その画像は観察のために表示される。

Description

【発明の詳細な説明】
【０００１】 発明の分野 この発明は、内視鏡手術あるいは他の手術から得られた飛越し走査方式のビデ
オおよび画像、スポーツの静止フレームあるいは他のビデオを改善する方法およ
びシステムに関するものである。特に、この発明の方法およびシステムは、録画
用装置、対象物あるいはこれら両者が独立して動く飛越し走査方式のビデオおよ
び画像を改善することに関するものである。この発明は、いっそう詳しくは、カ
メラの動きによってもたらされたアーティファクト（ａｒｔｉｆａｃｔ）および
対象物の動きによってもたらされたアーティファクトを自動的に補正するための
方法およびシステムに関するものである。
【０００２】 発明の背景 テレビ・ビデオ技術は、人間の眼を欺いて、テレビ信号あるいはビデオ信号が
起きている出来事を正確に反映すると信じさせるためのトリックに永い間依存し
てきた。例えば、ＮＴＳＣ（国立テレビ放送規格委員会）規格のような従来のビ
デオ技術では、単一の画像あるいはフレームが１／６０秒ずれて撮られた２つの
フィールドからなる「飛越し走査方式のビデオ」（ｉｎｔｅｒｌａｃｅｄ ｖｉ
ｄｅｏ）が用いられている。それぞれのフレームには、２つのフィールドに分け
られた５２５本の走査線が含まれている。第１の、すなわち奇数のフィールドは
、奇数の番号が付けられた線（例えば、１，３……５２５）からなり、第２の、
すなわち偶数のフィールドは、偶数の番号が付けられた線（例えば、２，４……
５２４）から形成されている。これら２つのフィールドは、フレームの表示の際
に、奇数番号の走査線が偶数番号の走査線の間に挿入されるように飛越し走査さ
れるが、これらのフィールドは、人間が一方の手の指を他方の手の指にからみ合
わせるときに起きるであろうからみ合わせにきわめて似ている。それぞれのフレ
ームは、（偶数および奇数の）それぞれが１／６０秒ずれて捕捉された２つの飛
越し走査フィールドから構成されているので、これらのフレーム自体は、１秒当
たり３０フレームの割合で捕捉される。
【０００３】 たいていのビデオの用途では、フィールドの捕捉どうしの間におけるきわめて
短い遅延（１／６０秒）は、対象物が撮影の間に動くときでも、どのような動き
のアーティファクト（ａｒｔｉｆａｃｔ ｏｆ ｍｏｔｉｏｎ／ｍｏｔｉｏｎ
ａｒｔｉｆａｃｔ）も事実上検出できない、ということを意味している。（動き
のアーティファクトの一例は、フレーム速度がかなり低い昔の無声映画に見るこ
とができる。）録画機がフレームを捕捉する高い速度と、それぞれのフレームの
中におけるフィールドどうしの間のわずかなタイムセパレーションとによって、
ビデオにおけるぼやけが最小になる。例えば、動いている車あるいは走っている
人のように、ビデオ録画される対象物が動いているときでも、そのような動きの
アーティファクトは、捕捉されたフレームの中では人間の眼が実質的に検出する
ことはできない。加えて、多くの用途では、人間は、ビデオにおいて検出可能な
動きのアーティファクトでも無視しがちであるが、これは、特定の動きのアーテ
ィファクト（例えば、対象物の動きによるぼやけ）がそのアーティファクトを外
す一組のフレームのうち別のフレームですばやく置換されることがしばしばある
ためである。このように、いくつかの用途では、フレーム捕捉速度と、飛越し走
査されたフィールドの連続的リフレッシュメントとは、ビデオ画像の目立ったぼ
やけを防止するのに充分である。
【０００４】 しかしながら、多くの用途では、フィールドが走査されかつフレームが捕捉さ
れる速度は、表示されたビデオにおける画像ゆがみ問題を引き起こす動きのアー
ティファクトを防止するに足りるほど高くはない。画像ゆがみ問題が動きのアー
ティファクトによって引き起こされることのある用途には例えば、内視鏡手術あ
るいは他の手術から得られたビデオおよび画像、スポーツの静止フレームあるい
は、カメラと対象物とが独立して動く他のビデオが含まれる。エドガー（Ｅｄｇ
ｅｒ）に付与された米国特許第５，１９１，４１３号には、この実例が記載され
ている。エドガーは次のように述べている。「もし、捕捉過程の間に手が対象物
によって動かされるようなことがあれば、はっきり相異なる２つの位置でその手
を捕捉する連続的なフィールドが生じるであろう。しかしながら、典型的な飛越
し走査方式の作動には、表示スクリーンに交互に連続リフレッシュされる２つの
フィールドが必要である。この結果、きわめて好ましくない画像の原因となる、
１秒に３０回の振動数で、じっとしていない動きあるいはぶるぶる震える動きを
する手の様相が、示されることになる」。この現象はナイムパリー（Ｎａｉｍｐ
ａｌｌｙ）らに付与された米国特許第５，３２９，３１７号にも示されている。
【０００５】 これらの動きのアーティファクトは、問題になっているビデオが拡大されたと
きに特に顕著である。例えば、内視鏡手術あるいは腹腔鏡手術においてビデオが
撮影されて拡大されることがたびたびある。ビデオ画像は、内視鏡の光学部品あ
るいは腹腔鏡の光学部品に接続された高解像度カメラによって撮影される。これ
らの画像は、観察器械の光学部品によってきわめて大きく拡大され、その結果、
捕捉された画像は動きに対してきわめて影響されやすい。従って、画像フィール
ドにおける小さい動きが、観察されたフィールドではきわめて大きい変化となり
、また、そのように拡大された動きは局部的よりも全体的であるように見える。
加えて、このような拡大のために、その動きは、捕捉されたフレームにおける２
つのフィールド成分どうしの間でタイムセパレーションによって誇張される。
【０００６】 捕捉されたフレームにおける動きの効果は、相異なる少なくとも２つの方法で
作り出されるが、これら少なくとも２つの方法のそれぞれは相異なる型の動きの
アーティファクトに帰する。動きのアーティファクトにおける１つの型は外科医
による内視鏡カメラの動きによって生じる。内視鏡の動きは、奇数のフィールド
と偶数のフィールドとの間の「均一な動き関連誤差」に帰することができる。こ
の型の動きの効果は「線状アーティファクト」として一般に知られている。両フ
ィールドが捕捉されると、内視鏡の動きによって、内視鏡の動きの速度に直接比
例してずらされるほとんど同一の画像が生じ、従って線状アーティファクトが作
り出される。第２の型の動きの効果は、そのカメラの画像フィールドの中におけ
る動きによって作り出される。このような動きは、外科医による外科用具の動き
のため、あるいは呼吸を伴うような患者の動きによる外科用具の動きのためかも
しれない。この型の動きの効果は、手術器具あるいは患者の組織の動きが観察さ
れ、かつ、「局部的アーティファクト」として知られている画像の領域に限定さ
れる。内視鏡光学部品あるいは腹腔鏡光学部品による実質倍率によって、線状ア
ーティファクトおよび局部的アーティファクトの双方でもたらされた捕捉画像に
おける動きのゆがみ効果が劣化する。
【０００７】 手術のようなデリケートな用途では、最も安定しかつアーティファクトのない
画像をもたらすことが重要である。これらの動きのアーティファクトについて補
正するために、過去において、いくらかの努力が行なわれてきた。例えば、ソニ
ー（Ｓｏｎｙ）のような製造業者から入手することのできるビデオプリンターに
は、「動き検査」ファームウェアが備わっている。このファームウェアは、特定
の画像の中で発達した動きのアーティファクトを探し、それらを見つけると使用
者に警報を出す。そして、使用者はその動きのアーティファクトを補正すること
ができる。この補正には、画像を形成する前記２つのフィールドにおける１つの
フィールド、すなわち、表示されあるいは印刷されるビデオの垂直解像度を大幅
に減少させる１つのフィールドを削除することが含まれている。動きを補正する
従来の別の技術は、前記２つのフィールドにおける１つのフィールドを削除して
、その廃棄されたフィールドを残りのフィールドの繰り返しによって置換するこ
とである。このことは、捕捉された情報の半分だけを誇張する画像に帰し、より
低い解像度に帰するものである。また、いくつかの商業的ソフトウェアの用途に
は、使用者によって実行することのできる動き補正の構成が備わっているが、こ
れらの構成は、その使用に際して技術的に精通していない者にとっては実施する
のが困難であることが多い。アドービ（Ａｄｏｂｅ）にはこのようなソフトウェ
アが備わっている。
【０００８】 動きのアーティファクトを補正することへの別の取り組みは、隣接する２つの
フィールドにおける画素どうしの間における差を一定のしきい値と比較すること
であった。このしきい値が大き過ぎるときには、１つの画素におけるこの値は置
換される。この置換値は、隣接する線どうしにおけるいくつかの画素の値を平均
化することによって決定することができる。しかしながら、もし、画素どうしの
間における差がその一定値を超えないときには、画素値を変化させるためにどの
ような動作も行なわれない。この過程は、それぞれのフレームのそれぞれの線に
おけるそれぞれの画素について繰り返される。内視鏡の画素の中で動きのアーテ
ィファクトへ適用されるようなこの取り組みの一例が、ブランソン（Ｂｒａｎｓ
ｏｎ）に付与された米国特許第５，８７７，８１９号に記載されている。
【０００９】 大きく拡大されたビデオにおける動きのアーティファクトを補正するための従
来のいくつかの方法によれば、最高品質の映像がもたらされることはない。さら
にまた、それらの方法は、専門化された技能を必要とし、また、順応性に欠けて
いる。このため、高解像度の画像を生じる、大きく拡大されたビデオにおける動
きのアーティファクトを補正する方法およびシステムについての要望がある。ま
た、さらに別の画素値の解析および置換における順応性を増大させるように、画
素値のしきい値について動的であるそのような方法およびシステムについての要
望もある。さらにまた、手術のようなデリケートな用途におけるそのような方法
およびシステムについての特別な要望もある。
【００１０】 発明の概要 この発明によれば、内視鏡的処置あるいは他の医療的および外科的処置から得
られたビデオおよび画像、スポーツの静止フレームあるいは、録画用装置、対象
物あるいはこれら両者が独立して動く他のビデオを改善する方法およびシステム
が提供される。この明細書に記載されたこの発明の実施態様の一例は、録画用カ
メラによって捕捉された飛越し走査方式のビデオ画像における動きのアーティフ
ァクトの自動補正方法である。このような実施態様には、飛越し走査方式のビデ
オ画像の完全なフレームを捕捉し、カメラの動きを自動的に補正し、対象物の動
きを自動的に補正し、かつ、カメラの動きおよび対象物の動きについて補正され
た画像を表示することが含まれていてもよい。
【００１１】 ある実施態様では、この発明の方法には、画像がカメラの動きによって影響さ
れたかどうかをまず判定することが含まれている。全体の画像がカメラの動きに
よって引き起こされた線状アーティファクトに影響されるので、このようなカメ
ラの動きのアーティファクトは、画像を局部的な動きについて試験することがで
きる前に、全体として画像から排除しなければならない。カメラの動きは、奇数
および偶数のラスターフィールドの自己相関を用いて識別されかつ測定される。
次いで、カメラの動きについて最適な補正をもたらすために、２次元ベクトルが
算出され、その後、前記２つのフィールドにおける捕捉の間における１／６０秒
間隔の間におけるカメラの動きを補正するために、偶数のフィールドを奇数のフ
ィールドに対して正しい位置に変えることができる（あるいはその逆もまた同様
である）。この発明のこのような観点によれば、観察される対象物に対してカメ
ラ自体が全体として動く（あるいはその逆もまた同様である）「線状アーティフ
ァクト」のような状況が補正される。
【００１２】 この発明の別の観点によれば、対象物の動きあるいは局部的な動きのアーティ
ファクトが含まれる特定のビデオ画像の中でセグメントを自動的に識別する方法
が提供される。この発明のこのような方法では、画像対象物の動きが生じた箇所
がまず決定される。このことは、偶数のフィールドを演算しあるいは予測するた
めに奇数フィールドにおける赤―緑―青（ＲＧＢ）の３つの色成分を畳み込むこ
とによって行なうことができる。測定された偶数フィールドと予測された偶数フ
ィールドとの差は、画像フィールドの中における動きの領域を表している。予測
された偶数フィールドと実際の偶数フィールドとの差が小さいときには、その差
は、細部を提示するのに寄与することができ、補正することなく残される。予測
された偶数フィールドと実際の偶数フィールドとの差が大きいときには、対象物
の動きあるいは画像フィールド内の局部的な動きが識別される。
【００１３】 次いで、補正を行なう必要のある画像の領域が決定される。補正の領域を決定
する１つの方法は、対象物動きマップを作成することである。１つの実施例では
、対象物動きマップは、予測された偶数フィールドと実際の偶数フィールドとの
差を２乗することによって創造することができる。フィールド間の画素値の差を
２乗すると、それらの値に関連した正あるいは負の方向が除去され、また、小さ
い誤差に対する影響が少なくなる。得られた対象物動きマップはその後、局部的
な動きのアーティファクトが生じた画像の領域の輪郭を描くための２値画像を創
造するために、しきい値と比較される。
【００１４】 次いで、識別された対象物の局部的動きが補正される。１つの方法では、補正
は、対象物動きマップによって偶数フィールド予測精度の低いことが示されると
きには、画像の領域における奇数フィールドから偶数フィールドを演算すること
によって行なわれる。局部的アーティファクトの識別された領域を指定された発
光しきい値の上方における隣接画素の数と比較することによって、好ましくない
画素を１つずつ除去することができる。
【００１５】 その後、好ましくない画素が除去された対象物動きマップにおけるそれぞれの
領域は、局部的な動きのアーティファクトによって引き起こされたぼやけを生じ
ることなく、置換することができる。１つの方法では、除去された画素について
の自己相関置換は、相異なる２方向における隣接画素を検出することによって行
なうことができる。除去された対象物の動きの領域における境界にあるぼやけて
いない画素から演算されたこのような２次元ベクトルは、そこからの鮮明な画素
を対象物の動きの領域の中へ移すことによってそのマップを調整するために用い
ることができる。
【００１６】 次いで、処理ずみ補正画像を演算することができる。この発明に係る１つの方
法では、処理ずみ補正画像が、調整されたマップを用いて最初のＮＴＳＣフレー
ムを改変する箇所を示すことによって、演算される。最初のフレームの選択的補
正は、対象物の動きが最も大きいことをそのマップが示すときに、奇数のラスタ
ーから偶数のラスターを演算することによって行なうことができる。カメラの動
きと局部的な動きとの双方について自動的に補正された処理ずみ画像が演算され
た後に、その画像は観察のために表示される。
【００１７】 この発明のいくつかの実施態様における１つの利点は、動きのアーティファク
トが、線状であるか局部的であるかに関わりなく、自動的に補正されることであ
る。この発明におけるように、局部的フィールドの合成複製の利点は、観察され
た画像における可視的なエッジ効果がまったくないということである。言い換え
れば、対象物の動きの領域には、過剰補正によってしばしば生じるぎざぎざのエ
ッジではなく滑らかなエッジがある。
【００１８】 この発明のように、補正の必要な領域についてだけ自動的に補正する別の利点
は、画像の解像度が高いということである。純粋な局部的フィールドの複製によ
れば、対象物の動きの領域における偶数のラスター画素を廃棄することによって
いくつかの画像細部が欠損することになる。それにもかかわらず、この発明のい
くつかの実施態様では、必要な領域でだけ画素が廃棄されるので、画素の領域を
すべて廃棄するシステムにおけるよりもはるかに少ない画素が廃棄される。従っ
て、この発明の方法およびシステムによれば、最高の解像特性の映像が得られる
ことになる、大きく拡大されたビデオにおける動きのアーティファクトを自動補
正する順応性のある手段が提供される。
【００１９】 この発明におけるいくつかの実施態様によれば、捕捉されたフレームの中に生
じたアーティファクトの型が自動的に検出される。この発明に係るシステムによ
れば、動きのアーティファクトが、相対的なカメラの動きによって生じた線状ア
ーティファクトであるか、あるいは対象物（外科器具あるいは患者）の動きによ
って生じた画像フィールドにおける局部的アーティファクトであるかが、自動的
に識別される。相異なる動きの型を検出するための相異なるパラメーターを利用
することによって、検出された動きの型についてだけ補正動作が行なわれる。
【００２０】 動きの型が自動的に識別された後に、この発明のいくつかの実施態様では、次
に、フレームのそれぞれの画素において生じた特定のアーティファクトについて
の正確な補償を用いて、フレームの画像が自動的に補正される。これらの利益に
よって、外科医がビデオ捕捉の際に動き補正をしなければならないかどうかを判
定する必要性がなくなり、従って、長い外科的処置時間がなくなる。加えて、こ
のシステムの利点は、カメラ、外科医、外科用具および患者が画像の捕捉される
それぞれの時刻と同じ瞬間に静止していることを外科医が保証するのに際して、
集中する必要なく静止画像を捕捉することができることである。画像は、これら
の潜在的なアーティファクト源のいずれかの動きによって生じた動きのアーティ
ファクトを心配することなく、基本的には無作為に捕捉することができる。
【００２１】 この発明における別の利点は、いくつかの実施態様を、後処理である画像補正
を行なうことが必要になる時間を省略するために、手術室において使うことがで
きることである。自動的でない動き補正処置には、外科医が、「上方への動き」
および「下方への動き」のような作用で画像を用手操作することによって、捕捉
された画像を手で編集することが含まれる。この発明に係る動きのアーティファ
クトの自動補正によれば、手による編集の必要性がなくなる。
【００２２】 さらに、この発明の自動動き補正を利用するのに必要な最小時間によれば、実
際のリアルタイム画像補正がもたらされる。この方法は、専用回路において実施
された方法を伴う専用の画像処理設備を用いて、あるいは特定目的のための計算
要素を用いて、リアルタイムに利用することができる。この代わりに、この方法
は、ソフトウェアにおいて実施された方法を用いて動きのアーティファクトの補
正を演算するために汎用目的コンピューターを用いて利用することができる。
【００２３】 この発明に係る自動動き補正の方法およびシステムは、内視鏡手術あるいは他
の手術から得られたビデオおよび画像、スポーツの静止フレームあるいは、カメ
ラおよび対象物が独立して動く他のビデオの、広範囲の用途に用いることができ
る。この発明は、ＮＴＳＣ、ＰＡＬおよび他の飛越し走査方式のビデオ信号源が
含まれる、さまざまなビデオ信号フォーマットで用いることができる。
【００２４】 従って、この発明の方法およびシステムによれば、カメラ、対象物あるいは、
これら両者が独立して動き、高品質解像度画像が生じるビデオおよび画像の自動
動き補正が提供される。このことは、飛越し走査方式のフレームにおける両方の
ラスターフィールドからの第１次情報を維持することによって達成される。この
発明の方法およびシステムによれば、両方の動きの型が同時に生じるかもしれな
い、カメラの動きによって生じた線状の動きのアーティファクトと、画像フィー
ルドの中における外科用具あるいは患者の動きによって生じた局部的な動きのア
ーティファクトとが、自動的にかつ区別をつけて検出される。この発明の方法お
よびシステムを用いることによって、動きのアーティファクトにおけるそれぞれ
の型を自動的にかつ区別をつけて補正することができる。
【００２５】 当業者によれば、この発明の利点および特徴は、これまでに説明されたように
、また、以下のアーティファクトな説明から明らかなように、認識されるであろ
う。
【００２６】 詳細な説明 この発明に係る自動動き補正の方法およびシステムは、広範囲の用途に用いる
ことができる。これらの用途の例には、内視鏡的処置あるいは他の医療的および
外科的処置から得られたビデオおよび画像、スポーツの静止フレームあるいは、
カメラおよび対象物が独立して動く他のビデオが含まれる。この発明は、ＮＴＳ
Ｃ、ＰＡＬおよび他の飛越し走査方式のビデオ信号源が含まれる、さまざまなビ
デオ信号フォーマットで用いることができる。加えて、この発明は、さまざまな
ハードウェア用途で用いることができる。
【００２７】 この発明の実施態様の一例は、録画用カメラによって捕捉された飛越し走査方
式のビデオ画像における動きのアーティファクトの自動補正方法である。このよ
うな実施態様には、飛越し走査方式のビデオ画像の完全なフレームを捕捉するこ
とが含まれており、その完全なフレームには第１ラスターフィールドが備わって
おり、その第１ラスターフィールドは第２ラスターフィールドで飛越し走査され
、これら両方のフィールドはいくつかの画素からなっている。このような実施態
様には、カメラの動きを自動的に補正すること、対象物の動きを自動的に補正す
ることおよび、カメラの動きおよび対象物の動きについて補正された画像を表示
することが含まれている。
【００２８】 この発明の実施態様の方法は、第１および第２のラスターフィールドにおける
画素どうしの間に最適な補正値を配置するステップと、このような最適な補正値
から２次元動きベクトルを創造するステップとを利用することもできる。カメラ
の動きの補正を行なうために、この実施態様ではその後、２次元動きベクトルに
従って、補正後の位置において、捕捉された完全なフレームの中で第２ラスター
フィールドを畳み込むことによって合成的第１ラスターフィールドが作り出され
る。
【００２９】 対象物の動きの補正を達成するために、この発明における実施態様の方法は、
第１ラスターフィールドと第２ラスターフィールドとの間における画素値の差が
比較的大きい捕捉フレームの領域を識別するために、対象物動きマップを演算す
るステップを利用することもできる。いくつかの隣接画素があらかじめ設定され
たしきい値を超える画素を識別する捕捉フレームの領域の輪郭を描くために、対
象物動きマップから、２値対象物動き位置決めマップを創造することができる。
この実施態様では、対象物の動きの領域において識別された画素はその後、除去
することができる。対象物の動きの領域から除去された画素は次に、除去ずみ領
域の境界における画素から２次元ベクトルを演算することによって、ぼやけるこ
となく置換することができる。この実施態様では、対象物の動きが最大である捕
捉フレームにおける領域を表すために、調整された２値対象物動き位置決めマッ
プを用い、かつ、対象物の動きが最大である領域における補正ずみ第１ラスター
フィールドから補正ずみ第２ラスターフィールドを演算することによって、処理
ずみ補正画像を創造することができる。先に説明された実施態様の方法では、カ
メラの動きと対象物の動きとについて補正された画像をビデオモニターに表示す
るステップを利用することもできる。
【００３０】 この発明の、内視鏡手術に関するある用途において、１つの実施態様では、米
国マサチューセッツ州アンドーバー市のスミス・アンド・ネフュー・インコーポ
レーテッド（Ｓｍｉｔｈ ＆ Ｎｅｐｈｅｗ）社による「ダイオニックス（Ｄｙ
ｏｎｉｃｓ 登録商標）ビジョン ６２５ ディジタル捕捉システム」が使われ
ている。この「ダイオニックス（Ｄｙｏｎｉｃｓ 登録商標）ビジョン ６２５ ディジタル捕捉システム」（「ダイオニックス（Ｄｙｏｎｉｃｓ 登録商標）
ビジョン ６２５」）は、手術中の画像をディジタル方式で捕捉するために、手
術室で使われるように設計されている。これらの画像は、長期保管、検索あるい
は印刷のための可搬型媒体における標準画像ファイルフォーマットに記憶される
。
【００３１】 この発明の方法およびシステムに係るビデオ画像自動動き補正の実施態様が、
例えば以下のステップにおける内視鏡手術について、「ダイオニックス（Ｄｙｏ
ｎｉｃｓ 登録商標）ビジョン ６２５」を使って説明されている。特に図１〜
図４には、この発明におけるような自動動き補正を実施するための実施態様の操
作が表されている。
【００３２】 １．コンピューターフレームの捕捉（フレーム１）
【００３３】 この発明における自動動き補正の方法およびシステムでは、捕捉された偶数フ
ィールドおよび奇数フィールドの双方のある完全なフレームが備わっている飛越
し走査方式のビデオ画像について操作される。図５によれば、例えば、標準的な
ビデオ捕捉装置を使って完全なＮＴＳＣフレーム５０１を捕捉することができる
。「ダイオニックス（Ｄｙｏｎｉｃｓ 登録商標）ビジョン ６２５」システム
１００が使われる実施態様では、図１に示されたように、内視鏡光学部品１０１
によって、カメラの動きと対象物の局部的動きとの両方が自動的に検出されかつ
補正されるビデオ画像が検出される。図１によれば、飛越し走査方式のビデオ信
号が、内視鏡光学部品１０１からカメラ制御ユニット１０２を通って、全フレー
ムの飛越し走査方式ビデオ画像が捕捉されるディジタル捕捉ユニット１０３へ送
られる。
【００３４】 ディジタル捕捉ユニット１０３には、図３における符号３０６および３０８に
それぞれ示されたように、「静止化」および「捕捉」のようなこのシステムのさ
まざまな様相を活性化するために使うことのできる、付属のキーボード１０４が
備わっていてもよい。内視鏡光学部品１０１によって検出されたライブビデオ画
像は、ビデオモニター１０５に表示されたように（３０５ａ，３０５ｂ）観察す
ることができる。操作に際して、外科医は、ライブビデオ画像（３０５ａ）を静
止させる（３０６）とともにビデオモニター１０５にその静止画像を表示する（
３０７）ために、カメラ制御ユニット１０２において「静止」信号１１０を発信
させることができる。外科医がライブ画像（３０５ａ）を観察するときに、その
画像は、カメラ制御ユニット１０２において「捕捉」信号を発信させることによ
って捕捉することができ、その画像は、ディジタル捕捉ユニット１０３の内部一
時記憶装置１１２にセーブされる（３０９）。「バイパス」モード３３０を活性
化することによって、ディジタル捕捉ユニット１０３は、観察されるライプビデ
オ画像への適用から不活性化されあるいは一時停止されるとともに、ライブ画像
が直接ビデオモニター１０５に表示される。
【００３５】 図５にいっそう詳しく示されたように、カメラの動きの自動補正４０５と対象
物の局部的動きの自動補正４０６とが、図１に示された実施態様の自動動き補正
（ＡＭＣ）フィルター１０９によって作動可能にされる。カメラの動きと対象物
の局部的動きとの両方についての自動補正は、以下に説明される。
【００３６】 ２．第１ラスターフィールドの第２ラスターフィールドに対する自己相関の
実行（フレーム１）
【００３７】 この発明の方法およびシステムによって実行された第１自動動き補正はカメラ
の動きのものである。図６には、カメラの動きによって生じた線状アーティファ
クトによる画像のゆがみが示されている。カメラの動きの補正は、偶数フィール
ドか奇数フィールドかのいずれか一方の第１ラスターフィールドについて、捕捉
フレームにおいて第１ラスターフィールドに補完的であるフィールドである第２
ラスターフィールドに対する自己相関を実行することによって達成される。この
自己相関関数は「動きベクトル」に帰するものである。「ダイオニックス（Ｄｙ
ｏｎｉｃｓ 登録商標）ビジョン ６２５」システムを使えば、図５における関
数「動きベクトルの測定」５０２を実行することによって自己相関動きベクトル
が演算される。「動きベクトルの測定」５０２によって、変数表から２つの値で
あるゆがみＸ（ＳｋｅｗＸ）およびゆがみＹ（ＳｋｅｗＹ）が出力される。時間
を節約するために、そのアルゴリズムでは、反復検索、すなわち、３×３の畳み
込みを最小化することが用いられる。最適な組み合わせが見つかるまで、あるい
は第１ラスターが第２ラスターからずれている所定数の画素よりも大きいことが
判定されるまで、新しい位置を検索するために、３×３の結果行列の最良適合位
置が用いられる。この所定数は、１０〜２０画素の範囲内にあるのが好ましく、
この例では１５画素である。
【００３８】 「動きベクトルの測定」５０２は、１つのサブルーチンで「畳み込み」５０３
と称される。この「畳み込み」の目的は、最適な自己相関箇所についての先の検
索においてすでに実行された演算の複製を省くために、連続的な演算の結果をセ
ーブすることである。一般に、「Ａｔ巻き込み」（ＣｏｎｖｏｌｖｅＡｔ）とは
、一方のラスターにおけるそれぞれの試験画素の、他方のラスターにおける参照
画素に対する適合度の質を示すさまざまなＸ箇所およびＹ箇所のそれぞれについ
ての単一数を創造することによって、２つの画像を比較する数学的技法である。
【００３９】 この発明において、「Ａｔ巻き込み」には、指定されたずれについての奇数ラ
スターと偶数ラスターとの間におけるすべての画素の差が巻き込まれている。指
定されたずれがＸおよびＹの両方についてゼロであるときには、両方のラスター
における同じ画素どうしが互いに比較される。そのずれがＸについて１であり、
Ｙについて０であるときには、奇数ラスターにおける同じ画素の右側に位置する
偶数ラスター画素が比較される。「Ａｔ巻き込み」における畳み込みによって、
指定されたずれでラスターどうしの間における差の２乗の合計が測定される。奇
数ラスターと偶数ラスターとの間における最適な自己相関は、２つのラスターど
うしの間における最小差を創造するＸおよびＹの値である。試験画像を参照画像
に対して移動させるための最適自己相関箇所を決定すれば、畳み込みによって、
全フレーム画像が可能になるような鮮明な画像が作り出される。それにもかかわ
らず、この箇所には、局部的アーティファクトによる２つのラスターフィールド
どうしの間における画像差がまだ存在している。
【００４０】 次のアルゴリズムは、第１ラスターフィールドの第２ラスターフィールドに対
する自己相関に使われる。しかしながら、当業者に明らかなように、この発明に
おける自動動き補正の方法およびシステムは、このような畳み込み法によらない
用途にも容易に利用することができる。
【００４１】
【式１】
【００４２】
【式１つづき】
【００４３】
【式１つづき】
【００４４】
【式１つづき】
【００４５】 ３．第２ラスターフィールドを複製することによって第１ラスターフィールドを
創造し、次いで、その合成的第１ラスターフィールドをその自己相関の中へ配置
する。（フレーム２）
【００４６】 カメラの動きの自動動き補正を遂行するために、人間の眼にとって実質的に透
明な中間フレームが作り出される。図７には、カメラの動きによる線状アーティ
ファクトの自動補正の後における図６の画像が示されている。この中間フレーム
には、第２ラスターフィールドを複製し、次いで、合成されたものをその自己相
関の中へ配置することによって作り出された合成的第１ラスターフィールドのあ
るラスターが備わっている。この発明の方法およびシステムについてのある実施
態様では、「ダイオニックス（Ｄｙｏｎｉｃｓ 登録商標）ビジョン ６２５」
システムを用いれば、図５に示されたような「偶数フィールドの移動と奇数フィ
ールドへの重ね合わせ」関数５０４を自動的に実行させることによって、そのよ
うな合成的フィールドが作り出されるとともに、それが相関位置へ配置される。
関数「偶数フィールドの移動と奇数フィールドへの重ね合わせ」５０４によって
、関数「動きベクトルの測定」５０２で決定されたずれで、ＮＴＳＣフレームに
おける偶数フィールドが置換される。次のアルゴリズムは、合成的フィールドの
あるラスターを創造する方法に使われる。
【００４７】
【式２】
【式２つづき】
【００４８】 ４． 対象物動きマップの演算（フレーム３）
【００４９】 図８には、カメラの動きと対象物の局部的動きとによる画像のゆがみが示され
ている。カメラの動きがこの発明の方法およびシステムによって自動的に補正さ
れた後に、対象物の局部的動きは、図４における参照符号４０６で示されたよう
に、自動的に検出しかつ補正することができる。図５によれば、対象物の局部的
動きは、透明な、すなわち見ることのできない別の中間フレームであるフレーム
３が備わっている対象物動きマップを演算することによって、自動的に検出する
ことができる。対象物の動きは、カメラの動きの影響が排除された後の画像にお
けるどの箇所でも分かる。関数「アーティファクトの位置決め」５０５は、例え
ば「ダイオニックス（Ｄｙｏｎｉｃｓ 登録商標）ビジョン ６２５」システム
を用いて、偶数ラスターと奇数ラスターとの差における対象物の動きの結果を検
索するものである。「予測された」偶数画素値と実際の偶数画素値との差を演算
するために、「アーティファクトの位置決め」５０５関数では、畳み込み核 ０ １ ０ ０ −２ ０ ０ １ ０ の参照画像が用いられる。
【００５０】 しかしながら、 １ ０ １ ０ −４ ０ １ ０ １ あるいは １ １ １ ０ −６ ０ １ １ １ のような任意の同値畳み込み核を用いてもよい。
【００５１】 この核は実行速度について選ばれたものである。３つの有効項が適切であるが
、これは、画像の偶数ラスターには、合成的フィールド５０４のあるラスターを
創造してその合成的フィールドをその補正ずみ箇所（フレーム２）の中へ配置す
るために、先に説明された方法の故に奇数ラスターへのあり得る最大相関がすで
に備わっているからである。
【００５２】 「アーティファクトの位置決め」５０５には、「差」におけるハーフハイトの
グレースケール画像を創造するために、ＮＴＳＣ画像すなわち「色ラスター」が
含まれる。次のアルゴリズムは、対象物動きマップを演算する方法に使われる。
【００５３】
【式３】
【００５４】 ５． ２値対象物動き位置決めマップを創造するための、フレーム３におけるし
きい値差の設定と好ましくない画素の除去（フレーム４）
【００５５】 好ましくない画素を除去するとともに影響を受けた領域における実際の細部を
依然として保存することによって、局部的な動きのアーティファクトについて補
正するために、対象物動きマップが演算された後に２値対象物動き位置決めマッ
プが作り出される。この発明の方法およびシステムでは、例えば「ダイオニック
ス（Ｄｙｏｎｉｃｓ 登録商標）ビジョン ６２５」システムの実施態様を用い
れば、関数「大量除去」５０６（図５）によって２値対象物動き位置決めマップ
が作り出される。関数「大量除去」５０６は、グレースケール画像「マップ」に
おけるそれぞれの画素を、多数の画像で試してみることによって決定されたしき
い値差と比較するものである。「アーティファクトの位置決め」５０５における
畳み込み核を用いる実際の用途では、約２０〜約１５０ＩＲＥ輝度単位、好まし
くは４０〜１００単位の箇所であればどこでも、良好に機能する。このましい最
終平均しきい値差は８０ＩＲＥ単位である。
【００５６】 「大量除去」５０６によって、対象物動きマップにおける２値大量除去が行な
われて、多い画像細部に由来するヘアーライン信号が除去される。大量除去によ
って好ましくない画素が１つずつ除去されるが、この大量除去は、しきい値を超
える隣接画素の数をまず合計することによって行なわれる。もし、対象物動きマ
ップの中で４つ以上の隣接画素がしきい値よりも大きいときには、その画素は除
去しない。もし、対象物動きマップの中で３つ以下の隣接画素がしきい値よりも
大きいときには、その画素は除去する。このような次第なので、局部的な細部は
保存され、一方、外科用具あるいは患者の動きによって生じた動きのアーティフ
ァクトは補正される。次のアルゴリズムは、２値対象物動き位置決めマップを創
造するために、大量除去の方法に使われる。
【００５７】
【式４】
【００５８】 ６． ２値対象物動き位置決めマップの調整（フレーム５）
【００５９】 先のステップにおいて、中間フレーム４の中に２値対象物動き位置決めマップ
を創造するために、しきい値を設定し、かつ、好ましくない画素を大量除去した
後に、その２値マップの画像が、次の中間フレームの中で調整されて、動きのア
ーティファクトによって生じたぼやけを生じることなく大量除去ずみ区域が置換
される。この発明の方法およびシステムでは、例えば「ダイオニックス（Ｄｙｏ
ｎｉｃｓ 登録商標）ビジョン ６２５」システムの実施態様を使うことによっ
て、そのマップが「大量除去」されて、対象物の動きのアーティファクトにより
除去ずみ領域の境界の近傍における画素が識別される。この境界の近傍における
画素は、類似した対象物の動きによって最も影響を受ける可能性が高い。「膨脹
」ルーチン５０７（図５）によれば、局部的な動きのアーティファクトによって
引き起こされたぼやけを生じることなく大量除去ずみ区域が置換される。「膨脹
」ルーチン５０７は、このリーチンが求められる度にそのマップを「広げて」１
つの画素を除去するというその効果を除いて、類似した方法で「大量除去」ルー
チン５０６に使われる。除去ずみ領域の境界で識別された画素に隣接する画素を
一度に１つ、２方向で検出することによって、２次元ベクトルが演算される。対
象物の動きの領域内において除去された画素は次いで、その２次元ベクトルで置
換されて、滑らかなエッジのある補正ずみ画像が作り出される。「膨脹」ルーチ
ン５０７は、画像の鮮明度を高めるために、２回行なわれる。次のアルゴリズム
は、しきい値の近傍の画素でそのマップを調整するための方法に使われる。
【００６０】
【式５】
【００６１】 ７．処理ずみ補正画像の演算（フレーム６）
【００６２】 ２値対象物動き位置決めマップ画像が、局部的な動きのアーティファクトによ
って引き起こされたぼやけを生じることなく大量除去ずみ区域を置換することで
調整された後に、処理ずみ補正画像が演算される。処理ずみ補正画像は、最初の
ＮＴＳＣフレーム色ラスターを改変する箇所を表示するために、調整されたマッ
プ（画像５）を使うことによって演算される。この発明の方法およびシステムで
は、例えば「ダイオニックス（Ｄｙｏｎｉｃｓ 登録商標）ビジョン ６２５」
システムの実施態様を用いれば、図５に示されたように「マップの内挿」ルーチ
ン５０８を行なうことによって、最初のフレーム色ラスターが改変される。この
「マップの内挿」ルーチン５０８は、対象物の動きが最大であることをマップが
表示する箇所である偶数ラスターを奇数ラスターから演算することによって、色
ラスターを選択的に補正するものである。すなわち、程度の大きい対象物の動き
のある画像フィールドの局部的領域が、補正のために選び出される。その結果、
鮮明な処理ずみ画像が内挿される。図９には、自動動き補正後における図８の画
像が示されている。次のアルゴリズムは、カメラの動きと対象物の局部的動きと
の両方についての処理ずみ画像を創造するために、最初のフレーム色ラスターを
選択的に補正する方法に使われる。
【００６３】
【式６】
【００６４】 図におけるステップ５０５〜５０８（フレーム３〜６）の作動の結果、図４に
おけるステップ４０６によって表示されたように、最初の捕捉フレーム（フレー
ム１）が、対象物の局部的動きについて自動的に補正される。
【００６５】 ８．処理ずみ補正画像の表示（フレーム７）
【００６６】 カメラの動きと対象物の局部的動きとの両方について自動的に補正された処理
ずみ画像５０９（図５）が演算された後に、その画像は、例えば外科医によるリ
アルタイム観察のために、表示される。この発明の方法およびシステムによって
、例えば「ダイオニックス（Ｄｙｏｎｉｃｓ 登録商標）ビジョン ６２５」シ
ステムを使って自動的に補正された画像もまた、長期保管、検索あるいは印刷の
ための可搬型媒体における標準画像ファイルフォーマットに記憶される。図１お
よび図３によれば、処理ずみ補正画像（フレーム７）が表示されると、その画像
はディジタル捕捉ユニット１０３における内部キャッシュのような内部一時記憶
装置１１２にセーブされる（３０９）。内部一時記憶装置１１２にセーブされた
補正画像は次いで、媒体書込装置１０６によって、携帯型記憶媒体１０７への永
久記憶のために書き込まれる。補正画像は、標準的なビデオプリンター１０８を
使って印刷することもできる。
【００６７】 この発明の前記実施態様は、この発明のさまざまな目的の達成のために説明さ
れてきた。この実施態様はこの発明の原理の単なる例示であると認識すべきであ
る。それについてのおびただしい改変および適用は、特許請求の範囲に画定され
たようなこの発明の範囲から逸脱することなく、当業者にとっては直ちに明らか
であろう。例えば、この発明の自動動き補正の方法およびシステムは、さまざま
なビデオ信号の用途において、また、代わりのコンピューターハードウェアの様
相で利用することができる。別の例として、この明細書では、この発明に係るさ
まざまなステップに応用するアルゴリズムが設けられているが、別のアルゴリズ
ムを採用することができる。
【図面の簡単な説明】
【図１】 図１は、この発明の自動動き補正を実施するためのシステムを示している模式
図である。
【図２】 図２は、この発明の自動補正システムを実施するための実施態様の操作を示し
ている流れ図である。
【図３】 図３は、図２に表された実施態様の操作における、この発明の自動補正システ
ムを利用するためのオプションを示している、より詳しい流れ図である。
【図４】 図４は、図１に表されたシステムに具体化されたような、この発明の自動動き
補正の方法を示している流れ図である。
【図５】 図５は、図４に表されたシステムに具体化されたような、この発明の自動動き
補正の方法を示しているとともに、カメラの動きの自動的補正と対象物の動きの
自動的補正とを達成するためのステップを示している、より詳しい流れ図である
。
【図６】 図６は、カメラの動きによって生じた線状アーティファクトによる画像のゆが
みを表すための写真である。
【図７】 図７は、カメラの動きによって生じた線状アーティファクトの自動動き補正後
における、図６の画像の写真である。
【図８】 図８は、カメラの動きと、対象物動きマップによって識別されたような対象物
の局部的動きとによって生じた画像のゆがみを表すための写真である。
【図９】 図９は、カメラの動きの自動動き補正と対象物の局部的動きの自動動き補正と
の後における、図８の画像の写真である。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ，ＴＲ)，ＯＡ(ＢＦ ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ， ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，Ｇ Ｍ，ＫＥ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ， ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＧ，ＡＬ，ＡＭ， ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，Ｂ Ｚ，ＣＡ，ＣＨ，ＣＮ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ ，ＤＭ，ＤＺ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ， ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，Ｊ Ｐ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＡ，ＭＤ，ＭＧ，ＭＫ， ＭＮ，ＭＷ，ＭＸ，ＭＺ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，Ｒ Ｏ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ，ＵＧ，ＵＺ，ＶＮ， ＹＵ，ＺＡ，ＺＷ Ｆターム(参考） 4C061 CC06 JJ17 NN01 NN05 NN07 SS11 TT20 WW01 YY01 YY12 5C022 AA08 AA09 AC69

Claims (35)

    【特許請求の範囲】
  1. 【請求項１】 第１ラスターフィールドと飛越し走査された第２ラスターフ
    ィールドとを有している、飛越し走査方式のビデオ画像の完全なフレームを捕捉
    し、 カメラの動きを自動的に補正し、 対象物の動きを自動的に補正し、かつ、 カメラの動きおよび対象物の動きの補正ずみ画像を表示することからなる 録画用カメラによって捕捉された飛越し走査方式のビデオ画像における動きのア
    ーティファクトを自動補正する方法。
  2. 【請求項２】 カメラの動きの自動的補正が、捕捉フレームがカメラの動き
    のアーティファクトを含んでいるかどうかを判定することからなる請求項１に記
    載の方法。
  3. 【請求項３】 カメラの動きの自動的補正が、第１ラスターフィールドにお
    ける自己相関を第２ラスターフィールドに対して実行することからなる請求項１
    または２に記載の方法。
  4. 【請求項４】 第１および第２のラスターフィールドがそれぞれ、複数の画
    素を有し、第１ラスターフィールドにおける画素が、第２ラスターフィールドに
    おける画素からずれており、自己相関の実行が、第１ラスターフィールドにおけ
    る画素と第２ラスターフィールドにおける画素との間に２次元動きベクトルを創
    造することからなる請求項３に記載の方法。
  5. 【請求項５】 ２次元動きベクトルが、第１ラスターフィールドにおけるそ
    れぞれの画素の第２ラスターフィールドにおける参照画素に対するＸ／Ｙ座標に
    ついての最適相関値を配置することからなる請求項４に記載の方法。
  6. 【請求項６】 最適相関値の配置が、３×３の畳み込み検索の繰り返しの使
    用からなる請求項５に記載の方法。
  7. 【請求項７】 ３×３の畳み込み検索の繰り返しの使用が、 （ａ）第１の特定のずれがＸ座標およびＹ座標の両方についてゼロであるとき
    に、第１および第２のラスターフィールドにおける対応画素について第１相関値
    を決定し、 （ｂ）第２の特定のずれがＸ座標について１でありかつＹ座標についてゼロで
    あるときに、第２ラスターフィールドにおける対応画素の右側に位置する第１ラ
    スターフィールドにおける画素について第２相関値を決定し、 （ｃ）第１相関値と第２相関値との間の差を算出し、 （ｄ）これらの値の間の差を２乗し、 （ｅ）第１ラスターフィールドにおけるすべての画素について第２ラスターフ
    ィールドにおける画素に対してステップ（ａ），（ｂ），（ｃ）および（ｄ）を
    繰り返し、 （ｆ）第１の特定のずれでの相関値と第２の特定のずれでの相関値との間にお
    ける差の２乗を加算し、かつ、 （ｇ）第１ラスターフィールドを第２ラスターフィールドに対してずらすため
    の最適相関値をもたらすために、第１ラスターフィールドにおける画素と第２ラ
    スターフィールドにおける画素との間の最小差を創造する相関値を決定すること
    からなる請求項６に記載の方法。
  8. 【請求項８】 ２次元動きベクトルの創造が、第２ラスターフィールドにお
    ける参照画素から所定数の画素よりも多くずれていることが判定された第１ラス
    ターフィールドにおけるそれぞれの画素に対するＸ／Ｙ座標についての値を配置
    することからなる請求項４に記載の方法。
  9. 【請求項９】 前記の所定数の画素が、１０〜２０画素の範囲内にある請求
    項８に記載の方法。
  10. 【請求項１０】 カメラの動きの自動的補正が、合成的第１ラスターフィー
    ルドを第２ラスターフィールドの複製によって創造することからさらになってい
    る請求項３〜９のいずれか１つに記載の方法。
  11. 【請求項１１】 カメラの動きの自動的補正が、２次元動きベクトルによっ
    て決定された自己相関に係る補正位置のある完全捕捉フレームの中に合成的第１
    ラスターフィールドを創造するために第２ラスターフィールドを複製することか
    らさらになっている請求項４〜９のいずれか１つに記載の方法。
  12. 【請求項１２】 対象物の動きの自動的補正が、捕捉フレームの中における
    対象物の動きの領域を自動的に識別するために対象物動きマップを演算すること
    からなるいずれかの先行請求項に記載の方法。
  13. 【請求項１３】 対象物動きマップの演算が、 （ａ）第１ラスターフィールドについて実際の画素値を決定し、 （ｂ）第１ラスターフィールドについて予測された画素値を第２ラスターフィ
    ールドから演算し、 （ｃ）捕捉フレームの別々の領域における第１ラスターフィールドと第２ラス
    ターフィールドとの間の差を決定するために、第１ラスターフィールドについて
    予測された画素値と実際の画素値とを比較し、 （ｄ）第１ラスターフィールドと第２ラスターフィールドとの間の差が比較的
    大きい捕捉フレームの領域を識別し、かつ、 （ｅ）対象物動きマップを創造するために、第１ラスターフィールドと第２ラ
    スターフィールドとの間の比較的大きい差を２乗することからなる請求項１２に
    記載の方法。
  14. 【請求項１４】 対象物動きマップの演算が、その対象物動きマップの中に
    おける大きい差の領域にハーフハイトのグレースケール画像マップを創造するた
    めに、捕捉フレームの第１および第２のラスターフィールドを巻き込むことと、
    第１ラスターフィールドと第２ラスターフィールドとの間の差が比較的小さい捕
    捉フレームの非補正領域を残すこととからさらになっている請求項１２または１
    ３に記載の方法。
  15. 【請求項１５】 対象物の動きの自動的補正が、対象物の動きの補正を適用
    するための捕捉フレームにおける領域の輪郭を描くために、２値対象物位置決め
    マップを創造することからさらになっている請求項１２〜１４のいずれか１つに
    記載の方法。
  16. 【請求項１６】 ２値対象物位置決めマップの創造が、 （ａ）第１ラスターフィールドについて予測された画素値と実際の画素値との
    間のしきい値差を設定し、 （ｂ）グレースケール画像マップにおけるそれぞれの画素をそのしきい値差と
    比較して、そのしきい値差を超える画素の数を合計し、 （ｃ）グレースケール画像マップにおける３つ以下の隣接画素がそのしきい値
    差より大きいときには、そのグレースケール画像マップからそれらの画素を除去
    し、かつ、 （ｄ）４つ以上の隣接画素がそのしきい値差よりも大きいときには、それらの
    画素をそのグレースケール画像マップの中に残しておくことからなる請求項１５
    に記載の方法。
  17. 【請求項１７】 しきい値差が、約２０〜約１５０ＩＲＥ輝度単位の範囲内
    にある請求項１６に記載の方法。
  18. 【請求項１８】 しきい値差が、４０〜１００ＩＲＥ輝度単位の範囲内にあ
    る請求項１７に記載の方法。
  19. 【請求項１９】 対象物の動きの自動的補正が、対象物の動きの領域におけ
    るグレースケール画像マップから除去された画素を置換することによって２値対
    象物位置決めマップを調整することからさらになっている請求項１６〜１８のい
    ずれか１つに記載の方法。
  20. 【請求項２０】 対象物の動きの領域が、画素のある境界を形成するために
    除去された画素を有しており、２値対象物位置決めマップの調整が、 （ａ）対象物の動きの除去ずみ領域における境界にある画素から２次元ベクト
    ルを演算し、 （ｂ）対象物の動きの領域から除去された画素をその２次元ベクトルで置換し
    、かつ、 （ｃ）なめらかなエッジのある補正画像を創造するために、対象物の動きの除
    去ずみ領域における境界からさらに１画素離れた位置でその２次元ベクトルを演
    算することによってステップ（ａ）および（ｂ）を繰り返すことからなる請求項
    １９に記載の方法。
  21. 【請求項２１】 対象物の動きの除去ずみ領域における境界にある画素から
    の２次元ベクトルの演算が、対象物の動きの除去ずみ領域における境界を識別す
    ることと、その境界における画素に隣接する画素を一度に１つ、２方向で検出す
    ることとからなる請求項２０に記載の方法。
  22. 【請求項２２】 対象物の動きの自動的補正が、処理ずみ補正画像を演算す
    ることからさらになっている請求項２０または２１に記載の方法。
  23. 【請求項２３】 処理ずみ補正画像の演算が、調整されたマップを使って対
    象物の動きが最大である捕捉フレームにおける領域を表示することと、対象物の
    動きが最大である捕捉フレームにおける領域の中において補正ずみ第１ラスター
    フィールドから補正ずみ第２ラスターフィールドを演算することとからなる請求
    項２２に記載の方法。
  24. 【請求項２４】 カメラの動きと対象物の動きとについて補正された処理ず
    み画像を表示することからさらになっている請求項２２または２３に記載の方法
    。
  25. 【請求項２５】 カメラの動きを自動的に補正した後に対象物の動きを自動
    的に補正することからさらになっているいずれかの先行請求項に記載の方法。
  26. 【請求項２６】 飛越し走査方式のビデオ画像の完全なフレームの捕捉が、
    外科的処置の間に得られたビデオ画像を捕捉することからなるいずれかの先行請
    求項に記載の方法。
  27. 【請求項２７】 第１ラスターフィールドと飛越し走査された第２ラスター
    フィールドとを有し、第１および第２のラスターフィールドのそれぞれが複数の
    画素を有している、飛越し走査方式のビデオ画像の完全なフレームを捕捉し、 第１ラスターフィールドにおける画素と第２ラスターフィールドにおける画素
    との間に最適相関値を配置し、 最適相関値から２次元動きベクトルを創造し、 ２次元動きベクトルに係る補正位置における完全捕捉フレームの中に第２ラス
    ターフィールドを複製することによって合成的第１ラスターフィールドを創造し
    、 第１ラスターフィールドと第２ラスターフィールドとの間の画素値における差
    が比較的大きい捕捉フレームの領域を識別するために対象物動きマップを演算し
    、 対象物について補正を施すための捕捉フレームの領域の輪郭を描くために２値
    対象物位置決めマップを創造し、 隣接画素の数があらかじめ設定されたしきい値を超えるときに２値対象物位置
    決めマップからそれらの画素を除去し、 除去された画素を置換することによって２値対象物位置決めマップを調整し、 処理ずみ補正画像を演算し、かつ、 カメラの動きおよび対象物の動きの補正ずみ画像を表示することからなる 録画用カメラによって捕捉された飛越し走査方式のビデオ画像における動きのア
    ーティファクトを自動補正する方法。
  28. 【請求項２８】 ビデオ画像の完全なフレームを捕捉するための録画用カメ
    ラ、 ライブビデオ画像とビデオ画像の捕捉フレームとを処理するためのディジタル
    捕捉ユニット、 カメラの動きを自動的に補正するための第１フィルター、 対象物の動きを自動的に補正するための第２フィルター、および 画像を表示するためのビデオモニターを備えてなる 飛越し走査方式のライブビデオ画像における動きのアーティファクトを自動補正
    するシステム。
  29. 【請求項２９】 完全なフレームのそれぞれが、第１ラスターフィールドと
    飛越し走査方式の第２ラスターフィールドとを有し、それぞれのフィールドが、
    複数の画素を備え、カメラの動きを自動的に補正するための第１フィルターが、 自己相関によって作り出された第１ラスターフィールドと第２ラスターフィー
    ルドとの間における２次元動きベクトル、および この２次元動きベクトルに係る完全捕捉フレームにおける補正位置において第
    ２ラスターフィールドを複製することによって作り出された合成的第１ラスター
    フィールド を備えている請求項２８に記載のシステム。
  30. 【請求項３０】 対象物の動きを自動的に補正するための第２フィルターが
    、 対象物の動きの領域を識別するために演算された対象物動きマップ、 対象物の動きの領域における画素を除去するための２値対象物動きマップ、 除去された画素を置換することによって調整された２値対象物動きマップ、お
    よび 対象物の動きが最大である領域において第１ラスターフィールドから補正され
    た第２ラスターフィールドを演算することによって補正された捕捉フレーム を備えてなる請求項２８または請求項２９に記載のシステム。
  31. 【請求項３１】 画像を表示するためのビデオモニターが、カメラの動きお
    よび対象物の動きの補正の前および後に表示された画像を備えている請求項２８
    〜３０のいずれか１つに記載のシステム。
  32. 【請求項３２】 システムが、ライブビデオ画像を静止化するとともに静止
    化された画像をビデオモニターに表示するための静止化モードをさらに備えてい
    る請求項２８〜３１のいずれか１つに記載のシステム。
  33. 【請求項３３】 システムが、静止化された画像をディジタル捕捉ユニット
    によってディジタル方式で捕捉するための捕捉モードをさらに備えている請求項
    ３２に記載のシステム。
  34. 【請求項３４】 ディジタル捕捉ユニットが、内部一時記憶容量を有し、シ
    ステムが、ディジタル捕捉ユニットの内部一時記憶容量の中にカメラの動きと対
    象物の動きとについて補正された画像をセーブするためのセーブモードをさらに
    備えている請求項２８〜３３のいずれか１つに記載のシステム。
  35. 【請求項３５】 システムが、携帯用記憶媒体に画像を永久的にセーブする
    ための媒体書込装置を有し、システムが、携帯用記憶媒体にカメラの動きと対象
    物の動きとについて補正された画像を永久的にセーブするための書込モードをさ
    らに備えている請求項２８〜３４のいずれか１つに記載のシステム。
JP2001573400A 2000-04-04 2001-03-15 動きのアーティファクトを自動補正する方法およびシステム Pending JP2003534837A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/542,611 2000-04-04
US09/542,611 US6842196B1 (en) 2000-04-04 2000-04-04 Method and system for automatic correction of motion artifacts
PCT/US2001/008233 WO2001075798A2 (en) 2000-04-04 2001-03-15 Method and system for automatic correction of motion artifacts

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013181238A Division JP6125379B2 (ja) 2000-04-04 2013-09-02 動きのアーティファクトを自動補正する方法およびシステム

Publications (1)

Publication Number Publication Date
JP2003534837A true JP2003534837A (ja) 2003-11-25

Family

ID=24164560

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2001573400A Pending JP2003534837A (ja) 2000-04-04 2001-03-15 動きのアーティファクトを自動補正する方法およびシステム
JP2013181238A Expired - Lifetime JP6125379B2 (ja) 2000-04-04 2013-09-02 動きのアーティファクトを自動補正する方法およびシステム
JP2015103539A Pending JP2015167397A (ja) 2000-04-04 2015-05-21 動きのアーティファクトを自動補正する方法およびシステム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2013181238A Expired - Lifetime JP6125379B2 (ja) 2000-04-04 2013-09-02 動きのアーティファクトを自動補正する方法およびシステム
JP2015103539A Pending JP2015167397A (ja) 2000-04-04 2015-05-21 動きのアーティファクトを自動補正する方法およびシステム

Country Status (6)

Country Link
US (1) US6842196B1 (ja)
EP (1) EP1290636A2 (ja)
JP (3) JP2003534837A (ja)
AU (2) AU2001245731B2 (ja)
CA (1) CA2405434A1 (ja)
WO (1) WO2001075798A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8810636B2 (en) 2006-12-20 2014-08-19 Ge Inspection Technologies, Lp Inspection apparatus method and apparatus comprising selective frame output
WO2017169139A1 (ja) * 2016-03-29 2017-10-05 ソニー株式会社 画像処理装置、画像処理方法及び医療システム
US10291850B2 (en) 2006-12-20 2019-05-14 General Electric Company Inspection apparatus method and apparatus comprising selective frame output

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6788311B1 (en) * 1999-04-28 2004-09-07 Intel Corporation Displaying data on lower resolution displays
JP2003110944A (ja) * 2001-10-02 2003-04-11 Sanyo Electric Co Ltd 撮像装置
US20050222499A1 (en) * 2003-04-01 2005-10-06 Banik Michael S Interface for video endoscope system
US20050245789A1 (en) * 2003-04-01 2005-11-03 Boston Scientific Scimed, Inc. Fluid manifold for endoscope system
US20040199052A1 (en) 2003-04-01 2004-10-07 Scimed Life Systems, Inc. Endoscopic imaging system
US7578786B2 (en) * 2003-04-01 2009-08-25 Boston Scientific Scimed, Inc. Video endoscope
US8118732B2 (en) 2003-04-01 2012-02-21 Boston Scientific Scimed, Inc. Force feedback control system for video endoscope
US7591783B2 (en) 2003-04-01 2009-09-22 Boston Scientific Scimed, Inc. Articulation joint for video endoscope
US7680342B2 (en) * 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US7606417B2 (en) * 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US7702236B2 (en) 2006-02-14 2010-04-20 Fotonation Vision Limited Digital image acquisition device with built in dust and sensor mapping capability
US7315658B2 (en) * 2003-09-30 2008-01-01 Fotonation Vision Limited Digital camera
US7206461B2 (en) * 2003-09-30 2007-04-17 Fotonation Vision Limited Digital image acquisition and processing system
US7295233B2 (en) * 2003-09-30 2007-11-13 Fotonation Vision Limited Detection and removal of blemishes in digital images utilizing original images of defocused scenes
US7308156B2 (en) * 2003-09-30 2007-12-11 Fotonation Vision Limited Automated statistical self-calibrating detection and removal of blemishes in digital images based on a dust map developed from actual image data
US7340109B2 (en) * 2003-09-30 2008-03-04 Fotonation Vision Limited Automated statistical self-calibrating detection and removal of blemishes in digital images dependent upon changes in extracted parameter values
US7310450B2 (en) 2003-09-30 2007-12-18 Fotonation Vision Limited Method of detecting and correcting dust in digital images based on aura and shadow region analysis
US7676110B2 (en) * 2003-09-30 2010-03-09 Fotonation Vision Limited Determination of need to service a camera based on detection of blemishes in digital images
US7424170B2 (en) * 2003-09-30 2008-09-09 Fotonation Vision Limited Automated statistical self-calibrating detection and removal of blemishes in digital images based on determining probabilities based on image analysis of single images
US7369712B2 (en) * 2003-09-30 2008-05-06 Fotonation Vision Limited Automated statistical self-calibrating detection and removal of blemishes in digital images based on multiple occurrences of dust in images
US7590305B2 (en) 2003-09-30 2009-09-15 Fotonation Vision Limited Digital camera with built-in lens calibration table
US8369650B2 (en) 2003-09-30 2013-02-05 DigitalOptics Corporation Europe Limited Image defect map creation using batches of digital images
JP4631057B2 (ja) * 2004-02-18 2011-02-16 国立大学法人大阪大学 内視鏡システム
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
US20060068360A1 (en) * 2004-09-30 2006-03-30 Scimed Life Systems, Inc. Single use fluid reservoir for an endoscope
US7479106B2 (en) 2004-09-30 2009-01-20 Boston Scientific Scimed, Inc. Automated control of irrigation and aspiration in a single-use endoscope
AU2005291952A1 (en) * 2004-09-30 2006-04-13 Boston Scientific Limited Adapter for use with digital imaging medical device
EP1799096A2 (en) * 2004-09-30 2007-06-27 Boston Scientific Scimed, Inc. System and method of obstruction removal
US7241263B2 (en) * 2004-09-30 2007-07-10 Scimed Life Systems, Inc. Selectively rotatable shaft coupler
US8083671B2 (en) 2004-09-30 2011-12-27 Boston Scientific Scimed, Inc. Fluid delivery system for use with an endoscope
WO2006039267A2 (en) 2004-09-30 2006-04-13 Boston Scientific Scimed, Inc. Multi-functional endoscopic system for use in electrosurgical applications
US20060069310A1 (en) * 2004-09-30 2006-03-30 Couvillon Lucien A Jr Programmable brake control system for use in a medical device
US8097003B2 (en) * 2005-05-13 2012-01-17 Boston Scientific Scimed, Inc. Endoscopic apparatus with integrated variceal ligation device
US7846107B2 (en) 2005-05-13 2010-12-07 Boston Scientific Scimed, Inc. Endoscopic apparatus with integrated multiple biopsy device
JP3895357B2 (ja) * 2005-06-21 2007-03-22 日東光学株式会社 信号処理装置
US8052597B2 (en) 2005-08-30 2011-11-08 Boston Scientific Scimed, Inc. Method for forming an endoscope articulation joint
US7692696B2 (en) * 2005-12-27 2010-04-06 Fotonation Vision Limited Digital image acquisition system with portrait mode
US7967759B2 (en) 2006-01-19 2011-06-28 Boston Scientific Scimed, Inc. Endoscopic system with integrated patient respiratory status indicator
IES20060558A2 (en) * 2006-02-14 2006-11-01 Fotonation Vision Ltd Image blurring
EP1987436B1 (en) * 2006-02-14 2015-12-09 FotoNation Limited Image blurring
US8888684B2 (en) * 2006-03-27 2014-11-18 Boston Scientific Scimed, Inc. Medical devices with local drug delivery capabilities
US8202265B2 (en) 2006-04-20 2012-06-19 Boston Scientific Scimed, Inc. Multiple lumen assembly for use in endoscopes or other medical devices
US7955255B2 (en) * 2006-04-20 2011-06-07 Boston Scientific Scimed, Inc. Imaging assembly with transparent distal cap
IES20060564A2 (en) 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
EP2405822A4 (en) * 2009-03-12 2015-12-23 Health Research Inc TRAINING METHOD AND SYSTEM FOR VERY LITTLE INVASIVE SURGERY
US8248481B2 (en) * 2009-04-08 2012-08-21 Aptina Imaging Corporation Method and apparatus for motion artifact removal in multiple-exposure high-dynamic range imaging
CN103377478A (zh) * 2012-04-25 2013-10-30 鸿富锦精密工业（深圳）有限公司 移动物体侦测系统及方法
US9805472B2 (en) 2015-02-18 2017-10-31 Sony Corporation System and method for smoke detection during anatomical surgery
US10708571B2 (en) * 2015-06-29 2020-07-07 Microsoft Technology Licensing, Llc Video frame processing
CN106254769B (zh) * 2016-07-29 2018-06-29 广东欧珀移动通信有限公司 移动终端的拍照方法、装置及移动终端
TWI672946B (zh) * 2018-10-02 2019-09-21 宏碁股份有限公司 播放視頻的方法及裝置
CN111161852B (zh) * 2019-12-30 2023-08-15 北京双翼麒电子有限公司 一种内窥镜图像处理方法、电子设备及内窥镜系统
US11533428B2 (en) * 2020-01-23 2022-12-20 Samsung Electronics Co., Ltd. Electronic device and method for controlling electronic device
WO2021182066A1 (ja) 2020-03-11 2021-09-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置および医療用観察システム
CN112767281B (zh) * 2021-02-02 2024-04-30 北京小米松果电子有限公司 图像鬼影消除方法、装置、电子设备及存储介质

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4799105A (en) 1984-03-14 1989-01-17 International Business Machines Corporation Modified technique for suppression of flicker in interlaced video images
US5005126A (en) 1987-04-09 1991-04-02 Prevail, Inc. System and method for remote presentation of diagnostic image information
US5099846A (en) 1988-12-23 1992-03-31 Hardy Tyrone L Method and apparatus for video presentation from a variety of scanner imaging sources
CA2045588A1 (en) 1989-01-24 1990-07-25 Marc Stuart Lemchen Method and apparatus for generating cephalometric images
GB2231747B (en) * 1989-04-27 1993-07-07 Sony Corp Motion dependent video signal processing
US5212637A (en) 1989-11-22 1993-05-18 Stereometrix Corporation Method of investigating mammograms for masses and calcifications, and apparatus for practicing such method
US5191413A (en) 1990-11-01 1993-03-02 International Business Machines System and method for eliminating interlace motion artifacts in captured digital video data
US5293313A (en) 1990-11-21 1994-03-08 Picker International, Inc. Real time physician view box
US5903319A (en) 1991-05-13 1999-05-11 Interactive Pictures Corporation Method for eliminating temporal and spacial distortion from interlaced video signals
US5666953A (en) 1993-01-10 1997-09-16 Wilk; Peter J. System and associated method for providing information for use in forming medical diagnosis
US5415167A (en) 1992-01-10 1995-05-16 Wilk; Peter J. Medical system and associated method for automatic diagnosis and treatment
JPH05236335A (ja) * 1992-02-21 1993-09-10 Canon Inc 動きベクトル検出装置
SE469412B (sv) * 1992-04-13 1993-06-28 Dv Sweden Ab Saett att adaptivt estimera icke oenskade globala bildinstabiliteter i bildsekvenser i digitala videosignaler
JP3505199B2 (ja) * 1992-06-30 2004-03-08 株式会社リコー ビデオカメラジッタ補正装置、データ圧縮装置、データ伸長装置、データ圧縮方法及びデータ伸長方法
US5329317A (en) 1992-09-30 1994-07-12 Matsushita Electric Corporation Of America Adaptive field/frame filter for interlaced video signals
US5446501A (en) 1992-10-22 1995-08-29 Accom, Incorporated Three-dimensional median and recursive filtering apparatus and method for video image enhancement
WO1994023375A1 (en) 1993-03-31 1994-10-13 Luma Corporation Managing information in an endoscopy system
US5878746A (en) 1993-08-25 1999-03-09 Lemelson; Jerome H. Computerized medical diagnostic system
US5625421A (en) 1994-01-14 1997-04-29 Yves C. Faroudja Suppression of sawtooth artifacts in an interlace-to-progressive converted signal
US5605531A (en) 1994-04-08 1997-02-25 Tilane Corporation Apparatus for use with endoscopy and fluoroscopy for automatic switching between video modes
EP0697788A3 (en) * 1994-08-19 1997-03-26 Eastman Kodak Co Adaptive and global motion compensated cancellation of the interlacing of successive video images with post-processing
US5579054A (en) * 1995-04-21 1996-11-26 Eastman Kodak Company System and method for creating high-quality stills from interlaced video
JP3538965B2 (ja) * 1995-05-30 2004-06-14 ソニー株式会社 手振れ補正装置及び方法並びに手振れ補正処理装置及び方法
US5852475A (en) 1995-06-06 1998-12-22 Compression Labs, Inc. Transform artifact reduction process
US5920317A (en) 1996-06-11 1999-07-06 Vmi Technologies Incorporated System and method for storing and displaying ultrasound images
JP3776514B2 (ja) * 1996-07-08 2006-05-17 株式会社日立製作所 カメラ揺れ補正方法および画像監視システム
US6205178B1 (en) * 1996-09-20 2001-03-20 Hitachi, Ltd. Method and synthesizing a predicted image, video coding device and video coding method
JP2000502549A (ja) * 1996-10-24 2000-02-29 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ ノイズフィルタ処理
JPH10191136A (ja) * 1996-12-27 1998-07-21 Canon Inc 撮像装置及び画像合成装置
US5784115A (en) 1996-12-31 1998-07-21 Xerox Corporation System and method for motion compensated de-interlacing of video frames
US5844613A (en) * 1997-03-17 1998-12-01 Microsoft Corporation Global motion estimator for motion video signal encoding
US6269484B1 (en) * 1997-06-24 2001-07-31 Ati Technologies Method and apparatus for de-interlacing interlaced content using motion vectors in compressed video streams
JP2000023024A (ja) * 1998-06-30 2000-01-21 Toshiba Corp 画像入力装置
US6252975B1 (en) * 1998-12-17 2001-06-26 Xerox Corporation Method and system for real time feature based motion analysis for key frame selection from a video
US6580812B1 (en) * 1998-12-21 2003-06-17 Xerox Corporation Methods and systems for automatically adding motion lines representing motion to a still image
US6628711B1 (en) * 1999-07-02 2003-09-30 Motorola, Inc. Method and apparatus for compensating for jitter in a digital video image
US6545719B1 (en) * 2000-03-31 2003-04-08 Matsushita Electric Industrial Co., Ltd. Apparatus and method for concealing interpolation artifacts in a video interlaced to progressive scan converter

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6010054863; Ｐａｔｔｉ，　Ａ．Ｊ．　ｅｔ．ａｌ: 'Ｒｏｂｕｓｔ　ｍｅｔｈｏｄｓ　ｆｏｒ　ｈｉｇｈ-ｑｕａｌｉｔｙ　ｓｔｉｌｌｓ　ｆｒｏｍ　ｉｎｔｅｒｌａｃｅｄ　ｖｉｄｅｏ　ｉｎ　ｔｈｅ　ｐｒｅｓｅｎｃｅ　ｏｆ　ｄｏｍｉｎａｎｔ　ｍｏｔｉｏｎ' Ｃｉｒｃｕｉｔｓ　ａｎｄ　Ｓｙｓｔｅｍｓ　ｆｏｒ　Ｖｉｄｅｏ　Ｔｅｃｈｎｏｌｏｇｙ Ｖｏｌｕｍｅ　７，　Ｉｓｓｕｅ　２, 199704, ｐｐ．　３２８　-　３４２ *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8810636B2 (en) 2006-12-20 2014-08-19 Ge Inspection Technologies, Lp Inspection apparatus method and apparatus comprising selective frame output
US9621808B2 (en) 2006-12-20 2017-04-11 General Electric Company Inspection apparatus method and apparatus comprising selective frame output
US10291850B2 (en) 2006-12-20 2019-05-14 General Electric Company Inspection apparatus method and apparatus comprising selective frame output
WO2017169139A1 (ja) * 2016-03-29 2017-10-05 ソニー株式会社 画像処理装置、画像処理方法及び医療システム
JPWO2017169139A1 (ja) * 2016-03-29 2019-02-07 ソニー株式会社 画像処理装置、画像処理方法及び医療システム
US11301964B2 (en) 2016-03-29 2022-04-12 Sony Corporation Image processing apparatus, image processing method, and medical system to correct blurring without removing a screen motion caused by a biological body motion
JP7127538B2 (ja) 2016-03-29 2022-08-30 ソニーグループ株式会社 画像処理装置、医療機器の作動方法及び医療システム
US11849913B2 (en) 2016-03-29 2023-12-26 Sony Group Corporation Image processing apparatus, image processing method, and medical system to correct image blurrings

Also Published As

Publication number Publication date
EP1290636A2 (en) 2003-03-12
WO2001075798A2 (en) 2001-10-11
AU2001245731B2 (en) 2006-08-24
JP2014017839A (ja) 2014-01-30
JP6125379B2 (ja) 2017-05-10
AU4573101A (en) 2001-10-15
US6842196B1 (en) 2005-01-11
CA2405434A1 (en) 2001-10-11
JP2015167397A (ja) 2015-09-24
WO2001075798A3 (en) 2003-01-16

Similar Documents

Publication Publication Date Title
JP6125379B2 (ja) 動きのアーティファクトを自動補正する方法およびシステム
AU2001245731A1 (en) Method and system for automatic correction of motion artifacts
JP3496680B2 (ja) ビデオイメージ中の複数の追跡基準領域から推定された目標領域の場所の安定的推定法
US8773464B2 (en) Methods and systems for collaborative-writing-surface image formation
US9646207B2 (en) Apparatus and method for robust eye/gaze tracking
JP2000194867A (ja) ビデオデ―タ信号から取得された静止画像内でのモ―ション表示方法
JP6911439B2 (ja) プロジェクター
JP2018163217A5 (ja)
US20090279806A1 (en) Image quality improving apparatus and image quality improving method
JP2013128723A (ja) 内視鏡装置
WO2015190319A1 (ja) 画像処理装置、画像処理方法、プログラム、および内視鏡システム
US8184149B2 (en) Ophthalmic apparatus and method for increasing the resolution of aliased ophthalmic images
IL195471A (en) Imaging system and method with intelligent digital zoom
JP6038352B2 (ja) 画像処理装置及び方法、並びにプログラム及び記録媒体
US20210112208A1 (en) Device, method and computer program for extracting object from video
KR20190065754A (ko) 내시경용 증강현실을 위한 이미지 왜곡 보정 방법 및 장치
JP2007036743A (ja) 複数画像合成方法及び撮像装置
JP4133238B2 (ja) 眼底画像処理方法
Dahyot et al. Improving the quality of color colonoscopy videos
JP3615970B2 (ja) 移動体の検知方法
JPH0584237A (ja) Ｘ線画像処理装置
US10404996B1 (en) Systems and methods for using multiple frames to adjust local and global motion in an image
JP5135293B2 (ja) 動解像度劣化補正装置及び動解像度劣化補正プログラム
JP2010118822A (ja) 手ぶれ補正装置及び手ぶれ補正方法
CN117896514A (zh) 一种光电警戒图像投影系统、方法、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100921

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101207

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111220

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120319

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120327

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120420

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120427

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120517

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120613

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130507

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141111

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20141114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150226