JP2010057619A - 立体画像撮影表示システム - Google Patents
立体画像撮影表示システム Download PDFInfo
- Publication number
- JP2010057619A JP2010057619A JP2008224917A JP2008224917A JP2010057619A JP 2010057619 A JP2010057619 A JP 2010057619A JP 2008224917 A JP2008224917 A JP 2008224917A JP 2008224917 A JP2008224917 A JP 2008224917A JP 2010057619 A JP2010057619 A JP 2010057619A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- stereoscopic image
- image processing
- observe
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 134
- 238000003384 imaging method Methods 0.000 claims abstract description 119
- 230000003287 optical effect Effects 0.000 claims abstract description 65
- 238000005259 measurement Methods 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 6
- 230000003595 spectral effect Effects 0.000 claims description 5
- 238000000034 method Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 9
- 230000015654 memory Effects 0.000 description 7
- 239000007787 solid Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000001444 catalytic combustion detection Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005314 correlation function Methods 0.000 description 2
- 230000008719 thickening Effects 0.000 description 2
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
Abstract
【解決手段】視差の異なる光学系1L,1Rを有する撮像手段1と、画像処理手段2と、処理された画像を表示する表示手段3とを有し、画像処理手段2が、左右の画像を用いて立体計測を行う機能を有する計測手段2aと、計測手段2aを介して得られた結果に基づいて、左右の画像を融像して立体画像表示する場合の観察し難い領域の有無を検出する検出手段2bと、所定の画像加工を行う画像加工手段2cとを有し、さらに、検出手段2bを介して観察し難い領域が検出された場合に、視差の異なる光学系同士の光軸間の距離を固定した状態でその領域を観察し易い状態にして、表示手段3に画像表示されるように、撮像手段1又は画像処理手段2を制御する観察画像自動調整手段4を備える。
【選択図】図1
Description
この立体画像撮影表示システムでは、撮像素子と物体との距離を測定し、その距離に応じて、立体角(左右視差量)を変更できるようにすることで、観察対象の立体映像の見やすさを向上させている。
即ち、図18(a)に示すように、測距部51における赤外線出射部52からの被写体Mへの赤外線の照射、赤外線センサ53による被写体Mで反射した赤外線の受光を介して、被写体Mと左右の固体撮像素子61,62との距離を測定する。そして、この測距部51で測定した距離に基づき、制御部(図示省略)が視差調整機構(図示省略)を駆動して、左右の固体撮像素子61,62間の視差を調整することで、良好な観察対象物の立体映像が得られるようにしている。
25%<H/M ・・・(1)
但し、Hは計測手段を介して算出された視差の異なる画像の融像位置の、表示手段の表示面からの飛び出し量、Mは観察者から表示手段の表示面までの距離である。
15%<H/M ・・・(1')
但し、Hは計測手段を介して算出された視差の異なる画像の融像位置の、表示手段の表示面からの飛び出し量、Mは観察者から表示手段の表示面までの距離である。
図1に示す立体画像撮影表示システムは、左右の撮像手段1と、画像処理手段2と、表示手段3を有している。
左右の撮像手段1は、視差の異なる左右一対の光学系として、左眼用光学系1Lと右眼用光学系1Rを有し、視差の異なる観察対象をリアルタイムに撮像するように構成されている。
画像処理手段2は、左右の撮像手段1を介して撮像された視差の異なる左右の画像を用いて、所定の画像処理を施すように構成されている。
表示手段3は、画像処理手段2を介して画像処理された画像を表示するように構成されている。
そして、左右の撮像手段1、画像処理手段2、及び表示手段3を介して観察対象(図1において省略)の立体画像を観察することができるようになっている。
計測手段2aは、左右の撮像手段1を介して撮像された、視差の異なる左右の画像を用いて、観察対象に対する立体計測を行う機能を少なくとも有している。
検出手段2bは、計測手段2aを介して得られた結果に基づいて、視差の異なる左右の画像を融像して表示手段3を介して立体画像として表示するとした場合における、その立体画像内での観察し難い領域の有無を検出するように構成されている。
画像加工手段2cは、左右の撮像手段1を介して撮像された、視差の異なる左右の画像を用いて、所定の画像加工を行うように構成されている。
まず、左右の撮像手段1を介して撮像された、視差の異なる左右の画像を融像して表示手段3を介して立体画像として表示するとした場合における、当該画像についての処理対象の初期領域を選択する(ステップS1)。
選択された領域が立体画像内で観察し難い領域として検出された場合には、観察画像自動調整手段4が、選択された領域における観察し難い状態を、観察し易い状態となるように、視差の異なる左右一対の光学系1L,1R同士の光軸間の距離が固定されたままの状態で撮像手段1又は画像処理手段2を制御する(ステップS5)。そして、画像加工手段2cが、観察し易い状態となるように制御された画像を作成する(ステップS6)。
次いで、観察画像自動調整手段4を介して制御され、画像加工手段2を介して作成された、選択された領域での画像を、画像表示手段3が表示する(ステップS7)。
これにより、観察される画像は、全体にわたって見易い画像となる。
図3は本発明の第一実施形態にかかる立体画像撮影表示システムの概略構成を示すブロック図、図4は図3の立体画像撮影表示システムの全体構成の一例を模式的に示す説明図である。図5は図4に示す立体画像撮影表示システムにおける撮像手段から画像処理手段に至るまでの具体的な構成を示す説明図である。図6は第一実施形態の立体画像撮影表示システムにおける撮像手段を構成する左右一対の撮像光学系を示す図、図7は第一実施形態の立体画像撮影表示システムにおける三次元情報の計測原理を示す説明図である。図8は第一実施形態の立体画像撮影表示システムにおける、観察対象の画像を立体視した場合の画像の表示面からの飛び出し位置の算出方法を概略的に示す説明図、図9は図8における観察対象(被写体)付近を示す説明図である。図10は第一実施形態の立体画像撮影表示システムによる観察対象を撮影した画像の表示処理手順を示すフローチャートである。
左右の撮像手段1は、視差の異なる左右一対の光学系として、左眼用光学系1Lと右眼用光学系1Rを有し、視差の異なる観察対象をリアルタイムに撮像するように構成されている。左眼用光学系1Lは、図4に示すように、左眼用対物レンズ1L1と、左眼用撮像素子1LMを有している。右眼用光学系1Rは、右眼用対物レンズ1R1と、右眼用撮像素子1RMを有している。左右一対の対物レンズ1L1,1R1は、所定の距離Lを隔て配置されており、視差Lを隔てた観察対象20の像を左右一対の撮像素子1LM,1RM上に結像させるように構成されている。左右一対の撮像素子1LM,1RMは、CCD等で構成されている。
また、左右の撮像手段1は、左右一対の撮像素子1LM,1RMと画像処理手段2との間に、例えば図5に示すように、左右一対のビデオアンプ1La,1Ra、左右一対のA/D変換器1Lb,1Rb、左右一対のフレームメモリ1Lc,1Rcを備えている。そして、左右の撮像素子1LM,1RMで撮像された画像の出力を、夫々、ビデオアンプ1La,1Raで増幅し、A/D変換器1Lb,1Rbでデジタル信号に変換し、フレームメモリ1Lc,1Rcに格納するようになっている。
計測手段2aは、左右の撮像手段1を介して撮像された、視差の異なる左右の画像を用いて、観察対象に対する立体計測を行う機能を少なくとも有している。
検出手段2bは、計測手段2aを介して得られた結果に基づいて、視差の異なる左右の画像を融像して表示手段3を介して立体画像として表示するとした場合における、その立体画像内での観察し難い領域の有無を検出するように構成されている。
画像加工手段2cは、左右の撮像手段1を介して撮像された、視差の異なる左右の画像を用いて、所定の画像加工を行うように構成されている。
観察画像自動調整手段4’は、検出手段2bを介して観察し難い領域が検出された場合に、画像加工手段2cに、立体画像における観察し難い領域での所定の画像特性を観察し易い状態となるように変換させる、画像処理制御手段としての機能を有している。
図6に示すように、視差Lを有する第1の視点としての右眼用対物レンズ1R1による画像と、第2の視点としての左眼用対物レンズ1L1による画像とを、それぞれ撮像素子1RM,1LMで撮像する場合、これらの撮像素子1RM,1LM上における夫々の画像と観察対象20との幾何学的対応は図7に示すようになる。ここで、対物レンズ1R1,1L1の中心の位置をO1,O2、そのとき得られる画像をP1,P2、対物レンズ1R1,1L1の焦点位置をfとする。この場合、観察対象20の任意の点A,Bは、画像P1上ではa1,b1の位置に、また、画像P2上ではa2,b2の位置にそれぞれ写しとられるので、これらの画像を、中心を合わせて重ね合わせると、a1,b1の点は、画像P2上ではa1’,b1’の位置に相当する。このときのa1’とa2との間の距離をda、b1’とb2との間の距離をdbとする。また、位置O1,O2を含む面P0と観察対象20の点Aとの間の距離をhA、面P0と点Bとの間の距離をhBとすると、距離hAと距離daとの間には、三角形AO1O2と三角形O2a1’a2との相似関係より、次の関係式(a)が成り立つ。
hA/L=f/da ・・・(a)
hA=(f・L)/da ・・・(b)
同様にして、距離hBは次式(c)で求めることができる。
hB=(f・L)/db ・・・(c)
このように、視差がL異なる2つの画像P1,P2における対応点間の距離da,dbを求めることによって、その点の観察対象20上での高さ方向の絶対的大きさhA,hBを求めることができる。
画像P1における中心をc1とし、画像P1上でc1とa1との間及びc1とb1との間の距離をそれぞれea及びebとする。また、位置O1から垂直に観察対象20上に下した直線Iと点A及び点Bとの間の距離をそれぞれWA及びWBとすると、まず、距離WAと距離eaとの間には、比例関係より、
WA/hA=ea/f ・・・(d)
が成立する。よって、この式(d)に上記式(b)を代入すると、WAは次式(e)により求めることができる。
WA=(ea・hA)/f=(ea・f・L)/(f・da)=(ea・L)/da
・・・(e)
同様に、Wbは次式(f)で求められる。
WB=(eb・L)/db ・・・(f)
したがって、観察対象20を面P0と平行な平面に投影したときの点Aと点Bとの間の距離WABは、次式(g)のようにして求めることができる。
WAB=WB−WA=L[(eb/db)−(ea/da)] ・・・(g)
これにより、画像P1上で観察対象20上での任意の点間の距離の絶対的大きさを測定することができる。
・・・(h)
但し、Aは小領域の面積を表わすものとする。以下、この式(h)をφ(s)=f(r)*g(r)と略記する。
上記式(h)をフーリエ変換すると、
Φ(u)=F(u)・G*(u) ・・・(i)
となる。なお、F(u)は関数f(r)をフーリエ変換した関数を示し、G(u)は関数g(r)をフーリエ変換した関数を示す。
Φ(u)=F(u)・F*(u)・e-j・2π・u・D ・・・(j)
となり、これを逆フーリエ変換すると、次式(k)のようになる。
φ(S)=Rff(t)*δ(t−D) ・・・(k)
但し、この式(k)においては、Rff(t)がf(r)の自己相関関数で、
Rff(t)=f(r)*f(r) ・・・(l)
で表わされることを、またe-j・2π・u・Dの逆フーリエ変換がδ(t−D)となることを用いている。
図8は観察対象の画像を立体視した場合の画像の飛び出す位置の算出方法を示す概略図、図9は図8における観察対象付近を示す拡大図である。
ここでは、観察対象20である物体の任意の点a(x1、z1)を表示手段3としての3Dモニターを介して観察した場合における、融像した画像の3Dモニターの表示面からの飛び出し量Hを算出することとする。
まず、計測手段2aを介して立体計測された任意の点a(x1、z1)と左眼用光学系1Lの光軸Clとのx方向の距離は図9より、
x1+[z1×tan(α/2)]
同様に、任意の点a(x1、z1)と右眼用光学系1Rの光軸Crとのx方向の距離は、
x1−[z1×tan(α/2)]
となる。
a’=(x1+z1×tan(α/2)×β(x)
b’=(x1−z1×tan(α/2)×β(x)
となる。但し、β(x)は、対物レンズ1L1,1R1のx方向の距離に対する縦倍率である。
a”=(x1+z1×tan(α/2)×β(x)×r
b”=(x1−z1×tan(α/2)×β(x)×r
となる。
ここで、距離Mに対する飛び出し量Hの比率H/Mを3Dモニター上での距離a”,b”、眼幅距離Wで表わすことする。
図8より、
(M−H):H=W:(a”−b”)
が成り立つため、
H/M=(a”−b”)/(W+a”−b”)
=2z1×tan(α/2)×β(x)×r/(W+2z1×tan(α/2)×β(x)×r)
となる。
そして、次の条件式(1)を満足するときに、立体画像が見難くなると判断することができることが実験により判明した。
25%<H/M ・・・(1)
第一実施形態の立体画像撮影表示システムでは、検出手段2bは、算出した比率H/Mが件式(1)を満足する場合に立体画像内での観察し難い領域であるとして検出するように構成されている。
なお、次の条件式(1')を満足する場合に立体画像内での観察し難い領域であるとして検出するのが好ましい。
15%<H/M ・・・(1')
なお、画像処理制御手段4’は、画像加工手段2cへの制御としては、その他に、立体画像における観察し難い領域での周波数を変更する処理を行わせて、観察し難い領域をボカすようにしてもよい。または、観察し難い領域を、2次元画像に変換する画像加工処理を行わせるようにしてもよい。さらには、観察し難い領域が検出された場合に画像領域全体を2次元画像に変換する画像加工処理を行わせるようにしてもよい。その場合は、左右いずれかの画像を、左右共通の画像として用いるようにするとよい。
まず、左右の撮像手段1を介して撮像された、視差の異なる左右の画像を融像して表示手段3を介して立体画像として表示するとした場合における、当該画像についての処理対象の初期領域を選択する(ステップS11)。
選択された領域が立体画像内で観察し難い領域として検出された場合には、観察画像自動調整手段としての画像処理制御手段4’が、選択された領域での観察し難い状態を、観察し易い状態となるように、画像加工手段2cを制御する(ステップS15)。そして、画像加工手段2cが、観察し易い状態となるように制御された画像を作成する(ステップS16)。
次いで、画像処理制御手段4’を介して制御され、画像加工手段2cを介して作成された、選択された領域での画像を、画像表示手段3が表示する(ステップS17)。
これにより、観察される画像は、全体にわたって見易い画像となる。
図11は本発明の第二実施形態にかかる立体画像撮影表示システムの概略構成を示すブロック図、図12は図11の立体画像撮影表示システムの要部の一構成例を模式的に示す説明図、図13は図11の立体画像撮影表示システムの要部の他の構成例を模式的に示す説明図である。図14は第二実施形態の立体画像撮影表示システムによる観察対象を撮影した画像の表示処理手順を示すフローチャートである。
左右の撮像手段1は、後述する観察画像自動調整手段4”を介して撮影が制御されるように構成されている。より詳しくは、例えば、図12に示すように、左眼用対物レンズ1L1と右眼用対物レンズ1R1は、夫々の光軸方向に移動可能に配置されており、夫々光軸方向に移動することによって焦点位置を変化させることができるようになっている。
画像処理手段2は、第一実施形態と同様に、計測手段2aと、検出手段2bと、画像加工手段2cを有して構成されている。
表示手段3は、第一実施形態と同様に、画像処理手段2を介して画像処理された画像を表示するように構成されている。
例えば、図12に示すように、左右の撮像手段1に備わる光学系1L,1Rの対物レンズ1L1,1R1が可動である場合、光学系1L1,1R1を夫々の光軸方向に移動させることによって焦点位置を制御する。これにより、観察し難い領域の画像をボカす。
或いは、図示を省略したが、左右の撮像手段1に備わる光学系1R,1Lの瞳位置に絞り開閉機構を備え、その絞り開閉機構を制御することにより、観察し難い領域については、絞りを開くことで被写界深度を浅くしてボカすようにするとよい。
そこで、「観察し難い領域」での画像が、不鮮明になるのを解消するために、例えば、図13に示す例において、左右の撮像手段1に備わる光学系1R,1Lに共通のレンズ1RL1を光軸方向に移動させることによって焦点位置を制御し、観察し難い領域(不鮮明な領域)の画像を鮮明にするようにしてもよい。なお、「観察し難い領域」での画像が、観察者側に突出することによって、観察者に圧迫感を与えるのを解消するために、図13の例においても、共通のレンズ1RL1を光軸方向に移動させることによって焦点位置を制御し、観察し難い領域(不鮮明な領域)の画像をボカするようにしてもよい。
また、図13の例に示すように、左右の光学系1L,1Rに共通のレンズRL1でフォーカスすると、立体角を調整することによって、観察し難さを解消させることができる。
第二実施形態の立体画像撮影表示システムのその他の構成は、第一実施形態の立体画像撮影表示システムと略同じである。
まず、左右の撮像手段1を介して撮像された、視差の異なる左右の画像を融像して表示手段3を介して立体画像として表示するとした場合における、当該画像についての処理対象の初期領域を選択する(ステップS21)。
選択された領域が立体画像内で観察し難い領域として検出された場合には、観察画像自動調整手段としての画像処理制御手段4”が、選択された領域での観察し難い状態を、観察し易い状態となるように、撮像手段1を制御する(ステップS25)。そして、撮像手段1を介して、観察し易い状態となるように制御された画像が撮像され、画像加工手段2cを介して、撮像された画像に対して所定の処理を施した画像が作成される(ステップS26)。
次いで、画像処理制御手段4”を介して撮像手段1による撮像が制御され、画像加工手段2cを介して処理された、選択された領域での画像を、画像表示手段3が表示する(ステップS27)。
これにより、観察される画像は、全体にわたって見易い画像となる。
図15は本発明の第三実施形態にかかる立体画像撮影表示システムの概略構成を示すブロック図、図16は図15の立体画像撮影表示システムの要部の一構成例を模式的に示す説明図、図17は第三実施形態の立体画像撮影表示システムによる観察対象を撮影した画像の表示処理手順を示すフローチャートである。
左右の撮像手段1は、後述する観察画像自動調整手段4”を介して撮影が制御されるように構成されている。より詳しくは、第二実施形態と同様に、例えば、図16に示すように、左右の撮像手段1が、共通のレンズ1RL1,1RL2を備え、レンズ1RL1が光軸方向に移動可能に配置され、光軸方向を移動することによって焦点距離を変化させることができるよう構成されている。
画像処理手段2は、計測手段2a’と、検出手段2b’と、画像加工手段2cを有して構成されている。
検出手段2b’は、視差の異なる左右の画像を融像して、表示手段3を介して立体画像として表示するとした場合における立体画像の各領域について、計測手段2a’を介して計測された観察対象20(ここでは、手術用ナイフ21を含む)の物理量を、記憶手段5に予め記憶された物体(ここでは、手術用ナイフ21)の物理量と比較する。そして、その計測された観察対象20の物理量と記憶手段5に予め記憶された物体(手術用ナイフ21)の物理量とが一致した場合に立体画像内での観察し難い領域として検出する。
表示手段3は、第一実施形態と同様に、画像処理手段2を介して画像処理された画像を表示するように構成されている。
このため、第三実施形態の立体画像撮影表示システムでは、予め処置具の形状・寸法、色、立体形状、分光特性などの物理量を記憶手段5を介して記憶させておき、観察対象20を観察中に、観察対象20の領域におけるこれらの物理量を計測手段2a’を介して測定する。そして、この計測手段2a’を介して測定された観察対象20についての物理量と、記憶手段5を介して記憶させておいた物体21の物理量を、検出手段2b’を介して比較し、これらの物理量が一致したときに、観察し難い領域として検出し、第二実施形態の立体画像撮影表示システムと同様に、観察画像自動調整手段4”を介して観察し易い領域となるように、左右の撮像手段1に対して所定の制御を行い、撮像手段1による撮像が制御され、画像加工手段2cを介して作成された画像が表示手段3に表示されるようにしている。
第三実施形態の立体画像撮影表示システムのその他の構成は第二実施形態の立体画像撮影表示システムと略同じである。
まず、左右の撮像手段1を介して撮像された、視差の異なる左右の画像を融像して表示手段3を介して立体画像として表示するとした場合における、画像の処理対象の初期領域を選択する(ステップS31)。
選択された領域が立体画像内で観察し難い領域として検出された場合には、観察画像自動調整手段としての画像処理制御手段4”が、選択された領域での観察し難い状態を、観察し易い状態となるように、撮像手段1を制御する(ステップS35)。そして、撮像手段1を介して、観察し易い状態となるように制御された画像が撮像され、画像加工手段2cを介して、撮像された画像に対して所定の処理を施した画像が作成される(ステップS36)。
次いで、画像処理制御手段4”を介して撮像手段1による撮像が制御され、画像加工手段2cを介して処理された、選択された領域での画像を、画像表示手段3が表示する(ステップS37)。
これにより、観察される画像は、全体にわたって見易い画像となる。
そして、第三実施形態の立体観察撮影表示システムによれば、計測手段2a’を介して計測された観察対象20の物理量を、記憶手段5を介して予め記憶させておいた物体の物理量と比較し、これらの物理量が一致した場合に立体画像内での観察し難い領域として検出するようにしたので、例えば、処置具を用いて手術中の術部を観察するような場合に、処置具により観察し難くなる状態を解消することができる。
例えば、観察画像自動調整手段4を、第一実施形態に示した画像処理制御手段4’としての機能と、第二実施形態及び第三実施形態に示した撮像制御手段4”としての機能とを兼ね備えて構成し、観察用途に応じて観察画像自動調整手段としての機能を、スイッチ等の切換手段を介して切換えるようにしてもよい。
また、さらに、画像処理手段2を、第一実施形態及び第二実施形態に示した計測手段2a、及び検出手段2bと、第三実施形態に示した計測手段2a’、検出手段2b’、及び記憶手段5とを兼ね備えて構成し、観察用途に応じて観察画像自動調整手段としての機能を、スイッチ等の切換手段を介して切換えるようにしてもよい。
1L 左眼用光学系
1L1 左眼用対物レンズ
1L13 左右一対の光学系1L,1Rに夫々別個に設けられたレンズ
1LM 左眼用撮像素子
1La 左眼用ビデオアンプ
1Lb 左眼用A/D変換器
1Lc 左眼用フレームメモリ
1R 右眼用光学系
1R1 右眼用対物レンズ
1R13 レンズ
1RM 右眼用撮像素子
1Ra 右眼用ビデオアンプ
1Rb 右眼用A/D変換器
1Rc 右眼用フレームメモリ
1RL1 レンズ
1RL2 レンズ
2 画像処理手段
2a,2a’ 計測手段
2b,2b’ 検出手段
2c 画像加工手段
3 表示手段(3Dモニタ)
4 観察画像自動調整手段
4’ 観察画像自動調整手段(画像処理制御手段)
4” 観察画像自動調整手段(撮像制御手段)
10 観察者
20 観察対象(被写体)
21 手術用ナイフ(立体画像内で観察し難い領域を生じさせる物体)
Claims (16)
- 視差の異なる左右一対の光学系を有する左右の撮像手段と、該左右の撮像手段を介して撮像された視差の異なる左右の画像を用いて、所定の画像処理を施す画像処理手段と、該画像処理手段を介して画像処理された画像を表示する表示手段とを有し、該左右の撮像手段、画像処理手段、及び表示手段を介して観察対象の立体画像を観察可能にする立体画像撮影表示システムであって、
前記画像処理手段が、
前記左右の撮像手段を介して撮像された、前記視差の異なる左右の画像を用いて、前記観察対象に対する立体計測を行う機能を少なくとも有する計測手段と、
前記計測手段を介して得られた結果に基づいて、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示するとした場合における該立体画像内での観察し難い領域の有無を検出する検出手段と、
所定の画像加工を行う画像加工手段と
を有し、
さらに、前記検出手段を介して前記観察し難い領域が検出された場合に、該検出された領域の観察し難い状態を観察し易い状態にして、前記表示手段に画像表示されるように、前記視差の異なる左右一対の光学系同士の光軸間の距離を固定した状態で前記撮像手段又は前記画像処理手段を制御する、観察画像自動調整手段を備えたことを特徴とする立体画像撮影表示システム。 - 前記画像加工手段は、前記左右の撮像手段を介して撮像された、前記視差の異なる左右の画像を用いて、前記所定の画像加工を行うことを特徴とする請求項1に記載の立体画像撮影表示システム。
- 前記計測手段は、前記視差の異なる左右の画像の融像位置を算出する機能を有し、
前記検出手段は、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示するとした場合における該立体画像の各領域について、観察者から該表示手段の表示面までの距離と、前記計測手段を介して算出された前記視差の異なる画像の融像位置から前記表示手段の表示面までの距離との比率を算出し、算出した比率が次の条件式(1)を満足する場合に立体画像内での観察し難い領域として検出することを特徴とする請求項1又は2に記載の立体画像撮影表示システム。
25%<H/M ・・・(1)
但し、Hは計測手段を介して算出された視差の異なる画像の融像位置の、表示手段の表示面からの飛び出し量、Mは観察者から表示手段の表示面までの距離である。 - 前記計測手段は、前記視差の異なる左右の画像の融像位置を算出する機能を有し、
前記検出手段は、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示するとした場合における該立体画像の各領域について、観察者から該表示手段の表示面までの距離と、前記計測手段を介して算出された前記視差の異なる画像の融像位置から前記表示手段の表示面までの距離との比率を算出し、算出した比率が次の条件式(1')を満足する場合に立体画像内での観察し難い領域として検出することを特徴とする請求項1又は2に記載の立体画像撮影表示システム。
15%<H/M ・・・(1')
但し、Hは計測手段を介して算出された視差の異なる画像の融像位置の、表示手段の表示面からの飛び出し量、Mは観察者から表示手段の表示面までの距離である。 - 前記観察画像自動調整手段が、前記画像加工手段に、前記立体画像における前記観察し難い領域での所定の画像特性を観察し易い状態となるように変換させる、画像処理制御手段よりなることを特徴とする請求項1〜4のいずれかに記載の立体画像撮影表示システム。
- 前記画像処理制御手段が、前記画像加工手段に、前記立体画像における観察し難い領域を、3次元画像から2次元画像へと変換させることを特徴とする請求項5に記載の立体画像撮影表示システム。
- 前記画像処理制御手段が、前記画像加工手段に、前記立体画像における全領域を、3次元画像から2次元画像へと変換させることを特徴とする請求項5に記載の立体画像撮影表示システム。
- 前記画像処理制御手段が、前記画像加工手段に、前記立体画像における観察し難い領域での明るさを変更させることを特徴とする請求項5に記載の立体画像撮影表示システム。
- 前記画像処理制御手段が、前記画像加工手段に、前記立体画像における観察し難い領域での周波数を変更させることを特徴とする請求項5に記載の立体画像撮影表示システム。
- 前記観察画像自動調整手段が、前記立体画像における前記観察し難い領域での所定の画像特性が観察し易い状態となるように、前記左右の撮像手段に対して所定の制御を行う、撮像制御手段であることを特徴とする請求項1〜4のいずれかに記載の立体画像撮影表示システム。
- 前記撮像制御手段は、前記左右の撮像手段に備わる光学系の絞りを制御することを特徴とする請求項10に記載の立体画像撮影表示システム。
- 前記撮像制御手段は、前記左右の撮像手段に備わる光学系の焦点位置を制御することを特徴とする請求項10又は11に記載の立体画像撮影表示システム。
- 前記撮像手段は、前記左右一対の光学系に共通の光学部材を有し、
前記撮像制御手段は、前記左右の撮像手段に備わる前記共通の光学部材を介して焦点位置を制御することを特徴とする請求項10に記載の立体画像撮影表示システム。 - さらに、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示した場合における該立体画像内で観察し難い領域を生じさせる原因となる物体についての少なくとも一部の物理量を予め記憶する記憶手段を有するとともに、
前記計測手段は、前記観察対象の少なくとも一部の物理量を計測する機能を有し、
前記検出手段は、前記視差の異なる左右の画像を融像して前記表示手段を介して立体画像として表示するとした場合における該立体画像の各領域について、前記計測手段を介して計測された観察対象の物理量を、前記記憶手段を介して予め記憶させておいた物体の物理量と比較し、これらの物理量が一致した場合に立体画像内での観察し難い領域として検出することを特徴とする請求項10〜13のいずれかに記載の立体画像撮影表示システム。 - 前記物理量が、形状寸法、色、立体形状、分光特性のいずれかであることを特徴とする請求項14に記載の立体画像撮影表示システム。
- 前記記憶手段による物理量の記憶対象となる物体には、処置具が含まれることを特徴とする請求項14又は15に記載の立体画像撮影表示システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008224917A JP5284731B2 (ja) | 2008-09-02 | 2008-09-02 | 立体画像撮影表示システム |
US12/549,856 US8228370B2 (en) | 2008-09-02 | 2009-08-28 | Stereoscopic image shooting and display system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008224917A JP5284731B2 (ja) | 2008-09-02 | 2008-09-02 | 立体画像撮影表示システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010057619A true JP2010057619A (ja) | 2010-03-18 |
JP5284731B2 JP5284731B2 (ja) | 2013-09-11 |
Family
ID=41724771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008224917A Expired - Fee Related JP5284731B2 (ja) | 2008-09-02 | 2008-09-02 | 立体画像撮影表示システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8228370B2 (ja) |
JP (1) | JP5284731B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012245056A (ja) * | 2011-05-25 | 2012-12-13 | Canon Inc | 内視鏡 |
JP2015531271A (ja) * | 2012-09-14 | 2015-11-02 | ソニー株式会社 | 外科用画像処理システム、外科用画像処理方法、プログラム、コンピュータ可読記録媒体、医用画像処理装置、および画像処理検査装置 |
US9215366B2 (en) | 2010-08-06 | 2015-12-15 | Olympus Corporation | Endoscope system, control method, and imaging device |
WO2016114155A1 (ja) * | 2015-01-13 | 2016-07-21 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び、内視鏡システム |
JP2017038285A (ja) * | 2015-08-11 | 2017-02-16 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用観察装置、制御装置、制御装置の作動方法および制御装置の作動プログラム |
WO2020008672A1 (ja) * | 2018-07-03 | 2020-01-09 | オリンパス株式会社 | 内視鏡システム |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5284731B2 (ja) * | 2008-09-02 | 2013-09-11 | オリンパスメディカルシステムズ株式会社 | 立体画像撮影表示システム |
JP5599063B2 (ja) * | 2010-12-14 | 2014-10-01 | キヤノン株式会社 | 表示制御装置、表示制御方法及びプログラム |
JP5701140B2 (ja) * | 2011-04-21 | 2015-04-15 | キヤノン株式会社 | 立体内視鏡装置 |
JP5181084B1 (ja) * | 2012-01-27 | 2013-04-10 | パナソニック株式会社 | 立体画像表示制御装置及び立体画像表示制御方法 |
JP5762998B2 (ja) * | 2012-03-07 | 2015-08-12 | 株式会社ジャパンディスプレイ | 表示装置および電子機器 |
JP5931528B2 (ja) * | 2012-03-21 | 2016-06-08 | オリンパス株式会社 | 手術用映像システムおよび手術用映像システムの作動方法 |
JP2014073143A (ja) * | 2012-10-02 | 2014-04-24 | Canon Inc | 内視鏡システム |
JP6265630B2 (ja) * | 2013-06-13 | 2018-01-24 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
CN111405266B (zh) * | 2020-05-29 | 2020-09-11 | 深圳看到科技有限公司 | 双目图像快速处理方法、装置及对应的存储介质 |
CN116703813B (zh) * | 2022-12-27 | 2024-04-26 | 荣耀终端有限公司 | 图像处理方法和设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06202006A (ja) * | 1992-12-28 | 1994-07-22 | Olympus Optical Co Ltd | 立体視硬性内視鏡 |
JPH07167633A (ja) * | 1993-08-26 | 1995-07-04 | Matsushita Electric Ind Co Ltd | 立体画像撮像及び表示装置 |
JPH1083460A (ja) * | 1996-06-27 | 1998-03-31 | Toshiba Corp | 立体視システム、立体視方法、及び、異なる2つの視点から見た一対の画像を立体視可能に表示させるコンピュータプログラムを格納する記憶媒体 |
JP2004065804A (ja) * | 2002-08-09 | 2004-03-04 | Fuji Photo Optical Co Ltd | 立体電子内視鏡装置 |
JP2004187711A (ja) * | 2002-12-06 | 2004-07-08 | Olympus Corp | 内視鏡装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5280332A (en) * | 1990-02-09 | 1994-01-18 | Vx Optronics | Method and apparatus for self-correcting, direct sensing coincidence sensor for optical rangefinders |
JPH06261860A (ja) | 1993-03-12 | 1994-09-20 | Olympus Optical Co Ltd | 内視鏡の映像表示装置 |
JP5284731B2 (ja) * | 2008-09-02 | 2013-09-11 | オリンパスメディカルシステムズ株式会社 | 立体画像撮影表示システム |
WO2011014419A1 (en) * | 2009-07-31 | 2011-02-03 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene |
EP2562581A4 (en) * | 2010-04-21 | 2014-11-12 | Panasonic Ip Corp America | 3D VIDEO DISPLAY AND 3D VIDEO DISPLAY |
DE102011054833A1 (de) * | 2010-10-29 | 2012-05-03 | Hoya Corp. | Verfahren zum Messen der binokularen Sehleistung, Programm zum Messen der binokularen Sehleistung, Verfahren zum Entwerfen von Brillengläsern und Verfahren zur Herstellung von Brillengläsern |
-
2008
- 2008-09-02 JP JP2008224917A patent/JP5284731B2/ja not_active Expired - Fee Related
-
2009
- 2009-08-28 US US12/549,856 patent/US8228370B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06202006A (ja) * | 1992-12-28 | 1994-07-22 | Olympus Optical Co Ltd | 立体視硬性内視鏡 |
JPH07167633A (ja) * | 1993-08-26 | 1995-07-04 | Matsushita Electric Ind Co Ltd | 立体画像撮像及び表示装置 |
JPH1083460A (ja) * | 1996-06-27 | 1998-03-31 | Toshiba Corp | 立体視システム、立体視方法、及び、異なる2つの視点から見た一対の画像を立体視可能に表示させるコンピュータプログラムを格納する記憶媒体 |
JP2004065804A (ja) * | 2002-08-09 | 2004-03-04 | Fuji Photo Optical Co Ltd | 立体電子内視鏡装置 |
JP2004187711A (ja) * | 2002-12-06 | 2004-07-08 | Olympus Corp | 内視鏡装置 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9215366B2 (en) | 2010-08-06 | 2015-12-15 | Olympus Corporation | Endoscope system, control method, and imaging device |
JP2012245056A (ja) * | 2011-05-25 | 2012-12-13 | Canon Inc | 内視鏡 |
JP2015531271A (ja) * | 2012-09-14 | 2015-11-02 | ソニー株式会社 | 外科用画像処理システム、外科用画像処理方法、プログラム、コンピュータ可読記録媒体、医用画像処理装置、および画像処理検査装置 |
WO2016114155A1 (ja) * | 2015-01-13 | 2016-07-21 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び、内視鏡システム |
US20170367560A1 (en) * | 2015-01-13 | 2017-12-28 | Sony Corporation | Image processing device, image processing method, program, and endoscope system |
US10512389B2 (en) | 2015-01-13 | 2019-12-24 | Sony Corporation | Image processing device, image processing method, and endoscope system |
US10993603B2 (en) | 2015-01-13 | 2021-05-04 | Sony Corporation | Image processing device, image processing method, and endoscope system |
JP2017038285A (ja) * | 2015-08-11 | 2017-02-16 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用観察装置、制御装置、制御装置の作動方法および制御装置の作動プログラム |
WO2020008672A1 (ja) * | 2018-07-03 | 2020-01-09 | オリンパス株式会社 | 内視鏡システム |
Also Published As
Publication number | Publication date |
---|---|
JP5284731B2 (ja) | 2013-09-11 |
US20100053308A1 (en) | 2010-03-04 |
US8228370B2 (en) | 2012-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5284731B2 (ja) | 立体画像撮影表示システム | |
JP7378529B2 (ja) | データユニットを有する手術用顕微鏡及び画像をオーバレイするための方法 | |
JP5965726B2 (ja) | 立体視内視鏡装置 | |
JP4657313B2 (ja) | 立体画像表示装置および方法並びにプログラム | |
JP2000507402A (ja) | 立体自動焦点合わせ、距離測定及び映像測定法 | |
JP2000354257A (ja) | 画像処理装置、画像処理方法、およびプログラム提供媒体 | |
WO2017217115A1 (ja) | 画像処理装置、画像処理方法、プログラム、及び画像処理システム | |
JP6912313B2 (ja) | 画像処理装置、カメラ装置及び画像処理方法 | |
JP6666467B2 (ja) | 医療用観察装置、及び制御方法 | |
JP2006208407A (ja) | 立体画像観察用顕微鏡システム | |
WO2017221507A1 (ja) | 内視鏡システム | |
JP6767481B2 (ja) | ライトフィールド顕微鏡法を用いる眼科手術 | |
JP3438937B2 (ja) | 画像処理装置 | |
JP2015220643A (ja) | 立体観察装置 | |
JP4253493B2 (ja) | 光学観察装置及びこれに用いる立体画像入力光学系 | |
JP2013171058A (ja) | 立体画像処理装置、立体画像撮像装置、立体画像表示装置 | |
KR101339667B1 (ko) | 의료 수술용 현미경의 3차원 고화질 영상 인터페이스 시스템 | |
JP5792401B2 (ja) | オートフォーカス装置 | |
CN113925441B (zh) | 一种基于内窥镜的成像方法及成像系统 | |
JP2006340017A (ja) | 立体映像表示装置及び立体映像表示方法 | |
JP5351878B2 (ja) | 立体画像表示装置および方法並びにプログラム | |
US20200261180A1 (en) | 27-3systems, methods, and computer-readable media for providing stereoscopic visual perception notifications and/or recommendations during a robotic surgical procedure | |
JP4246510B2 (ja) | 立体内視鏡システム | |
WO2018179875A1 (ja) | 撮像装置とフォーカス制御方法およびフォーカス判定方法 | |
JP2011158644A (ja) | 表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130301 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130530 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5284731 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |