JP2014232967A

JP2014232967A - 立体マスク作成方法、立体マスク作成装置及び立体内視鏡システム

Info

Publication number: JP2014232967A
Application number: JP2013112619A
Authority: JP
Inventors: 博康能瀬; Hiroyasu Nose; 純一町田; Junichi Machida
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-05-29
Filing date: 2013-05-29
Publication date: 2014-12-11

Abstract

【課題】隠したい立体表示部分にマスクを掛けて表示する際に、マスクの大きさを試行錯誤で調整することなく、隠したい部分のみを立体マスクにより隠して表示するマスク作成方法及び装置並びに立体内視鏡システムを提供する。
【解決手段】被写体の立体像のための左右視差画像のそれぞれにおいて選択されたマスク対象領域をそれぞれ第１のマスク領域(34)及び第２のマスク領域(35)として指定し、左右視差画像を表示するディスプレイの画面に関する立体マスクの配置位置に対応する視差量(p1)を設定する。第２のマスク領域を視差方向に視差量だけ移動させた第３のマスク領域(36)を生成し、第１のマスク領域を反対の方向に視差量だけ移動させた第４のマスク領域(37)を生成する。第１のマスク領域と第３のマスク領域との和集合で左右視差画像の一方のマスク視差画像(38)を作成し、第２のマスク領域と第４のマスク領域との和集合で他方のマスク視差画像(39)を作成する。
【選択図】図３

Description

本発明は立体映像の表示において隠したい立体表示部分や視差が大きい立体表示部分のマスク処理を施すのに最適な立体マスク作成方法、立体マスク作成装置、及びそれを用いた立体内視鏡システムに関する。

従来、立体映像の表示方式としては、表示パネルに表示する画像を時分割で左右眼用画像を交互に切替え、画像の切替と同期して左右眼を交互に遮光する液晶シャッターめがねを掛けて、観察者の左右眼に対応する画像光を分離して立体視させる液晶シャッターめがね方式が知られている。また、表示パネルにレンチキュラーレンズシート（シリンドリカルレンズアレイ）やパララックスバリアを配置して、観察者の左右眼に対応する画像光を分離して立体視させるめがねなし方式も知られている。

このような立体映像においても、通常の２次元の映像と同じようにプライバシー保護のために人物の顔や個人情報が表示された映像を隠すためにモザイクやマスクを掛けて見られないようにする必要がある。

図１２は従来例の説明図で、立体ディスプレイの画面２０に右視差画像２１、左視差画像２２が時分割で表示され、各々の画像は観察者の右眼２７と左眼２８に図示しない液晶シャッターめがねを用いて分離して観察される。図中の立方体の右視差画像２１、左視差画像２２は視差があり、視差量に応じた奥行き位置に立体像２３として立体視することができる。その立方体の表面の文字を隠すために、右視差画像２１に対して矩形状のマスク３０１、左視差画像２２に対して矩形状のマスク３０２でマスクを掛けると、再現された立体像の立方体の表面の文字がマスク３０３で隠される。

このような立体映像におけるマスクの作成方法について、特許文献１にモザイクを掛けたい立体表示部分の奥行き位置とモザイクの奥行き位置が異なり、不自然な立体画像とならないようにモザイクを掛けたい立体表示部分と同じ視差のモザイクを作成する方法が示されている。

また、マスクの使い方として、立体ディスプレイに表示する左右視差画像の視差量が大きく、立体ディスプレイの画面から大きく飛び出して一つの立体像として融像して見るのが難しい立体像に対してマスクを掛けて見えないようにし、見やすい立体映像に修正する場合もある。

特許文献２には、立体内視鏡で撮影された右視差画像と左視差画像で同じ位置に同じ形状のマスクを配置し、視差の大きい部分を立体ディスプレイの画面上に表示された平面のマスクで隠して表示する方法が示されている。

図１３は、内視鏡の挿入部先端に一対の撮像レンズとチャンネル孔とを設けた立体内視鏡においてレーザープローブをチャンネル孔を通して先端から突出させ、処置部にレーザー光を照射する場合のレーザープローブ先端の右視差画像３０４、左視差画像３０５を表示している。立体ディスプレイの画面２０の視差画像からレーザープローブの立体像３０６が再現されるが、レーザープローブは撮像レンズの近傍から突出しているので、レーザープローブ先端部より撮像レンズに近い付け根部分の視差が大きく融像できずに二重に見えていた。

それに対して、レーザープローブの右視差画像３０４と左視差画像３０５において同じ位置に台形状のマスク３０７を掛け、レーザープローブの付け根の視差の大きい部分を立体ディスプレイの画面上に表示された平面のマスクで隠すことにより、視差画像内の視差量の大きい部分が見えなくなり、融像しやすい立体映像となることが示されている。

特開２００２−２７１８１６号公報特開２００４−６５８０４号公報

隠したい立体表示部分に対して手前にマスクを配置する場合、左右視差画像において隠したい部分に同じ大きさのマスク領域を設定し、マスクの視差量を調整して配置すべき奥行き位置にマスクが表示されるようにしていた。しかしながら、マスクを配置する奥行き位置に応じて隠したい立体表示部分を覆うマスクの大きさは変わってしまう。マスクを隠したい立体表示部分の手前に配置する場合には、隠したい立体表示部分の奥行位置に一致して表示するときよりもさらにマスクを大きくする必要があり、マスクの大きさを試行錯誤で調整する必要があった。

また、立体の被写体を左右のカメラから撮影して左右視差画像を得ているため、隠したい立体表示部分は左右視差画像で形状が大きく異なっている場合がある。それに対して設定するマスクの形状は左右視差画像で同じ形状の予め決められた矩形や円形などの特定の形状で隠したい部分を包含するように設定している。このため、隠したい立体表示部分の周囲の被写体が余分に隠されてしまい、マスクの周囲の立体表示部分が見えなくなり、画像全体の立体感を損ねていた。

本発明は上記問題に鑑み、立体映像の表示において隠したい立体表示部分や視差が大きい立体表示部分のマスク処理を施すのに最適な立体マスク作成方法、立体マスク作成装置、及びそれを用いた立体内視鏡システムを提供することを目的とする。

本発明による立体映像にマスクを施すための立体マスク作成装置は、被写体の立体像のための左右視差画像を取り込む手段と、前記左右視差画像のそれぞれにおいてマスクを掛けるマスク対象領域を選択するためのマスク対象領域選択手段と、前記左右視差画像を表示するディスプレイの画面に関する立体マスクの配置位置情報を入力する手段と、マスク左右視差画像を作成し、前記左右視差画像に前記マスク左右視差画像を重畳させる制御手段とを備えている。前記制御手段において、前記立体マスクの配置位置情報に対応する視差量が設定され、前記左右視差画像においてそれぞれ選択されたマスク対象領域が第１のマスク領域及び第２のマスク領域として指定され、前記第２のマスク領域を前記視差量だけ視差方向に移動させた第３のマスク領域が生成され、前記第１のマスク領域を前記視差量だけ前記移動とは反対の方向に移動させた第４のマスク領域が生成され、前記第１のマスク領域と前記第３のマスク領域との和集合で前記左右視差画像の一方のマスク視差画像が作成され、前記第２のマスク領域と前記第４のマスク領域との和集合で前記左右視差画像の他方のマスク視差画像が作成され、前記マスク左右視差画像を前記左右視差画像にそれぞれ重畳されるように構成されている。

本発明による立体映像にマスクを施すための立体マスク作成方法は、被写体の立体像のための左右視差画像のそれぞれにおいて選択されたマスク対象領域をそれぞれ第１のマスク領域及び第２のマスク領域として指定するステップと、前記左右視差画像を表示するディスプレイの画面に関する立体マスクの配置位置に対応する視差量を設定するステップと、前記第２のマスク領域を視差方向に前記視差量だけ移動させた第３のマスク領域を生成し、前記第１のマスク領域を前記移動とは反対の方向に前記視差量だけ移動させた第４のマスク領域を生成し、前記第１のマスク領域と前記第３のマスク領域との和集合で前記左右視差画像の一方のマスク視差画像を作成し、前記第２のマスク領域と前記第４のマスク領域との和集合で前記左右視差画像の他方のマスク視差画像を作成することによりマスク左右視差画像を作成するステップと、を含んでいる。

本発明によれば、上記した立体マスク作成方法の各ステップを画像処理装置に実行させるための立体マスク作成プログラムが提供される。

本発明によれば、上記した立体マスク作成方法により作成されたマスク左右視差画像を取り込むステップと、前記マスク左右視差画像を左右視差画像に合成するステップとを備えた、立体内視鏡システムにおける立体マスク表示方法が提供される。

本発明によれば、立体映像にマスクを施すための立体マスク作成装置を備えた立体内視鏡システムが提供される。

本発明によれば、各々の左右視差画像で、マスクで隠したい立体表示部分の領域を選択するとき、マスク領域の形状を左右で同じ形状に揃える必要がない。左右で異なったマスク領域として指定した場合であっても、マスクを配置する所望の奥行き位置を決めれば、その奥行き位置に応じた必要最小限の大きさのマスク形状を試行錯誤することなく自動的に求めることができる。これにより、マスクで隠される部分を不必要に大きくする必要がないため、マスク周辺の立体表示部分を良好に表示させることができ、マスクを掛けることにより画像全体の立体感を損なうことも無い。

また、画面から飛び出て視差量が大きく両眼で融像できない立体表示部分に対して、融像できる限界の飛び出し位置にマスクを配置することにより、融像できる限界を超える視差量の大きい立体表示部分のみを隠すことができる。これにより、画像全体で融像でき、快適な立体視ができる立体映像を得ることができる。

本発明の実施例１による立体マスク作成装置の構成を示すブロック図である。本発明によるマスク作成方法の原理を立体表示されるマスクの位置関係に基づいて説明する説明図である。本発明の実施例１によるマスク作成の画像処理プロセスで生成されるマスク左右視差画像を説明する説明図である。本発明の実施例１の立体マスク作成処理の流れの概略を示すフローチャートである。本発明の実施例１のマスク作成方法で生成したマスクの立体表示の位置関係の説明図である。本発明の実施例２によるマスク作成の画像処理プロセスで生成されるマスク左右視差画像を説明する説明図である。本発明の実施例２による立体マスク作成処理の流れの概略を示すフローチャートである。本発明の実施例３の立体内視鏡の挿入部先端の説明図である。（A）は、立体内視鏡システムのレーザープローブの立体表示の位置関係の説明図であり、（B）は、本発明の実施例３による立体内視鏡システムのレーザープローブのマスクの立体表示の位置関係の説明図である。本発明の実施例３によるマスク作成の画像処理プロセスで生成されるマスク左右視差画像を説明する説明図である。本発明の実施例３の立体内視鏡システムの構成を示すブロック図である。従来例のマスク立体表示の位置関係の説明図である。従来例のマスク作成方法で生成したマスクの立体表示の位置関係の説明図である。

以下、本発明の実施の形態を図１〜図１１に基づいて説明する。

図１は本発明の実施例１の立体マスク作成装置の構成を示すブロック図である。

立体マスク作成装置１は、次のように構成されている。左右視差画像からなる被写体の立体映像が外部の３Ｄカメラ２またはDVDなどの映像記録再生装置３から映像入力部４に取り込まれる。ＣＰＵ５により装置全体が制御され、共通バス７を介して制御信号やデータが伝送される。映像入力部４から取り込まれた立体映像データや所定のプログラムなどは蓄積部８に格納され、立体マスク作成装置で作動するプログラムや画像処理データはRAM９に一時的に記憶される。また、立体マスク作成装置１は、プログラムの操作やデータ入力を行うキーボードやマウスからなる入力操作部１０、２Ｄディスプレイ１１または３Ｄディスプレイ１２または映像記録再生装置１３に映像を出力する映像出力部６を備えている。

次に、図２は本発明によるマスク作成方法の原理を立体表示されるマスクの位置関係に基づいて説明する説明図であり、これを用いて立体マスク作成装置の各構成部の動作について説明する。図３は本実施例のマスク作成の画像処理プロセスで生成されるマスク左右視差画像を説明する説明図である。

図２は、３Ｄディスプレイ１２の画面２０に右視差画像２１、左視差画像２２が時分割で表示され、各々の画像は観察者の右眼２７と左眼２８に図示しない液晶シャッターめがねを用いて分離して入射される観察状態を示している。図中の立方体の右視差画像２１、左視差画像２２には視差があり、観察者は視差量に応じた奥行き位置に立体像２３として立体視することができる。

本実施例では、立体像２３は画面２０上の視差量ｐ0に相当する飛び出し位置に立体表示されている。その立方体の立体像２３の手前の視差量ｐ1に相当する飛び出し位置にマスクを配置して、観察者から立方体の立体像２３が見えないようなマスクを作成する場合について説明する。

視差量ｐ1に相当する飛び出し位置にマスクを配置する場合、観察者の右眼２７から見て立体像２３を隠すマスク形状は、右視差画像２１の輪郭と右眼２７を結ぶ錐体の視差量ｐ1に相当する飛び出し位置での断面形状のマスク２４になる。観察者の左眼２８から見て立体像２３を隠すマスク形状は、左視差画像２２の輪郭と左眼２８を結ぶ錐体の視差量ｐ1に相当する飛び出し位置での断面形状のマスク２５となる。この両眼のマスク２４、２５の和集合となるマスク２６が両眼から見て立体像２３を隠すマスクとなる。この両眼の和集合のマスク２６を視差量ｐ1に相当する飛び出し位置に配置した場合、画面２０の各々の左右視差画像上のマスク形状は、マスク２６の輪郭を各々右眼２７と左眼２８で結んだ射影像になる。マスク左右視差画像の生成プロセスは、図３を用いて以下に詳細に説明する。

図１の立体マスク作成装置のブロック図で立体マスク作成処理の手順を説明する。
立体マスク作成装置１においては、本発明の立体マスク作成方法に基づく立体マスク作成プログラムが蓄積部８に格納されている。ＣＰＵ５の制御の下に立体マスク作成プログラムを起動させることにより、隠したい立体表示部分を隠すマスク画像を生成したり、左右視差画像にマスク画像を合成した画像を作成することができる。

映像入力部４から読み込まれた被写体の立体映像のための左右視差画像は蓄積部８に格納され、立体マスク作成プログラムの指令により、画像処理が施される左右視差画像データがRAM９に格納される。その左右視差画像は映像出力部６に接続された２Ｄディスプレイ１１の画面に表示される。操作者はその画面を見ながら、各々の視差画像上でマスクする領域であるマスク対象領域を、例えば、マスク対象領域選択手段としての入力操作部１０のマウスにより選択し、また、マスク作成の画像処理に必要な情報を入力操作部１０のキーボードから入力する。映像出力部６に接続された３Ｄディスプレイ１２では左右視差画像を表示して立体視することができる。

立体マスク作成プログラムにより生成されたマスク左右視差画像は各々、元の映像の左右視差画像に重畳してマスク合成視差画像が生成され、映像出力部６に接続された３Ｄディスプレイ１２に表示してマスクを合成した立体像を見ることができる。

生成したマスク合成視差画像は蓄積部８に格納され、映像出力部６に接続された映像記録再生装置１３に記録することもできる。

ＣＰＵ５の制御の下に実施される立体マスク作成処理の流れの概略を示すフローチャートを図４に示す。また、フローチャートに示された工程をプログラム化して、ＣＰＵの制御の下で立体マスク作成処理を実行することができる。

マスク作成処理プロセスにおけるマスク左右視差画像作成のための説明図を図３に示す。

フローチャートのステップS４１では、左右視差画像のマスクを施すマスク対象の視差量を求めるために、各々の視差画像においてマスクを施すマスク対象の対応点を指示してその水平座標を読み取り、入力する。２Ｄディスプレイ１１には図３（A）に示すように並べて右視差画像３０、左視差画像３１が表示される。図３（B）に示すように、マスクする対象の基準となる対応点（３２、３３）を選んで、マウスのカーソルで指示して、各々の視差画像での水平座標を入力する。

ステップS４２ではステップS４１で入力した水平座標値からマスク対象の視差量と立体視したときの奥行き位置を算出する。マスクを施すマスク対象の左右視差画像の対応点について、右視差画像３０上で入力した水平座標をXR0、左視差画像３１上で入力した水平座標をXL0とする。その際の水平座標値は、実際の３Ｄディスプレイ１２の画面に立体表示したときの実寸法とし、右視差画像３０を基準とすると、マスク対象の対応点の視差量p0 はp0 ＝XL0 - XR0となる。そのとき、３Ｄディスプレイ１２の標準の観察距離Lと観察者の標準眼間距離Weから立体表示される対応点の奥行き位置Dは画面を基準とすると、D ＝ L・ p0/( We+p0 )として演算される。

ステップS４３では左右視差画像の各々において、マスク対象をマスクする右マスク領域３４、左マスク領域３５を指定する。左右視差画像のマスク対象の視差画像は、同じ立体物を左右異なった方向から撮影しているため、その立体物の見え隠れの状態が異なり、その形状は、通常、左右視差画像で異なる。マスク対象のマスク領域の入力はマウスを用いて、その輪郭の座標を順次入力して行い、図３（B）のように左右視差画像の各々において右マスク領域３４（斜線部の領域）、左マスク領域３５（斜線部の領域）を指定する。
指定した左右のマスク領域の形状が左右で異なっていても問題なくマスクを作成できるので、マスク対象の領域の輪郭に対して少し余裕をもって広く領域を指定するようにしてもよい。

ステップS４４ではマスクを配置する奥行き位置または視差量をマスクの配置位置情報として入力する。ステップS４２でマスク対象の対応点の視差量と奥行き位置を求めたので、その値を参照してマスクを配置する奥行き位置または視差量を入力する。本実施例ではマスク対象の立体像より手前にマスクを配置するので、マスクの画面位置を基準とする視差量p1はp1＞p0となる。マスクの配置位置情報の入力は視差量でも奥行き位置でも上記のように換算できるのでどちらでもよい。

ステップS４５ではステップS４４で入力した奥行き位置または視差量に応じた右マスク視差画像を生成する。

図３（C）の右視差画像において、ステップS４３で指定した水平座標XR0にある右マスク領域３４はそのままで、左視差画像中の左マスク領域３５の水平座標XL0を基準として、視差方向である左へ視差量p1だけずらした位置XLm ＝XL0 p1 に左マスク領域３５と同じ形状のマスク領域３６を生成する。次に元の位置の右マスク領域３４と、左マスク領域３５と同じ形状のマスク領域３６との和集合となる右視差画像のマスク領域３８を図３（D）に示すように生成することにより、ステップS４４で入力したマスクの配置位置に立体表示するための右マスク視差画像が得られる。

ステップS４６ではステップS４４で入力した奥行き位置または視差量に応じた左マスク視差画像を生成する。図３（C）の左視差画像において、ステップS４３で指定した水平座標XL0にある左マスク領域３５はそのままで、右視差画像中の右マスク領域３４の水平座標XR0を基準として、上記ステップ４５の場合とは反対の右方向へ視差量p1だけずらした位置XRm ＝XR0 + p1 に右マスク領域３４と同じ形状のマスク領域３７を生成する。次に元の位置の左マスク領域３５と、右マスク領域３４と同じ形状のマスク領域３７との和集合となる右視差画像のマスク領域３９を図３（D）に示すように生成することにより、ステップS４４で入力したマスクの配置位置に立体表示するための左マスク視差画像が得られる。
上記に述べたとおり、ステップS４５において左右マスク視差画像の一方のマスク視差画像が生成され、ステップS４６において左右マスク視差画像の他方のマスク視差画像が生成される。

ステップS４７ではステップS４５、ステップS４６で生成したマスク視差画像を元の左右視差画像に各々重畳してマスク処理を施した左右視差画像を生成する。

上記した工程により生成されたマスク処理を施した左右視差画像の映像データは図１に示した立体マスク作成装置１の蓄積部８に格納され、また、３Ｄディスプレイ１２に表示することができる。

生成した左右のマスク領域の画像はグレーなどの単色でもよく、モザイクなどの柄のあるものにしてもよい。また、左右のマスク領域にマスク対象を隠す別の画像を重畳してもよく、左右のマスク領域に視差を持つ画像をはめ込んでマスクの画像が立体的に見えるようにしてもよい。

また、ステップS４５、ステップS４６で生成した左右のマスク視差画像のマスク領域の形状が不規則な形状で見難くなっている場合などは、マスク領域を包含する適切な形状に修正してもマスクの機能は保持される。

本実施例１の形態によれば、左右視差画像の各々において、マスクで隠したいマスク対象にマスク領域を指定するとき、マスク領域の形状を左右で同じ形状に揃える必要がない。立体表示部分の形状に基づき左右で異なったマスク領域として指定した場合でも、マスクを配置する所望の奥行き位置を決定することにより、その奥行き位置に応じた必要最小限の大きさのマスク形状が試行錯誤することなく自動的に求められる。

本実施例１においては隠すことを所望する立体像の手前にマスクを配置した例で説明したが、図５に示すように立体像の後方にマスクを配置することも可能である。

図５は、立体像２３より後方の視差量ｐ2に相当する飛び出し位置にマスクを配置する場合の位置関係を示している。前方にマスクを配置する場合と同様に、観察者の右眼２７から見て立体像２３を隠すマスク形状は、右視差画像２１の輪郭と右眼２７を結ぶ錐体の視差量ｐ2に相当する飛び出し位置での断面形状のマスク２４となる。また、観察者の左眼２８から見て立体像２３を隠すマスク形状は、左視差画像２２の輪郭と左眼２８を結ぶ錐体の視差量ｐ2に相当する飛び出し位置での断面形状のマスク２５となる。この両眼のマスク２４、２５の和集合となるマスク２６が両眼から見て立体像２３を後方から隠すマスクとなる。

このように立体像を後方でマスクして、観察者に大きく飛び出した立体像を見せないように適度な飛び出し位置にマスクを配置することにより、全体の画像を融像して見やすい立体映像が得られる。

次に、本発明の実施例２による立体マスク作成方法について説明する。

実施例２による立体マスク作成方法においては、立体表示された立体像において、所定の飛び出し位置より飛び出た立体表示部分をマスクする際に、マスク領域の指定を実施例１のように手動ではなく、自動的に行うものである。実施例２による立体マスクの作成は、図１に示した立体マスク作成装置を用いて行うことができる。

実施例２によるマスク作成の画像処理プロセスを図６を用いて以下で説明する。また、実施例２による立体マスク作成処理の流れの概略を示すフローチャートを図７に示す。フローチャートに示された工程をプログラム化して、ＣＰＵの制御の下で立体マスク作成処理を実行することができる。

本実施例では左右視差画像による立体像に対して、画面からの飛び出し量の限界を決めて、それより手前に飛び出して表示される立体表示部分を隠すようにマスクを配置する場合を説明する。
フローチャートのステップS７１では左右視差画像に対して各々の視差マップを生成する。図６(B)に示されている右視差画像３０の視差マップ５５は次のようにして生成される。右視差画像３０の一つの画素位置でその画素を中心とした所定画素数の矩形状の探索ウインドウを設け、左視差画像３１上の対応する画素位置の周辺で探索ウインドウを水平方向に移動し、画素の濃度値の相関の高い画素位置を求め、右視差画像３０の画素位置との視差量を算出する。これを右視差画像３０の一つの画素位置の視差量の値とし、この操作を繰り返し右視差画像３０の全ての画素について左視差画像３１との視差量の値を求める。右視差画像３０の各画素においてその視差量の大きさに基づいて濃淡で表示したり、または、視差量の大きさを識別することができるその他の表示態様で視差マップ５５を生成する。図６(B)に示されている右視差画像３０の視差マップ５５においては、一番手前の立体物５３は黒く表示され、その奥の二番目の立体物５１は斜線表示とされている。さらに奥に位置する立体物２１は白く表示されている。尚、視差量に基づく各画素の表示の態様は濃淡や色別により表示するようにしても良い。

また、左視差画像３１についても同様に、左視差画像３１の各画素について視差量を求め、左視差画像３１の各画素についてその視差量の大きさに応じて識別することができるような態様で、図６(B)に示すように、視差マップ５６を作成する。

右視差画像３０の視差マップ５５と左視差画像３１の視差マップ５６は元の左右視差画像が３Ｄカメラで左右異なる位置から撮影されるため視差により左右の像の形状が異なるので、同じように視差マップの左右の像の形状は異なっている。

図６（B）に示されている左視差画像３１の視差マップ５６においても同様に、一番手前の立体物５４は黒く表示され、その奥の二番目の立体物５２は斜線表示とされている。さらに奥に位置する立体物２２は白く表示されている。

ステップS７２ではマスクを配置する奥行き位置情報または視差量情報等の立体マスクの配置位置情報の入力を行う。

左右視差画像による立体像に対して、画面からの飛び出し量の限界を決めて、それより手前に飛び出して表示される立体表示部分を隠すようにマスクを配置する。このために、マスクの奥行き位置または視差量をキーボードから入力する。入力の仕方は、２Ｄディスプレイに表示された視差マップにおいて濃淡、色別又は模様等により視差量に応じて識別表示されている領域を直接カーソルで選んで入力してもよい。

ステップS７３では、ステップS７２で入力したマスクを配置する奥行き位置に対応する視差量を超える領域を視差マップから自動選択する。

図６（B）の右視差画像３０の右視差マップ５５において立体物５１の奥行き位置にマスクを配置するようにすると、一番手前側の立体物５３と二番目の立体物５１の領域がマスクの視差量を超えた領域となる。マスクを配置する奥行き位置における視差量を超える視差量を有するマスク対象領域を自動的に選択すると、図６（C）の右視差画像３０における立体物５３と立体物５１を包含するマスク領域５９となる。また、左視差画像３１においても、右視差画像と同様にしてマスク対象領域を自動選択すると、一番手前側の立体物５４とその次の立体物５２を包含するマスク領域５８となる。

ステップS７４、S７５では実施例１で説明したマスク作成方法と同様に、マスクを配置する奥行き位置の視差量に応じて、右マスク視差画像と左マスク視差画像を生成する。

図６（C）の右視差画像３０において、左視差画像３１のマスク領域５８をマスクを配置する奥行き位置の視差量に応じて視差方向（左方向）に平行移動したマスク領域５７とマスク領域５９との和集合であるマスク領域６１を図６(D)に示すように求める。これにより、右マスク視差画像６１が生成される。左視差画像３１についても同様に、右視差画像３０のマスク領域５９をマスクを配置する奥行き位置の視差量に応じて視差方向（右マスク視差画像生成の場合と逆方向）に移動したマスク領域６０とマスク領域５８との和集合であるマスク領域６２を図６(D)に示すように求める。これにより、左マスク視差画像６２が生成される。

ステップS７６において、生成された右マスク視差画像と左マスク視差画像を元の左右視差画像に重畳して合成することでマスク処理した左右視差画像が得られる。

以上のように本実施例では、視差マップを作成することにより、マスクを配置する飛び出し位置より大きく飛び出して表示される立体表示部分を隠すマスク領域を視差マップを用いて自動的に生成することができる。これにより、立体表示の際に飛び出し量が制限されている見やすい立体映像が得られる。

次に、本発明の実施例３による立体内視鏡システムにおける立体マスクの作成及び立体マスク表示方法について説明する。

図８は立体内視鏡の挿入部先端を説明するための図である。立体内視鏡の挿入部１０１の先端には２眼の撮像部の撮像レンズ１０２A、１０２Bと術部を照明する照明用ファイバー１０３が配置されており、立体撮影ができるようになっている。処置具を内視鏡先端まで導くチャンネル１０４が設けられていて、レーザー照射装置のレーザープローブ１０５が挿入されている。レーザー照射時には、レーザープローブ１０５は挿入部先端から予め設定した所定の長さだけ繰り出されて、術部１０６の処置部１０７に向けてレーザーを照射する。

レーザー照射の際、撮像レンズ１０２A、１０２Bの近傍のチャンネルからレーザープローブ１０５が繰り出されるので、腹腔の立体映像にレーザープローブ１０５が大きな視差を持って写り、融像できず立体視を妨げていた。

本実施例３による立体内視鏡システムは、立体内視鏡の立体映像に写るレーザープローブ１０５の付け根の視差量の大きい部分に実施例１で説明した立体マスク作成方法に基づき生成したマスクを重畳して表示するようにしたものである。

図９（A）はレーザープローブの立体表示の位置関係の説明図、図９（B）は本実施例のマスク作成方法で生成したマスクの立体表示の位置関係の説明図である。

図９（A）に示すように、３Ｄディスプレイの画面２０に術部視差画像３１０と、レーザープローブの右視差画像３０４と左視差画像３０５が表示され、観察者の両眼で術部とレーザープローブの立体像３０６が立体視できる。レーザープローブの立体像３０６の観察者の眼に近い部分は画面２０からの飛び出し量が大きく融像することができない。レーザープローブの右視差画像３０４と左視差画像３０５ではレーザープローブの付け根の視差量が著しく大きくなっている。

図９（B）においては、本発明によるマスク作成方法で生成したマスク３０７により、レーザープローブの立体像３０６の視差量が所定の視差量限度pmaxより大きくなる部分を隠すようにして立体表示される様子が示されている。その時の視差画像上でのマスク形状については、右視差画像はマスク３１５、左視差画像はマスク３１６となる。

次に、図１０は本実施例のマスク作成の画像処理プロセスで生成されるマスク左右視差画像を説明する説明図である。左右視差画像に対応するマスク左右視差画像は、実施例１で述べた立体マスク作成装置を用いて、以下に述べる方法で作成することができる。

図１０（A）はマスクを掛ける前の左右視差画像３０、３１を示しており、レーザープローブ１０５の右視差画像３０４と左視差画像３０５が各々の視差画像に表示されている。

図１０において、立体表示の飛び出しの限界位置とする視差量pmaxの位置を水平線で示しており、図１０(B)に示すように、その線より下方の視差の大きい領域をマウスを用いてマスク領域３１１、３１２として指定する。

次に図１０（C）に示すように、右視差画像において、左視差画像のマスク領域３１２を視差量pmaxだけ視差方向（左方向）に平行移動させたマスク領域３１３を生成し、このマスク領域３１３とマスク領域３１１との和集合を取って図１０（D）に示す右視差マスク領域３１５を生成する。左視差画像においても同様に、右視差画像のマスク領域３１１を視差量pmaxだけ反対方向に平行移動させたマスク領域３１４を生成し、このマスク領域３１４とマスク領域３１２との和集合を取り、図１０（D）に示す左視差マスク領域３１６を生成する。

これにより、左右視差画像に対応して、視差量pmaxを超える領域を隠すマスク左右視差画像が生成される。

立体内視鏡の先端の固定したチャンネルからレーザープローブを突出させるので、左右視差画像上でレーザープローブ１０５の右視差画像３０４と左視差画像３０５は常に同じ位置に沿って表示される。そこで手術前にレーザープローブのマスク左右視差画像を生成して、その画像をメモリーに格納しておく。レーザープローブによる治療が開始したときにレーザープローブのマスク左右視差画像をリアルタイムの動画像に重畳して表示すれば、治療中にレーザープローブが融像できずに立体視が困難になることを防止できる。

図１１は実施例３による立体内視鏡システムの構成を示すブロック図である。

立体内視鏡システムは、左右眼用撮像レンズ１０２Ａ、１０２Ｂ、照明用ファイバー１０３、レーザープローブ１０５が挿入されるチャンネル１０４を備えた立体内視鏡１５１と、画像制御装置１５２及び立体ディスプレイ１５３から構成されている。

照明用ファイバー１０３には立体内視鏡の外部の照明光源装置１５４から照明光が供給される。チャンネル１０４には挿入孔を通してレーザープローブ１０５が挿入され、外部のレ−ザー光照射装置１５５からレーザー光が供給される。

左右眼用撮像レンズ１０２Ａ、１０２Ｂに対応して撮像素子１１０Ａ、１１０Ｂが各々配置されている。撮像素子１１０Ａ、１１０Ｂは撮像素子駆動部１５６により駆動され、撮影された左右視差画像は映像信号出力部１５７を通して出力され、画像制御装置１５２に入力される。

画像制御装置１５２では、術部を撮影した左右視差画像とレーザープローブの左右のマスク視差画像を合成して、立体ディスプレイ１５３に立体表示する。

術部を撮影した左右視差画像は画像処理部１５８に入力され、色補正や輝度調整を行い、画像合成部１５９に出力される。

レーザープローブの左右のマスク視差画像は、図１に示した立体マスク作成装置を用いて上述したように作成することができ、このマスク左右視差画像は画像制御装置１５２のマスク画像記憶部１６２に格納されている。画像制御装置１５２のＣＰＵ１６１の制御のもとに画像処理部１５８を介して画像合成部１５９でマスク左右視差画像と術部を撮影した左右視差画像がリアルタイムに合成処理される。マスク左右視差画像が合成された左右視差画像は映像出力部１６０で立体ディスプレイの表示方式に合った画像形式に変換されて立体ディスプレイ１５３に立体表示される。

マスク視差画像の合成表示は必要に応じて、情報入力部１６４の操作により表示・非表示が切り換えられるようにしてもよい。

尚、所定のプログラムやデータは、記憶部１６３に記憶される。

また、実施例１や実施例２に基づいたマスク作成方法の各ステップを画像処理部１５８で実行するためのプラグラムを記憶部１６３に格納し、ＣＰＵ１６１の制御のもとでレーザープローブの左右のマスク視差画像を生成するように画像制御装置１５２を構成することもできる。

本実施例においては処置具としてレーザープローブを用いた例で説明したが、術部を洗浄する洗浄プローブや他の処置具であっても適用できる。また、チャンネル付き立体内視鏡で説明したが、処置具が立体内視鏡と連動して移動する構成でも適用できる。

本実施形態では視差の大きいレーザープローブをマスクする場合を説明したが、実施例２の立体マスク作成方法で、融像可能な視差量を設定し、画面全体でその視差量よりも大きくなる部分を隠すマスク視差画像を画像制御装置１５２のＣＰＵ１６１で自動生成して術部を撮影した左右視差画像に合成して立体ディスプレイ１５３に立体表示してもよい。

１立体マスク作成装置
１２３Ｄディスプレイ
２１、３０右視差画像
２２、３１左視差画像
２３立体像
２７右眼
２８左眼
３４、５９、３１１右マスク領域
３５、５８、３１２左マスク領域
３８、６１、３１５右マスク視差画像
３９、６２、３１６左マスク視差画像

Claims

立体映像にマスクを施すための立体マスク作成装置であって、
被写体の立体像のための左右視差画像を取り込む手段と、
前記左右視差画像のそれぞれにおいてマスクを掛けるマスク対象領域を選択するためのマスク対象領域選択手段と、
前記左右視差画像を表示するディスプレイの画面に関する立体マスクの配置位置情報を入力する手段と、
マスク左右視差画像を作成し、前記左右視差画像に前記マスク左右視差画像を重畳させる制御手段とを備え、
前記制御手段において、前記立体マスクの配置位置情報に対応する視差量が設定され、前記左右視差画像においてそれぞれ選択されたマスク対象領域が第１のマスク領域及び第２のマスク領域として指定され、前記第２のマスク領域を前記視差量だけ視差方向に移動させた第３のマスク領域が生成され、前記第１のマスク領域を前記視差量だけ前記移動とは反対の方向に移動させた第４のマスク領域が生成され、前記第１のマスク領域と前記第３のマスク領域との和集合で前記左右視差画像の一方のマスク視差画像が作成され、前記第２のマスク領域と前記第４のマスク領域との和集合で前記左右視差画像の他方のマスク視差画像が作成され、前記マスク左右視差画像が前記左右視差画像にそれぞれ重畳されることを特徴とする、立体マスク作成装置。
前記制御手段において、前記左右視差画像において視差量に基づいた視差マップがそれぞれ作成され、前記視差マップにおいて前記マスクの前記視差量を超える領域を前記マスク対象領域選択手段により選択することができる、請求項１に記載の立体マスク作成装置。
前記立体マスクの配置位置情報は、前記立体マスクの奥行き位置情報であり、前記制御手段は、前記立体マスクの奥行き位置情報から前記マスクの前記視差量を算出する、請求項１または２に記載の立体マスク作成装置。
前記立体マスクの配置位置情報は、前記立体マスクの視差量である、請求項１または２に記載の立体マスク作成装置。
立体映像にマスクを施すための立体マスク作成方法であって、
被写体の立体像のための左右視差画像のそれぞれにおいて選択されたマスク対象領域をそれぞれ第１のマスク領域及び第２のマスク領域として指定するステップと、
前記左右視差画像を表示するディスプレイの画面に関する立体マスクの配置位置に対応する視差量を設定するステップと、
前記第２のマスク領域を視差方向に前記視差量だけ移動させた第３のマスク領域を生成し、前記第１のマスク領域を前記移動とは反対の方向に前記視差量だけ移動させた第４のマスク領域を生成し、前記第１のマスク領域と前記第３のマスク領域との和集合で前記左右視差画像の一方のマスク視差画像を作成し、前記第２のマスク領域と前記第４のマスク領域との和集合で前記左右視差画像の他方のマスク視差画像を作成することによりマスク左右視差画像を作成するステップと、
を含む、ことを特徴とする立体マスク作成方法。
前記左右視差画像において視差量に基づいた視差マップをそれぞれ作成するステップを更に含み、前記マスク領域を指定するステップは、前記視差マップにおいて前記マスクの前記視差量を超える領域を選択しマスク領域として指定することを含む、請求項５に記載の立体マスク作成方法。
前記マスク左右視差画像をそれぞれ左右視差画像に重畳されるステップを更に含む請求項５または６に記載の立体マスク作成方法。
請求項５乃至７のいずれか一項に記載された立体マスク作成方法の各ステップを画像処理装置に実行させるための立体マスク作成プログラム。
請求項１乃至５のいずれか一項に記載の立体マスク作成装置を備えた立体内視鏡システム。
請求項５または６に記載された立体マスク作成方法により作成されたマスク左右視差画像を取り込むステップと、
前記マスク左右視差画像を左右視差画像に合成するステップとを備えた、立体内視鏡システムにおける立体マスク表示方法。
前記左右視差画像は、リアルタイムで撮影されている画像である、請求項１０に記載の立体内視鏡システムにおける立体マスク表示方法。