JP2012170044A - 立体視画像表示装置 - Google Patents

Abstract

【課題】右目用画像および左目用画像の２枚の画像を用いて立体視画像を表示する立体視画像表示装置において、観察者がモニタを見る位置により立体視画像の立体感が変化しにくくする。
【解決手段】画像表示の際に、モニタ９の距離測定手段４０において、モニタ９の表示面から観察者までの距離を測定する。画像処理部８ｃは、右目用画像および左目用画像中に共通する所定の被写体を抽出し、抽出した各被写体毎に、上記で測定した距離が長くなる程、抽出した被写体の視差を小さくするように、右目用画像および／または左目用画像中の被写体の位置を画像処理により移動させる。モニタ９は、画像処理部８ｃにおいて上記の通り画像処理が施された画像のデータを基に、乳房Ｍの立体視画像を表示させる。
【選択図】図３

Description

本発明は、右目用画像および左目用画像の２枚の画像を用いて立体視画像を表示する立体視画像表示装置に関するものである。

従来、右目用画像および左目用画像の２枚の画像を組み合わせて表示することにより、視差を利用して立体視できることが知られている。このような立体視できる画像（以下、立体視画像またはステレオ画像という）は、同一の被写体を異なる位置から撮影して取得された互いに視差のある複数の画像に基づいて生成される。

そして、このような立体視画像の生成は、デジタルカメラやテレビなどの分野だけでなく、放射線画像撮影の分野においても利用されている。すなわち、被験者に対して互いに異なる方向から放射線を照射し、その被験者を透過した放射線を放射線画像検出器によりそれぞれ検出して互いに視差のある複数の放射線画像を取得し、これらの放射線画像に基づいて立体視画像を生成することが行われている。そして、このように立体視画像を生成することによって奥行感のある放射線画像を観察することができ、より診断に適した放射線画像を観察することができる。（例えば特許文献１参照）

特開２０１０−１１０５７１号公報

ところで、立体視画像を観察する場合、立体視画像を表示するモニタから観察者までの距離が長くなるにつれて、立体視画像の立体感（画像中の被写体が表示面からどれだけ飛び出して見えるか、もしくはどれだけ引っ込んで見えるか）が大きくなるという現象が発生する。

ここで、この現象について説明する。図５は右目用画像および左目用画像において互いに視差のある被写体の立体感の程度を説明するための図、図６は表示面から観察者までの距離により立体感が変化することを示すグラフである。

図５に示すように、表示面から観察者までの距離をＤとすると、視差量がΔＰの被写体Ｉの表示面からの飛び出し量ΔＤ_Ｆは（１）式のように表される。なお、視差方向が逆転した場合には被写体Ｉは表示面から引っ込んで見えるようになり、このときの引っ込み量ΔＤ_Ｂは（２）式のように表される。
ΔＤ_Ｆ＝ΔＰ・Ｄ／Ｐ＋ΔＰ （１）
ΔＤ_Ｆ＝ΔＰ・Ｄ／Ｐ−ΔＰ （２）

（１）式から分かる通り、被写体Ｉの表示面からの飛び出し量ΔＤ_Ｆは、表示面から観察者までの距離Ｄに比例するため、表示面から観察者までの距離が長くなるにつれて、立体視画像の立体感が大きくなることになる。なお、視差方向が逆転した場合、すなわち引っ込み量ΔＤ_Ｂについても同様に、表示面から観察者までの距離が長くなるにつれて、立体視画像の立体感が大きくなることになる。

このような現象は、写真や映画等の一般的な立体視映像を鑑賞する場合には大きな問題とならないが、放射線画像診断のような医療系の分野において立体視画像を観察する場合には、観察者がモニタを見る位置によって患者の撮影部位の立体感が異なって見えるようになってしまうため、正確な診断を要する場合には好ましくない現象である。

本発明は、上記の事情に鑑み、右目用画像および左目用画像の２枚の画像を用いて立体視画像を表示する立体視画像表示装置において、観察者がモニタを見る位置により立体視画像の立体感が変化しにくくすることを目的とする。

本発明の立体視画像表示装置は、互いに視差のある右目用画像および左目用画像からなる構成される立体視画像を観察者に立体視可能に表示する表示手段と、表示手段から観察者までの距離を特定する距離特定手段と、右目用画像および左目用画像中に共通する所定の被写体を抽出する被写体抽出手段と、前記距離が長くなる程、前記被写体の視差を小さくするように、右目用画像および／または左目用画像中の前記被写体の位置を画像処理により移動させる被写体位置移動手段とを備えてなることを特徴とするものである。

ここで、被写体抽出手段が抽出する被写体は１つに限らず、複数抽出するようにしてもよい。被写体抽出手段において複数の被写体を抽出するようにした場合は、被写体位置移動手段は、各被写体毎に個別に視差の調整を行う必要がある。

また、被写体の位置を画像処理により移動させる方法については、右目用画像または左目用画像の一方の画像を基準として、他方の画像中の被写体の位置のみ移動させるようにしてもよいし、右目用画像と左目用画像とのクロスポイント位置を基準として、右目用画像および左目用画像の両方で画像中の被写体の位置を移動させるようにしてもよい。

本発明の立体視画像表示装置において、距離特定手段は、前記距離を測定する測定手段を備え、測定手段により測定された距離を前記距離として特定するものとしてもよいし、前記距離に対応した情報の入力を受け付ける入力手段を備え、入力手段に入力された情報に基づいて距離を特定するものとしてもよい。

ここで「距離に対応した情報」とは、距離値そのものであってもよいし、例えば、一人で観察する場合には近距離観察が想定されるため、表示手段から観察者までの距離として近距離範囲が設定された単独観察モード、カンファレンス等で複数人数で表示手段を囲んで観察する場合には遠距離観察が想定されるため、表示手段から観察者までの距離として遠距離範囲が設定された複数観察モード等といった、距離に対応した情報であってもよい。

本発明の立体視画像表示装置によれば、表示手段から観察者までの距離が長くなる程、立体視画像中の被写体の視差を小さくするように、右目用画像および／または左目用画像中の被写体の位置を画像処理により移動させるようにしたので、観察者がモニタを見る位置により立体視画像の立体感が変化しにくくすることができる。

本発明の立体視画像表示装置の一実施の形態を用いた乳房用立体視画像撮影表示システムの概略構成図 上記乳房用立体視画像撮影表示システムのアーム部を図１の右方向から見た図 上記乳房用立体視画像撮影表示システムのコンピュータ内部の概略構成を示すブロック図 上記乳房用立体視画像撮影表示システムのモニタの構成図 右目用画像および左目用画像において互いに視差のある被写体の立体感の程度を説明するための図 表示面から観察者までの距離により立体感が変化することを示すグラフ 本発明の立体視画像表示装置における画像処理の内容を説明するための図

以下、図面を参照して本発明の立体視画像表示装置の一実施の形態を用いた乳房用立体視画像撮影表示システムについて説明する。まず、本実施の形態の乳房用立体視画像撮影表示システム全体の概略構成について説明する。図１は乳房用立体視画像撮影表示システムの概略構成を示す図、図２は上記乳房用立体視画像撮影表示システムのアーム部を図１の右方向から見た図、図３は上記乳房用立体視画像撮影表示システムのコンピュータ内部の概略構成を示すブロック図、図４は上記乳房用立体視画像撮影表示システムのモニタの構成図である。

本実施形態の乳房用立体視画像撮影表示システム１は、図１に示すように、乳房画像撮影装置１０と、乳房画像撮影装置１０に接続されたコンピュータ８と、コンピュータ８に接続されたモニタ９および入力部７とを備えている。

そして、乳房画像撮影装置１０は、図１に示すように、基台１１と、基台１１に対し上下方向（Ｚ方向）に移動可能であり、かつ回転可能な回転軸１２と、回転軸１２により基台１１と連結されたアーム部１３を備えている。なお、図２には、図１の右方向から見たアーム部１３を示している。

アーム部１３はアルファベットのＣの形をしており、その一端には撮影台１４が、その他端には撮影台１４と対向するように放射線照射部１６が取り付けられている。アーム部１３の回転および上下方向の移動は、基台１１に組み込まれたアームコントローラ３１により制御される。

撮影台１４の内部には、フラットパネルディテクタ等の放射線画像検出器１５と、放射線画像検出器１５からの電荷信号の読み出しを制御する検出器コントローラ３３が備えられている。また、撮影台１４の内部には、放射線画像検出器１５から読み出された電荷信号を電圧信号に変換するチャージアンプや、チャージアンプから出力された電圧信号をサンプリングする相関２重サンプリング回路や、電圧信号をデジタル信号に変換するＡＤ変換部などが設けられた回路基板なども設置されている。

また、撮影台１４はアーム部１３に対し回転可能に構成されており、基台１１に対してアーム部１３が回転したときでも、撮影台１４の向きは基台１１に対し固定された向きとすることができる。

放射線画像検出器１５は、放射線画像の記録と読出しを繰り返して行うことができるものであり、放射線の照射を直接受けて電荷を発生する、いわゆる直接型の放射線画像検出器を用いてもよいし、放射線を一旦可視光に変換し、その可視光を電荷信号に変換する、いわゆる間接型の放射線画像検出器を用いるようにしてもよい。また、放射線画像信号の読出方式としては、ＴＦＴ（thin film transistor）スイッチをオン・オフされることによって放射線画像信号が読みだされる、いわゆるＴＦＴ読出方式のものや、読取光を照射することによって放射線画像信号が読み出される、いわゆる光読出方式のものを用いることが望ましいが、これに限らずその他のものを用いるようにしてもよい。

放射線照射部１６の中には放射線源１７と、放射線源コントローラ３２が収納されている。放射線源コントローラ３２は、放射線源１７から放射線を照射するタイミングと、放射線源１７における放射線発生条件（管電流、管電圧、時間等）を制御するものである。

また、アーム部１３の中央部には、撮影台１４の上方に配置されて乳房Ｍを押さえつけて圧迫する圧迫板１８と、その圧迫板１８を支持する支持部２０と、支持部２０を上下方向（Ｚ方向）に移動させる移動機構１９が設けられている。圧迫板１８の位置、圧迫圧は、圧迫板コントローラ３４により制御される。

コンピュータ８は、中央処理装置（ＣＰＵ）および半導体メモリやハードディスクやＳＳＤ等のストレージデバイスなどを備えており、これらのハードウェアによって、図３に示すような制御部８ａ、データ記憶部８ｂおよび画像処理部８ｃが構成されている。

制御部８ａは、各種のコントローラ３１〜３４に対して所定の制御信号を出力し、システム全体の制御を行うものである。具体的な制御方法については後で詳述する。

データ記憶部８ｂは、撮影により取得された画像のデータ等を記憶するものである。

画像処理部８ｃは、右目用画像および左目用画像中に共通する所定の被写体を抽出する被写体抽出手段としての機能や、右目用画像および／または左目用画像中の被写体の位置を画像処理により移動させる被写体位置移動手段としての機能を有する他、コントラスト調整や鮮鋭度調整等の種々の画像処理を施すためのものである。

入力部７は、例えば、キーボードやマウスなどのポインティングデバイスから構成されたものであり、撮影条件や操作指示等の入力を受け付けるためのものである。

モニタ９は、コンピュータ８から出力された２つの放射線画像信号を用いて、撮影方向毎の放射線画像をそれぞれ２次元画像として表示することにより、立体視画像を立体視可能に表示するように構成されたものである。

立体視画像を表示する構成としては、たとえば、２つの画面を用いて２つの放射線画像信号に基づく放射線画像をそれぞれ表示させて、これらをハーフミラーや偏光グラスなどを用いることで一方の放射線画像は観察者の右目に入射させ、他方の放射線画像は観察者の左目に入射させることによって立体視画像を表示する構成を採用することができる。

または、たとえば、２つの放射線画像を所定の視差量だけずらして重ね合わせて表示し、これを偏光グラスで観察することで立体視画像を生成する構成としてもよいし、もしくはパララックスバリア方式およびレンチキュラー方式のように、２つの放射線画像を立体視可能な３Ｄ液晶に表示することによって立体視画像を生成する構成としてもよい。

また、立体視画像を表示する装置と２次元画像を表示する装置とは別個に構成するようにしてもよいし、同じ画面上で表示できる場合には同じ装置として構成するようにしてもよい。

このモニタ９は、モニタ９の表示面から観察者までの距離を測定する距離測定手段４０を備えている。この距離測定手段４０については、超音波距離センサー、レーザー距離センサー、もしくはステレオカメラにより撮影された画像中の特定の被写体について、画像間の視差により距離を算出するシステム等、どのようなものを用いてもよいが、特にステレオカメラを用いたシステムにおいて、既知の顔認識技術により画像中から観察者の顔（好ましくは目）を検出し、モニタ９の表示面から観察者の顔（好ましくは目）までの距離を算出するようにすれば、本発明の処理に即して正確に距離の測定を行うことができる。

次に、本実施形態の乳房用立体視画像撮影表示システムの作用について説明する。

まず、撮影の際の動作について説明する。

最初に撮影台１４の上に乳房Ｍが設置され、圧迫板１８により乳房Ｍが所定の圧力によって圧迫される。

次に、入力部７おいて、２つの異なる撮影方向がなす角度（以下、輻輳角θという）および輻輳角θを構成する撮影角度θ'の組み合わせを含む種々の撮影条件が入力された後、撮影開始の指示が入力される。

そして、入力部７において撮影開始の指示があると、乳房Ｍの立体視画像の撮影が行われる。具体的には、まず、制御部８ａが、輻輳角θと輻輳角θを構成する撮影角度θ'の情報をアームコントローラ３１に出力する。なお、本実施形態においては、このときの輻輳角θの情報としてθ＝４°、輻輳角θを構成する撮影角度θ’の組み合わせとしてθ’＝±２°の組み合わせが入力されたものとするが、これに限られるものではなく、撮影者は入力部７において任意の輻輳角θを設定可能である。

アームコントローラ３１において、制御部８ａから出力された撮影角度θ’の情報が受け付けられ、アームコントローラ３１は、この撮影角度θ’の情報に基づいて、まず右目用の放射線画像を撮影するためにアーム部１３を検出面１５ａに垂直な方向に対して＋２°傾く撮影角度θ'となる制御信号を出力する。

アームコントローラ３１から出力された制御信号に応じてアーム部１３が＋２°の位置まで回転する。続いて制御部８ａは、放射線源コントローラ３２および検出器コントローラ３３に対して放射線の照射と放射線画像信号の読出しを行うよう制御信号を出力する。この制御信号に応じて、放射線源１７から放射線が照射され、乳房Ｍを撮影角度θ'が＋２°の方向から撮影した放射線画像が放射線検出器１５によって検出され、検出器コントローラ３３によって放射線画像信号が読み出され、コンピュータ８のデータ記憶部８ｂに記憶される。

続いて、まず左目用の放射線画像を撮影するためにアーム部１３を検出面１５ａに垂直な方向に対して−２°傾く撮影角度θ'となる制御信号を出力する。

アームコントローラ３１から出力された制御信号に応じてアーム部１３が−２°の位置まで回転する。続いて制御部８ａは、放射線源コントローラ３２および検出器コントローラ３３に対して放射線の照射と放射線画像信号の読出しを行うよう制御信号を出力する。この制御信号に応じて、放射線源１７から放射線が照射され、乳房Ｍを撮影角度θ'が−２°の方向から撮影した放射線画像が放射線検出器１５によって検出され、検出器コントローラ３３によって放射線画像信号が読み出され、コンピュータ８のデータ記憶部８ｂに記憶される。

次に、立体視画像表示の際の動作について説明する。図５は右目用画像および左目用画像において互いに視差のある被写体の立体感の程度を説明するための図、図６は表示面から観察者までの距離により立体感が変化することを示すグラフ、図７は本発明の立体視画像表示装置における画像処理の内容を説明するための図である。

上記で図５および図６を用いて説明した通り、立体視画像を観察する場合、立体視画像を表示するモニタ９から観察者までの距離が長くなるにつれて、立体視画像の立体感が大きくなるという現象が発生する。このような現象は、放射線画像診断のような医療系の分野において立体視画像を観察する場合には、観察者がモニタ９を見る位置によって患者の撮影部位の立体感が異なって見えるようになってしまうため、正確な診断を要する場合には好ましくない現象である。

従って、本発明ではこのような問題を解消するために、まず、モニタ９の距離測定手段４０において、モニタ９の表示面から観察者までの距離を測定する。

次いで、図７に示すように、画像処理部８ｃは、右目用画像および左目用画像中に共通する所定の被写体を抽出する。ここで抽出する物体は、例えば腫瘤や乳腺やニップル等、画像中において特徴的な構造の物であり、抽出する方法としては、既知の画像認識技術等、どのような方法を用いてもよい。本実施の形態では、例として被写体Ａと被写体Ｂの２つの被写体が抽出されたものとする。

立体視画像の立体感は被写体の視差量に比例して大きくなるため、ここで抽出された各被写体毎に、上記で測定した距離が長くなる程、抽出した被写体の視差を小さくするように、右目用画像および／または左目用画像中の被写体の位置を画像処理により移動させる。

具体的には、上記で測定した距離が５０ｃｍ未満であった場合には画像中の被写体の視差量は調整せず、５０ｃｍ以上７０ｃｍ未満であった場合には画像中の被写体の視差量を０．８倍に、７０ｃｍ以上９０ｃｍ未満であった場合には画像中の被写体の視差量を０．６倍に、９０ｃｍ以上であった場合には画像中の被写体の視差量を０．５倍にする。なお、ここでの閾値や変化量は上記に限るものではなく、モニタ９の大きさや設置環境等を考慮し、適切なものを選択すればよい。

視差量を小さくする具体的な方法としては、各被写体毎に視差Ｐを求め、右目用画像を基準として、左目用画像中の被写体の位置について上記で測定した距離に応じた視差量となるように各被写体毎に移動させればよい。例えば、上記で測定した距離が７０ｃｍ以上９０ｃｍ未満であった場合、図７に示すように、左目用画像中において、被写体Ａの視差量Ｐ_Ａ、被写体Ｂの視差量Ｐ_Ｂともに０．６倍となる位置に、被写体Ａおよび被写体Ｂを各々移動させればよい。さらに、移動により空白となった領域については、周囲の画素情報から既知の画像処理技術を用いて補間すればよい。

なお、被写体の位置を画像処理により移動させる方法については、上記のように右目用画像または左目用画像の一方の画像を基準として、他方の画像中の被写体の位置のみ移動させる態様に限らず、右目用画像と左目用画像とのクロスポイント位置を基準として、右目用画像および左目用画像の両方で画像中の被写体の位置を移動させる等どのような態様としてもよいが、前者の方が、画像処理を施す画像が一枚のみで済み画像処理量が軽減できるので好ましい。

モニタ９は、画像処理部８ｃにおいて上記の通り画像処理が施された画像のデータを基に、乳房Ｍの立体視画像を表示させる。

上記の通り、モニタ９から観察者までの距離が長くなる程、立体視画像中の被写体の視差を小さくするように、右目用画像および／または左目用画像中の被写体の位置を画像処理により移動させるようにしたので、観察者がモニタ９を見る位置により立体視画像の立体感が変化しにくくすることができる。

なお、上記実施の形態の説明では、モニタ９から観察者までの距離の特定は、立体視画像表示時に一度だけ行っているが、これに限らず、立体視画像表示中も定期的（例えば１秒に１回等）に距離の特定を行い、距離が変化した場合には、それに合わせて画像処理をやり直すようにしてもよい。

また、上記実施の形態の説明では、距離測定手段４０を設けてモニタ９の表示面から観察者までの距離の特定を行っているが、これに限らず、入力部７においてユーザーから距離に対応した情報の入力を受け付け、これに基づいて距離の特定を行ってもよい。

ここで「距離に対応した情報」とは、距離値そのものであってもよいし、例えば、一人で観察する場合には近距離観察が想定されるため、モニタ９の表示面から観察者までの距離として近距離範囲が設定された単独観察モード、カンファレンス等で複数人数でモニタ９を囲んで観察する場合には遠距離観察が想定されるため、モニタ９の表示面から観察者までの距離として遠距離範囲が設定された複数観察モード等といった、距離に対応した情報であってもよい。

また、本発明の立体視画像表示装置の一実施の形態として、乳房用立体視画像撮影表示システムに適用した例を示したが、本発明は乳房用立体視画像撮影表示システムに限定されるものではなく、立体視画像を表示可能な立体視画像表示装置であればどのような装置にも適用することができる。

また、上記以外にも、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行なってもよいのは勿論である。

１ 乳房用立体視画像撮影表示システム
７ 入力部
８ コンピュータ
８ａ 制御部
８ｂ データ記憶部
８ｃ 画像処理部
９ モニタ
１０ 乳房画像撮影装置
１１ 基台
１２ 回転軸
１３ アーム部
１４ 撮影台
１５ 放射線画像検出器
１６ 放射線照射部
１７ 放射線源
１８ 圧迫板
３１ アームコントローラ
３２ 放射線源コントローラ
３３ 検出器コントローラ
３４ 圧迫板コントローラ
４０ 距離測定手段

Claims (3)

1. 互いに視差のある右目用画像および左目用画像からなる構成される立体視画像を観察者に立体視可能に表示する表示手段と、
   該表示手段から前記観察者までの距離を特定する距離特定手段と、
   前記右目用画像および前記左目用画像中に共通する所定の被写体を抽出する被写体抽出手段と、
   前記距離が長くなる程、前記被写体の視差を小さくするように、前記右目用画像および／または前記左目用画像中の前記被写体の位置を画像処理により移動させる被写体位置移動手段とを備えてなることを特徴とする立体視画像表示装置。
2. 前記距離特定手段が、前記距離を測定する測定手段を備え、該測定手段により測定された距離を前記距離として特定するものであることを特徴とする請求項１記載の立体視画像表示装置。
3. 前記距離特定手段が、前記距離に対応した情報の入力を受け付ける入力手段を備え、該入力手段に入力された情報に基づいて距離を特定するものであることを特徴とする請求項１記載の立体視画像表示装置。

Images