JP2013024953A - 透過表示器とこれを用いた透視画像観測装置 - Google Patents

Abstract

【課題】
本発明の課題は、表示器の使用者が表示面を通じて裏側の像を透視してみることで表示面の表示画像と直接重ね合わせてみることを可能とした透過表示器を提供すること、及びこれを利用した透視画像観測装置を提供することである。
【解決手段】
本発明の透過表示器は、液晶表示器、ＥＬ（エレクトロルミネセンス）表示器などの表示器の表示面に画像表示部と裏面からの光を透過する光透過窓部を交互に配置したことを特徴とし、これと画像取得器と画像加工器とこれらを制御する制御器を有することを特徴とした透視画像観測装置である。
【選択図】図１

Description

本発明は、液晶表示器のような表示器の表示面の画素に表示用の画素以外に裏面からの光を透過する光透過窓用の画素を備えることで表示画像とその裏面からの像を重ねてみることを可能とした、言わば透けて見える透過表示器とそれを用いた透視画像観測装置に関するものである。

従来、透過表示を行なう場合には、ハーフミラーを使うことで、ミラーに４５°の角度で入る光の像とそれとは直角で目線の延長方向から来る光の像を重ねてみることが可能であり、特許文献１では、これを用いた血管可視化装置がしめされている。然しながら、これは、表示画像と肉眼像を合成して見えるが、施術者と患者の患部の間にはハーフミラーが配置され、表示装置が横（特許文献２の図２の例）又は、ハーフミラーと施術者の間（特許文献２の図３の例）に配置されていて、施術者にとって施術上邪魔であるなどもっと簡便な透過可能な画像表示装置が望まれてきた。

特開２００４−２６７５３４

本発明の課題は、表示器の使用者が表示面を通じて裏側の像を透視してみることで表示面の表示画像と直接重ね合わせてみることを可能とした透過表示器を提供すること、及びこれを利用した透視画像観測装置を提供することである。

本発明の透過表示器は、液晶表示器、ＥＬ（エレクトロルミネセンス）表示器などの表示器の表示面に画像表示部と裏面からの光を透過する光透過窓部を交互に配置したことを特徴とし、これと画像取得器と画像加工器とこれらを制御する制御器を有することを特徴とした透視画像観測装置である。

請求項１記載の発明は、透過表示器であって、表示器の表示面に画像表示部と裏面からの光を透過する光透過窓部を交互に配置したことで、画像データを表示した表示画像と前記光透過窓部を透過してくる表示面の裏側からくる透過光による像を重ねて見ることを可能としたことを特徴とする。

請求項２記載の発明は、請求項１記載の透過表示器において、前記表示画像と前記光透過窓部は、これら自体を前記表示器の前記表示面に物理的に配置するか、又は、透過型表示器とこれに表示する画像データを記憶する画像メモリを有し、前記画像メモリに前記表示画像を表示させるためのデータである画像データ部と透過部になるデータを入れておく透過データ部とを画素又は複数の画素ごとに交互に配置することで前記表示面を実質的に前記画像表示部と前記光透過窓部にすることを特徴とする。

請求項３記載の発明は、請求項２記載の透過表示器において、前記画像メモリ上の前記画像データ部と前記透過データ部を画像表示の画面又は複数の画面ごとに入れ替えることを特徴とする。

請求項４記載の発明は、透視画像観測装置であって、観測すべき被観測体の画像を取得する画像取得器とこれから取得された画像を表示するために処理を行なう画像加工器とその結果を表示するための表示器であって表示面を介してその裏側に存在する被観測体を肉眼で透視して観測が可能な透過表示器と、これらの動作を制御する制御器を有することで、被観測体の取得した画像の表示画像を前記肉眼での透視画像と重ねて観測することを可能とし、前記透過表示器は請求項１から請求項３のいずれかに記載の透過表示器であることを特徴とする。

以上の様に構成されているので、本発明の透過表示器では、表示面の画像表示部に表示された表示画像と表示面の光透過窓から透過してくる裏側像を直接重ねてみることができるので、ヘッドマウント表示にすると、肉眼像と表示像を同時に見ることが可能となる。

本発明による透過表示器の一実施態様を示す図である。 本発明による透過表示器に使用できる液晶表示器の一般構造を示す図である。 本発明による透過表示器を使用した透視画像観測装置である血管可視化装置の一実施例を示す図である。 本発明による透過表示器を使用した透視画像観測装置である溶接防護めがね装置の一実施例を示す図である。

本発明による透過表示器は、表示器の表示面に画像表示部と裏面からの光を透過する光透過窓部を交互に配置したことを特徴とし、画像表示部と光透過窓部の配置の仕方は次の２つが取れる。１は、画像表示部と光透過窓部そのものを物理的に配置するもの、２は、例えば、透過型液晶表示器のような透過型表示器とこれに表示する画像データを記憶する画像メモリ（フレームメモリとも言う）を使い、画像メモリに画像データ部と常に白（透過部になる）のデータを入れておく透過データ部を画素又は複数の画素ごとに交互に入れておくことで表示面を実質的に画像表示部と光透過窓部にするものであり、この場合には、画像メモリの画像データ部と透過データ部を画像表示のフレーム（画面）ごとに入れ替えることにより、表示面の画像表示部と光透過窓部を入れ替えることもできる特徴を有する。
以下、実施例を図に沿って説明する。

図１は、本発明による透過表示器の一実施態様を示す図である。
１−Ａにおいて、透過表示器の表示面１０１は多数の表示画素（ピクセル）を有している。
この一部を拡大して示した拡大表示面１０２には、画像データを表示する画像表示部１０３と常に白（透明で裏側からの光が透過できる状態）の光透過窓部１０４が交互に配置されている。
１−Ｂにおいて、同じように透過表示器の表示面１０１は多数の表示画素（ピクセル）を有している。然しながら、この場合は、表示面１０１に表示をする画像のデータを記憶する画像メモリ１０５の中では、画像メモリ拡大部１０６Ａ、１０６Ｂに見るように、画像データ部１０７と常に白（透過部になる）のデータを入れておく透過データ部１０８が交互に配置され、これに対応して表示された結果として表示面１０１の画像表示部と光透過窓部が交互に構成されている。ここでは、画像メモリ拡大部１０６Ａだけのように、画像表示部と光透過窓部が固定でもよく、その場合は、１−Ａの場合と実質的に同じである。
画像メモリ拡大部１０６Ａと１０６Ｂの間で、例えば表示するフレームごとに入れかえることを行なうと、目には表示画像と透過画像が違った位置に見えることは無く完全に重なって見えることも可能である。
１−Ａ、１−Ｂとも画像表示部と光透過窓部を画素又は複数の画素ごとに交互に配置しても良い。

１−Ｃにおいて、透過表示器のブロック図であるが、透過表示器は、光透過表示素子集積装置１１０を有し、光透過表示素子集積装置１１０は、これ自体の表示面に画像表示部と光透過窓部が交互に形成されているか、又は、既存の透過型（この場合はバックライトの光の通過を制御して表示）液晶表示器のような透過型表示器と、画像加工器１１１の中の画像メモリ１０５を用い、画像メモリ１０５に画像データ部１０７と常に白（透過部になる）のデータを入れておくかのいずれかの構成が可能である。これらは、制御器１１２により決まった動作を行なっている。

図２は、本発明による透過表示器に使用できる液晶表示器の一般構造を示す図である。
この図はシャープ株式会社の資料から引用させていただいたが一般的な透過型（ブックライト形）液晶表示装置の断面を示している。先ず、資料からの説明を用いて概要を示す。
透明誘電体により挟まれた空間に液晶が満たされた液晶アレイ基板２０１は、ＩＴＯ膜のような導電性透明電極２０２Ａ、２０２Ｂにより電圧が掛かるようになっている。電圧により液晶は回転し、光の通過を制御できる。透明電極２０２Ｂの右側にはカラーフィルタ基板２０３があり、その右側と他方の透明電極２０２Ａの左側には偏光板２０４と透明導光板２０５が配置されている。これは断面をしめしているが、画素ごとにこのような構造で表示面に並んで配置されている。左から入るバックライトの光は、各画素のデータに対応する電圧が透明電極２０２Ａ、２０２Ｂに係り、光の透過度合いが決まる。その結果、カラーフィルタ基板２０３のＲ（赤）Ｇ（緑）Ｂ（青）のフィルタを通過する光の強度により色とその明るさが決まる。

この一般的な液晶表示器を本発明による透過表示器に使う場合、画像メモリ１０５に画像データ部１０７と常に白（透過部になる）のデータを入れておく場合には、液晶表示器は何ら変更を要さないでそのまま使える。画像メモリ１０５側が画像表示部と光透過窓部を決めるからである。
表示面自体に画像表示部と光透過窓部を作成する場合は、二つの手段が考えられる。一つ目は、光透過窓部の透明電極間に液晶が完全透過になるように電圧が掛かるように電極を強制的にバイアスする電極接続にしてしまうことで、この結果は、液晶表示器の変更が少ないという意味で前例と余り変わらない。液晶表示器の電極接続の変更で対応できる。
２つ目は、現実に表示面に液晶表示画素間に透明部材のみの空間を取ってこれを光透過窓部とすることである。この場合には、新たな表示装置の配置設計で作る必要がある。

以上のような透過表示器を用いた透視画像観測装置の例を図３と図４で説明する。
図３は、本発明による透過表示器を使用した透視画像観測装置である血管可視化装置の一実施例を示す図である。３−Ａにおいて、血管可視化装置３００と被施術者の施術部３０１（ここでは腕）と施術具３０２（ここでは注射器）が示されている。血管可視化装置３００は、施術者（医師や看護士）の頭部３０３に搭載されるものとなっていて、赤外光、好ましくは近赤外光（波長７６０〜２０００nm）を照射する照明光源３０４（必要に応じて可視光光源も含むこともある）と、その光の施術部３０１による反射光を画像として取り込む画像取得器３０５と、この画像を加工する画像加工器３０６と画像加工器３０６の画像出力を表示面に表示し、その表示面を透視して施術部を目視することが可能なヘッドマウントされる透視表示器３０７と、これらの動作を制御する制御器３０８を有し、更に画像加工器３０６は、
画像演算部３０９と画像メモリ３１２を有し、画像演算部３０９は、画像整合手段３１０を有し、この画像整合手段３１０において、透視表示器３０７の表示面に表示される（画像取得器３０５から得られた）施術部画像を透視表示器３０７を透視して目視で得られる（肉眼の）施術部画像に合うように整合することで、画像取得で得られた血管像を含む施術部の画像を整合し、表示画像と目視画像を一致させた状態で見て施術を行うことを可能とするものである。

３−Ｂには、血管可視化装置の構成例のブロック図が示されている。これを用いて動作を説明する。照明光源３０４としては、最小限でも赤外光ランプ３０４Ａ、好ましくは近赤外光（波長７６０〜２０００nm）ランプがあり、これが被施術者の施術部３０１に照射される。施術部３０１は、照射光を反射し、画像取得器３０５により画像として取得されるが、画像取得器３０５は、少なくとも赤外光に感度を持ったカメラか赤外光を透過する赤外光透過フィルタを有するカメラを有している。
赤外光ランプ又は近赤外光ランプの施術部３０１による反射光には、血管のある部分は、血管の無い他の部分に比べて吸収があるため暗くなり、施術部３０１の皮膚の内側にある血管像を得ることが出来る。
尚、画像取得器３０５に可視光カメラを付加した場合には、一つのカメラで赤外光透過フィルタと可視光透過フィルタを高速に切り替えて使用するほうが、各々備えるよりは両者の画像の位置、縮尺、向きなどが一致し都合がよい。
可視光カメラを付加した場合には血管像が写った赤外光の像と可視光のカメラ像（肉眼像にほぼ同じ）が得られて、もし、可視光像と赤外光像が１台のカメラで取られていると、両画像は合っているため、そのまま重ね合わせ一体化され、見やすい表示像になる。このように、可視光カメラは必須とはいえないが、あると肉眼に近い像が取れ表示が見やすいという利点を与える。

画像取得器３０５で得られた画像は、画像加工器３０６で処理され、表示面を透視して施術部を目視することが可能な透視表示器３０７に表示される。この場合、画像加工器３０６において、その中の画像演算部３０９には、画像整合手段３１０と画像処理手段３１１があるが、画像整合手段３１０では必須の構成部であり、画像取得器３０５から得られた施術部の画像を透視表示器３０７に表示する場合に、施術者が透視表示器３０７を透視して施術部を見た肉眼像と一致させるために、像の位置、大きさ（縮尺）、向きを調整した画像を作成するか、又は、そのための補正を行う数値を決めて、画像メモリ３１２に記憶し、透視表示器３０７に表示するものである。画像整合手段３１０の動作の例として、施術部の赤外光像又は可視光像と透視表示器３０７を透視した肉眼像が合うようにしても良いが、前述したように施術部は腕のように輪郭が不明確なので、施術者にマウントした本血管可視化装置と施術部の間を通常の間隔にした状態で、施術部の上に明確な目印を一旦おいて、目印の画像と透視表示器３０７を透視した肉眼での目印の像を一致するように位置、大きさ（縮尺）、向きを調整し、その補正の数値を画像メモリ３１２の数値テーブルに保存して、通常は施術者が同じであれば、被施術者との間は同じ状態で使うことが多いので、常にこの数値を適用して補正することが出来る。この場合の補正数値入力は、距離とカメラ画像系の理論的計算から求めた規定値を入れてもよいが、外部から数値を調整可能なように調整入力３１３があると便利である。

画像整合手段３１０の整合において、数値テーブルにいれる数値について距離とカメラ画像系の理論的計算から求めた規定値を入れてもよいが、外部から数値を調整可能なように調整入力３１３があると便利であることを前述した。施術者の手が塞がっていることを考慮すると、調整入力３１３は、例えば、フットスイッチのように手を使わない構成が好ましい。上下左右の移動（位置）、縮尺（大きさ）、向き（傾斜角）を各スイッチと足踏の回数や時間に応じて基準マークの画像データが補正(例えば、右旋回スイッチを１回踏むと右回り１度回転など)され透視表示器３０７に表示され、最終補正値は数値テーブルに記憶され、特に補正入力を動かさず固定した場合は、毎回この同じデータが適用される。
又、施術者と施術部の距離が離れた場合には、カメラで取った像も肉眼像も小さくなるが、距離と像の大きさの間には一定の関係があるため、実際に調整して補正数値を求め、数値テーブルに入れてしまうと、このデータを参照して自動的に補正をすることも可能となる。

画像処理手段３１１は、一般に言われる画像処理手段であって必須ではないがあると便利である。画像取得器３０５で取得した画像の血管像を見やすくするため、コントラストを上げる処理をしたり、カラー化（赤外光像のそのものは白黒なので、例えば血管像には赤の色にするなど）したり、血管像の輪郭を明確にするため輪郭強調処理（輪郭のみ色が濃くなるとか黒にする）を行ったり、透視表示器３０７を通じて見た肉眼像と表示像の明暗を見やすく調整する、或いは、取得像を透明表示するなどの処理が可能であり、多くの市販のプログラムが利用できる。

制御器３０８は、照明光源３０４、画像取得器３０５、画像加工器３０６、透視表示器３０７の動作をコントロールするもので、通常は、コンピュータと処理プログラム、スイッチ、電源などを有している。

透視表示器３０７は、画像を表示する部分と表示面の裏側にある物体の反射光を透過してくる透過窓部分が交互に表示平面に分布して存在することで、表示面の表側から見たときに表示画像と裏面の透視像が重複して見えるようにしたものが適用できる。この例として、適当な透過窓は常に光が透過するようにし、周りに表示部を配置し、これが交互に繰り返しあるもので、例えば液晶表示器を使うと、液晶の電極が透過窓の邪魔にならないように配置又はＩＴＯ膜のような導電性透明膜を使って透過窓上を這わせた構成のものが利用できる。又、液晶の表示ピクセルを表示部と透過窓部に分け、これを交互に配置された部分で構成する。表示部は画像を表示する。透過窓部は、裏側の光が通過するように液晶ピクセルが常時完全開の状態である。
このようにして透過型（この場合はバックライトが透過するという意味で本願の透過窓（裏側が透視できるという意味）とは意味が違います）液晶を使うと透視表示器３０７が実現できる。又、データ部と白部を映像のフレーム毎或いは複数のフレーム毎に交換する（例えば、通常の画像放送の３０フレーム／秒では、１秒間に１５フレームづつ、１フレームごとにデータ部と白部が交換された画面が交互にできるので、目には表示面全面に表示と肉眼の透視像が重なって見えることになる。以上のことは、図１において既に説明した通りである。

本発明による透過表示器を使用した透視画像観測装置である溶接防護めがね装置の一実施例を示す図である。４−Ａにおいて、溶接の作業者は、溶接棒４０１を溶接すべき作業部に当てて溶接を行なう。ここでは、溶接防護めがね装置４００を頭部に被っているが、これは、溶接部の画像をとる画像取得器４０２（カメラ）と得られた画像を加工し、画像を記憶する画像メモリを含む画像加工器４０３とその結果を表示する透過表示器４０４と、肉眼で透過表示器４０４を透視するときに溶接時の目に有害な光を除去するフィルタ４０５と火の粉が当たることを防ぐマスク４０６を有している。この溶接防護めがね装置の構成のブロック４−Ｂに示す。画像取得器４０２と画像加工器４０３と透過表示器４０４とこれらを制御する制御器４０７と、透過表示器４０４の前にフィルタ４０５を有している。動作は、上に書いた通りである。画像加工器４０３とフィルタ４０５の機能を追記する。
画像加工器４０３では、実際の溶接画像は、極めて強度の大きな閃光とその中に埋もれた溶接部の画像からの光が一緒に画像取得器４０２に入ってくる。この光には、紫外線が多量に含まれるので、紫外線カットのフィルタを画像取得器４０２の前とフィルタ４０５として入れる。更に、可視光線の強度も極めて大きいので、可視光での強度を抑えるフィルタを同じく用いるか、画像加工器４０３の中で強度の圧縮を行なって、人間の目の感度の範囲に入るようにして表示する。表示画像は、全ての画像をそのまま表示する必要は無く、溶接に必要な性格の画像であればよい。従って、閃光のような明るい画像は必ずしも表示する必要は無い。肉眼からは、透過表示器４０４とフィルタ４０５を介して溶接部が観測できる。

以上のように本発明に係る透過表示器は、画像取得器で取得した画像と透過表示器を透視して見た肉眼像を重ねて観測可能な透視画像観測装置を実現できるので、このような要求の応用において産業上利用性が極めて大きい。

１０１ 表示面
１０２ 拡大表示面
１０３ 画像表示部
１０４ 光透過窓部
１０５ 画像メモリ
１０６Ａ、１０６Ｂ 画像メモリ拡大部
１０７ 画像データ部
１０８ 透過データ部
１１０ 光透過表示素子集積装置
１１１ 画像加工器
１１２ 制御器
２０１ 液晶アレイ基板
２０２Ａ、２０２Ｂ 導電性透明電極
２０３ カラーフィルタ基板
２０４ 偏光板
２０５ 透明導光板
３００ 血管可視化装置
３０１ 施術部
３０２ 施術具
３０３ 頭部
３０４ 照明光源
３０５ 画像取得器
３０６ 画像加工器
３０７ 透視表示器
３０８、４０７ 制御器
３０９ 画像演算部
３１０ 画像整合手段
３１１ 画像処理手段
３１２ 画像メモリ
３１３ 調整入力
３１７ 外部表示モニタ
４００ 溶接防護めがね装置
４０１ 溶接棒
４０２ 画像取得器
４０３ 画像加工器
４０４ 透過表示器
４０５ フィルタ
４０６ マスク

Claims (4)

1. 表示器の表示面に画像表示部と裏面からの光を透過する光透過窓部を交互に配置したことで、画像データを表示した表示画像と前記光透過窓部を透過してくる表示面の裏側からくる透過光による像を重ねて見ることを可能としたことを特徴とする透過表示器。
2. 前記表示画像と前記光透過窓部は、これら自体を前記表示器の前記表示面に物理的に配置するか、又は、透過型表示器とこれに表示する画像データを記憶する画像メモリを有し、前記画像メモリに前記表示画像を表示させるためのデータである画像データ部と透過部になるデータを入れておく透過データ部とを画素又は複数の画素ごとに交互に配置することで前記表示面を実質的に前記画像表示部と前記光透過窓部にすることを特徴とする請求項１記載の透過表示器。
3. 前記画像メモリ上の前記画像データ部と前記透過データ部を画像表示の画面又は複数の画面ごとに入れ替えることを特徴とする請求項２記載の透過表示器。
4. 観測すべき被観測体の画像を取得する画像取得器とこれから取得された画像を表示するために処理を行なう画像加工器とその結果を表示するための表示器であって表示面を介してその裏側に存在する被観測体を肉眼で透視して観測が可能な透過表示器と、これらの動作を制御する制御器を有することで、被観測体の取得した画像の表示画像を前記肉眼での透視画像と重ねて観測することを可能とし、前記透過表示器は請求項１から請求項３のいずれかに記載の透過表示器であることを特徴とする透視画像観測装置。

Images