JP2007536953A - Apparatus for combining data from a stereoscopic video source with an additional digital imaging device - Google Patents

Apparatus for combining data from a stereoscopic video source with an additional digital imaging device Download PDF

Info

Publication number
JP2007536953A
JP2007536953A JP2007510236A JP2007510236A JP2007536953A JP 2007536953 A JP2007536953 A JP 2007536953A JP 2007510236 A JP2007510236 A JP 2007510236A JP 2007510236 A JP2007510236 A JP 2007510236A JP 2007536953 A JP2007536953 A JP 2007536953A
Authority
JP
Japan
Prior art keywords
stream
image
real time
input stream
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007510236A
Other languages
Japanese (ja)
Inventor
ベンドコウスキ，マイケル
カッツネルソン，ユード
Original Assignee
サージヴィジョン（２００６）リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サージヴィジョン（２００６）リミテッド filed Critical サージヴィジョン（２００６）リミテッド
Publication of JP2007536953A publication Critical patent/JP2007536953A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

【課題】ディジタル顕微鏡からのような、リアル・タイムの立体視覚情報を、多様な情報源からの追加の視覚情報と共に、同じディスプレイ上に融合またはその他の方法で調和して視認することを可能にするシステムを提供する。
【解決手段】観察および操作作業の間、ディジタル顕微鏡または光学顕微鏡用アドオン・カメラのような、ディジタル源（１０８）が取り入れる第１リアル・タイム入力ストリームを、第２画像ストリームとリアル・タイムで組み合わせる装置および方法。組み合わせたストリームをリアル・タイムで変換し、種々のフォーマットおよび表示選択肢で、種々のディスプレイ・デバイス（１３６、１４４および１５２）上に提示する。
【選択図】図１Real-time stereoscopic visual information, such as from a digital microscope, together with additional visual information from a variety of information sources can be fused or otherwise harmonized on the same display Provide a system to do.
A first real time input stream taken by a digital source (108), such as a digital microscope or an add-on camera for an optical microscope, is combined with a second image stream in real time during observation and manipulation operations. Apparatus and method. The combined stream is converted in real time and presented on various display devices (136, 144 and 152) in various formats and display options.
[Selection] Figure 1

Description

本発明は、一般的には、観察および操作作業中における動的撮像に関し、特に、外科ナビゲーション・システム(surgery navigation system)からの画像を、立体映像ディジタル顕微鏡のような電子撮像システムからの画像と組み合わせる装置に関する。   The present invention relates generally to dynamic imaging during observation and manipulation operations, and in particular, images from a surgical navigation system and images from an electronic imaging system such as a stereoscopic video digital microscope. It relates to a device to be combined.

外科一般、特に脳神経外科のような観察および操作作業を行うための環境では、現在様々な種類の撮像、取り込み、および提示(presentation)機器が装備されている。例えば、ディジタル顕微鏡のような光電取り込みツールは、リアル・タイムで倍率可変の高分解能立体画像を供給し、観察および操作作業を行っているか、またはそれに参加しているユーザの頭部に装着した専用ディスプレイ上に、取り込んだ画像を立体的に提示(present)する。別の描写選択肢では、ナビゲーション・システムの使用を伴う。ナビゲーション・システムは、表示すべき操作または観察対象の領域が分かっており、関連する領域の画像または画像のストリームを供給する。非限定的な一例では、ナビゲーション・システムは、通例、ワンド(wand)、ディジタル顕微鏡、内視鏡、患者の身体上における固定点等のような所定の物体の位置を追跡し、関連領域を描写する、予め取得してある立体映像情報を提示する。関連領域は、追跡される機器によって異なり、顕微鏡の位置ならびにその現在のズームおよび拡大パラメータによって決定され、ディジタル顕微鏡によって取り込まれた物体の一部や、操作している物体に取り付けられたマーカの領域等である。また、ユーザは、他の領域、例えば、ユーザに露出している表面の下にある物体を提示する立体映像情報を視認することに関心がある可能性もある。ナビゲーション・システムは、ＭＲＩまたはＣＴスキャンのような、予め取得してあるデータからの関連立体映像情報、ＵＳのような２Ｄ画像、ディジタルＸ線のような投影画像等を抽出し、ユーザが視認可能な画面上にそれを提示する。別の例では、内視鏡は、リアル・タイムの視認画像を、ナビゲーション・システムと同じ画面、または更に別の画面上に提示する。追加の視覚情報が、直接ＣＴまたはＭＲＩのような医療用撮像デバイス、または画像アーカイブ等から到達し、更に別の画面上に提示することができる。   In general, environments for performing observation and manipulation tasks, such as neurosurgery in general, are equipped with various types of imaging, capture and presentation equipment. For example, photoelectric capture tools such as digital microscopes provide high-resolution stereoscopic images with real-time variable magnification and are dedicated to the heads of users who are performing or participating in observation and manipulation tasks. The captured image is presented three-dimensionally on the display. Another depiction option involves the use of a navigation system. The navigation system knows the area to be displayed or the operation to be viewed and provides an image of the relevant area or a stream of images. In one non-limiting example, the navigation system typically tracks the position of a given object, such as a wand, digital microscope, endoscope, fixed point on the patient's body, etc., and depicts the relevant area. The previously acquired stereoscopic video information is presented. The relevant area depends on the instrument being tracked and is determined by the position of the microscope and its current zoom and magnification parameters, the part of the object captured by the digital microscope and the area of the marker attached to the object being manipulated Etc. Also, the user may be interested in viewing stereoscopic video information that presents objects in other areas, for example, objects below the surface exposed to the user. The navigation system extracts relevant 3D image information from pre-acquired data such as MRI or CT scan, 2D images such as US, projection images such as digital X-rays, etc., and is visible to the user Present it on a nice screen. In another example, the endoscope presents a real-time visual image on the same screen as the navigation system or on another screen. Additional visual information can arrive directly from a medical imaging device such as CT or MRI, or an image archive, etc., and can be presented on yet another screen.

その成果は、ユーザが豊富な関連視覚情報を有し、この情報の一部は動作に先だって取得されしたがって一定であるものの、他の部分はリアル・タイムで変化しつつあり、手術の間様々な所望の光景(view)および情報が得られることである。したがって、入手可能な情報はむしろ分散される。例えば、ユーザが視認する表面の下にある物体を描画する立体映像データを、ナビゲーション・システムによって検索して視認するためには、ユーザは以下のことを行う必要がある。彼または彼女の頭部を光学顕微鏡から起こし、あるいは、ＨＭＤが用いられている場合、ディジタル顕微鏡で動作している領域を視認するために用いている頭部装着ディスプレイ（ＨＭＤ）を取り外して彼または彼女の頭部を起こし、彼または彼女の目をズームおよび光条件に再調節し、提示されている映像を試験し、再度頭部を光学顕微鏡まで下げ、またはＨＭＤを装着し、光学顕微鏡またはＨＭＤの光およびズーム条件を再調節する。前述の一連の行動全体を通じて、ユーザは、彼または彼女が保持しているツールで患者を傷つけていないことを確認することも必要である。彼または彼女の手を持ち上げ次いで再度それらを下げることによって、患者を傷つける可能性が最も高いからである。全体的に見て、手術の間ＨＭＤ以外の情報源を見ることにより、手術の経緯に対する注意力が非常に散漫となり、したがってこれらの情報源を最適に使用できていないことを暗示している。   The result is that the user has a wealth of relevant visual information, some of which is acquired prior to operation and is therefore constant, while others are changing in real time and vary during surgery. The desired view and information can be obtained. Thus, the available information is rather distributed. For example, in order to search and view stereoscopic video data for drawing an object under the surface visually recognized by the user by the navigation system, the user needs to do the following. Raise his or her head from the optical microscope or, if an HMD is used, remove the head-mounted display (HMD) used to view the area operating in the digital microscope Raise her head, readjust his or her eyes to zoom and light conditions, test the image being presented, lower the head back to the light microscope, or wear an HMD, light microscope or HMD Reset the light and zoom conditions. Throughout the foregoing sequence of actions, the user also needs to make sure that he or she is not hurting the patient with the tools he or she is holding. This is because it is most likely to hurt the patient by lifting his or her hands and then lowering them again. Overall, looking at information sources other than the HMD during surgery makes the attention to the history of the surgery very distracting, and therefore implies that these sources cannot be used optimally.

したがって、当技術分野では、脳神経外科医のような観察および操作作業を行う人が、ディジタル顕微鏡からのような、リアル・タイムの立体視覚情報を、多様な情報源からの追加の視覚情報と共に、同じディスプレイ上に融合またはその他の方法で調和して視認できるようにするシステムが求められている。   Thus, in the art, a person performing observation and manipulation tasks, such as a neurosurgeon, can use real-time stereoscopic visual information, such as from a digital microscope, along with additional visual information from a variety of sources. There is a need for a system that allows fusion or otherwise harmonized viewing on a display.

本発明は、立体映像ディジタル源からのデータを、追加のディジタル撮像デバイスと組み合わせ、組み合わせたデータを提示する方法および装置に関する。本発明の一形態は、１つ以上の組み合わせストリームをリアル・タイムで生成し、観察および操作作業における提示のために１つ以上の組み合わせストリームを変換する方法に関し、１つ以上の組み合わせストリームは、観察および操作作業中に１つ以上のディジタル源によって取り入れた１つ以上の第１リアル・タイム入力画像ストリームを、１つ以上の第２画像ストリームとを組み合わせたものである。本方法は、１つ以上のディジタル源から１つ以上の第１リアル・タイム入力ストリームを受信するステップと、１つ以上のデコードした第１リアル・タイム入力ストリームを生成するために第１リアル・タイム入力ストリームをデコードするステップと、１つ以上のディジタル化第１リアル・タイム入力ストリームを生成するために、１つ以上のデコードした第１リアル・タイム入力ストリームをディジタル化するステップと、１つ以上の第２入力ストリームを受信するステップと、１つ以上のデコードした第２入力ストリームを生成するために、１つ以上の第２入力ストリームをデコードするステップと、１つ以上の第２ディジタル化入力ストリームを生成するために、１つ以上のデコードした第２入力ストリームをディジタル化するステップと、ユーザから１つ以上の制御コマンドを受信するステップと、１つ以上のディジタル化第１リアル・タイム入力ストリームを、リアル・タイムでディインターレースするステップと、１つ以上の出力ストリームを生成するために、１つ以上のデコードした第１リアル・タイム入力ストリームからの１つ以上の画像を、１つ以上のデコードした第２入力ストリームと、リアル・タイムで組み合わせるステップと、１つ以上の出力ストリームを、リアル・タイムでエンコードするステップとを備えている。第１の１つ以上のリアル・タイム入力ストリーム、または１つ以上の組み合わせストリームは、立体画像を含むことができる。出力ストリームのエンコードは、Ｓ−ＶＧＡフォーマット・ストリームまたはＳ−ビデオ・フォーマット・ストリームを生成することができる。１つ以上の制御コマンドは、ＵＳＢフォーマットとすることができる。１つ以上の第１リアル・タイム入力ストリームは、ＲＧＢフォーマットとすることができる。１つ以上の第２入力ストリームは、Ｓ−ビデオ・フォーマット、またはＳ−ＶＧＡフォーマットとすることができる。１つ以上の１つの第１リアル・タイム入力ストリームは、１つ以上のディジタル源の左チャネルによって、または右チャネルによって供給することができる。本方法は、更に、１つ以上の制御コマンドにしたがって１つ以上の出力チャネルを生成するために、１つ以上の第１入力ストリームと１つ以上の第２入力ストリームとをルーティングするステップと、デコード、ディジタル化、ディインターレース、組み合わせ、およびエンコードのステップを、出力ストリーム毎に別個に実行するステップとを備えることができる。ルーティングは、Ｓ−ビデオ信号およびＲＧＢ信号について別個に実行することができる。１つ以上の出力ストリームを、主頭部装着ディスプレイまたは回転式頭部装着ディスプレイの左チャネルまたは右チャネルとして提示することができる。１つ以上の出力ストリームは、Ｓ−ビデオ・フォーマットとすることができる。１つ以上の出力ストリームを記録のために用いることができる。組み合わせるステップは、１つ以上のデコードした第１リアル・タイム入力ストリームからの１つ以上の画像の１つ以上の部分を、１つ以上のデコードした第２入力ストリームからの１つ以上の画像の１つ以上の部分と置き換えることができる。組み合わせるステップは、１つ以上のデコードした第２入力ストリームからの１つ以上の画像の１つ以上の部分を、１つ以上のデコードした第１リアル・タイム入力ストリームからの１つ以上の画像の１つ以上の部分と置き換えることができる。組み合わせるステップは、１つ以上の組み合わせ画像を作成することができ、前記組み合わせ画像は、１つ以上のデコードした第１入力ストリームからの１つ以上の第１画像と、１つ以上のデコードした第２入力ストリームからの１つ以上の第２画像との合成から成り、１つ以上の第１画像および１つ以上の第２画像を、正の透過度で提示する。前述の方法は、更に、１つ以上の回転ストリームを生成するために、１つ以上の第１デコード・リアル・タイム入力ストリームを回転するステップと、１つ以上の回転ストリームを、Ｓ−ビデオ・フォーマットにエンコードするステップと、１つ以上の回転ストリームと、１つ以上の組み合わせストリームとをルーティングするステップと、１つ以上の主Ｓ−ビデオ出力ストリームを生成するために、ルーティングステップの出力をエンコードするステップとを備えることができる。   The present invention relates to a method and apparatus for combining data from a stereoscopic video digital source with an additional digital imaging device and presenting the combined data. One aspect of the invention relates to a method for generating one or more combination streams in real time and transforming the one or more combination streams for presentation in observation and manipulation tasks, the one or more combination streams comprising: One or more first real-time input image streams taken by one or more digital sources during viewing and manipulation operations combined with one or more second image streams. The method includes receiving one or more first real time input streams from one or more digital sources and generating a first real time input stream to generate one or more decoded first real time input streams. Decoding the time input stream; digitizing the one or more decoded first real time input streams to generate one or more digitized first real time input streams; Receiving the second input stream, decoding one or more second input streams to generate one or more decoded second input streams, and one or more second digitizations. A step of digitizing one or more decoded second input streams to generate an input stream. Receiving one or more control commands from the user, deinterlacing one or more digitized first real time input streams in real time, and generating one or more output streams Combining one or more images from one or more decoded first real time input streams with one or more decoded second input streams in real time, and Encoding the output stream in real time. The first one or more real-time input streams, or one or more combination streams may include a stereoscopic image. The encoding of the output stream can generate an S-VGA format stream or an S-video format stream. The one or more control commands can be in USB format. The one or more first real time input streams may be in RGB format. The one or more second input streams can be in S-video format or S-VGA format. One or more first real time input streams can be provided by the left channel of one or more digital sources or by the right channel. The method further includes routing one or more first input streams and one or more second input streams to generate one or more output channels in accordance with the one or more control commands; The steps of decoding, digitizing, deinterlacing, combining, and encoding may be performed separately for each output stream. Routing can be performed separately for S-video and RGB signals. One or more output streams can be presented as the left or right channel of a main head mounted display or a rotary head mounted display. The one or more output streams can be in S-video format. One or more output streams can be used for recording. The combining step comprises the step of combining one or more portions of one or more images from one or more decoded first real time input streams with one or more images from one or more decoded second input streams. It can be replaced with one or more parts. The step of combining comprises one or more portions of one or more images from one or more decoded second input streams of one or more images from one or more decoded first real time input streams. It can be replaced with one or more parts. The combining step can create one or more combined images, wherein the combined image includes one or more first images from one or more decoded first input streams and one or more decoded first images. Consists of one or more second images from two input streams and presents one or more first images and one or more second images with positive transparency. The method further includes rotating one or more first decoded real time input streams to generate one or more rotation streams, and one or more rotation streams into S-video Encoding to format, routing one or more rotated streams and one or more combined streams, and encoding the output of the routing step to generate one or more main S-video output streams The step of performing.

開示する発明の別の形態は、１つ以上の組み合わせストリームをリアル・タイムで生成し、観察および操作作業における提示のために１つ以上の組み合わせストリームを変換する装置に関し、前記１つ以上の組み合わせストリームは、観察および操作作業中に１つ以上のディジタル源によって取り入れた１つ以上の第１リアル・タイム入力画像ストリームを、１つ以上の第２画像ストリームとを組み合わせたものである。本装置は、１つ以上の第１および１つ以上の第２入力ストリームと、１つ以上の組み合わせストリームとを、１つ以上のユーザのコマンドにしたがってルーティングする制御コンポーネントと、１つ以上のユーザのコマンドおよびデータを、本装置のコンポーネント間で転送するローカル・バスと、１つ以上のチャネル処理コンポーネントとを備えており、１つ以上のチャネル処理コンポーネントは、１つ以上の第１デコード入力ストリームを生成する第１デコーダと、１つ以上の第１デコード入力ストリームを変換する第１アナログ／ディジタル変換器と、１つ以上の第２デコード入力ストリームを生成する第２デコーダと、１つ以上の第２デコード入力ストリームを変換する第２アナログ／ディジタル変換器と、第１入力ストリームをリアル・タイムでディインターリーブするディインターレーサ・コンポーネントと、第１デコード入力ストリームを１つ以上の第２デコード入力ストリームと組み合わせることによって、１つ以上の組み合わせストリームを生成する組み合わせコンポーネントと、１つ以上の組み合わせストリームをリアル・タイムでエンコードするエンコーダとを備えている。１つ以上の第１リアル・タイム入力ストリーム、または１つ以上の組み合わせストリームは、立体画像を含むことができる。１つ以上のディジタル源は、ディジタル顕微鏡、または光学顕微鏡上のアドオン・カメラとすることができる。１つ以上のエンコーダは、Ｓ−ＶＧＡフォーマットのストリーム、またはＳ−ビデオ・フォーマットのストリームを生成することができる。１つ以上の第１リアル・タイム入力ストリームは、Ｓ−ビデオ・フォーマット、またはＲＧＢフォーマットとすることができる。１つ以上の第２入力ストリームは、Ｓ−ビデオ・フォーマット、またはＳ−ＶＧＡフォーマットとすることができる。１つ以上の第１リアル・タイム入力ストリームを、１つ以上のディジタル源の左チャネルまたは右チャネルによって供給することができる。本装置は、更に、制御コマンドにしたがって１つ以上の出力ストリームを生成するために、１つ以上の第１リアル・タイム入力ストリームと、１つ以上の第２入力ストリームをルーティングする、１つ以上のビデオ・マトリクスを備えることができる。１つ以上のビデオ・マトリクスは、１６×８クロス・ポイント・スイッチ、またはＲＧＢ８×８クロス・ポイント・スイッチとすることができる。１つ以上の出力ストリームは、主要頭部装着ディスプレイまたは回転型頭部装着ディスプレイの左チャネルまたは右チャネルとして提示することができる。１つ以上の出力ストリームは、Ｓ−ビデオ・フォーマットとすることができる。１つ以上の出力ストリームを記録のために用いることができる。組み合わせるステップは、１つ以上のデコード第１リアル・タイム入力ストリームからの１つ以上の画像の１つ以上の部分を、１つ以上のデコード第２入力ストリームからの１つ以上の画像の１つ以上の部分と置き換えることができる。組み合わせるステップは、１つ以上のデコード第２ストリーム入力からの１つ以上の画像の１つ以上の部分を、１つ以上のデコード第１リアル・タイム入力ストリームからの１つ以上の画像の１つ以上の部分と置き換えることができる。組み合わせコンポーネントは、１つ以上の組み合わせ画像を出力し、１つ以上の組み合わせ画像は、１つ以上のデコードした第１入力ストリームからの１つ以上の第１画像と、１つ以上のデコードした第２入力ストリームからの１つ以上の第２画像との合成から成り、１つ以上の第１画像および１つ以上の第２画像を正の透過度で提示する。本装置は、更に、１つ以上の回転ストリームを生成するために、１つ以上の第１デコード・リアル・タイム入力ストリームを回転する回転コンポーネントと、１つ以上の回転ストリームをＳ−ビデオ・フォーマットにエンコードするエンコーダと、１つ以上の回転ストリームと、１つ以上の組み合わせストリームとをルーティングするルータと、１つ以上の主Ｓ−ビデオ出力フォーマットを生成するために、１つ以上の回転ストリームと、１つ以上の組み合わせストリームとをエンコードするエンコーダとを備えることができる。   Another aspect of the disclosed invention relates to an apparatus for generating one or more combination streams in real time and converting the one or more combination streams for presentation in observation and manipulation tasks, the one or more combinations A stream is a combination of one or more first real-time input image streams taken by one or more digital sources during observation and manipulation operations with one or more second image streams. The apparatus includes a control component that routes one or more first and one or more second input streams and one or more combined streams according to one or more user commands, and one or more users. A local bus for transferring the commands and data between the components of the apparatus and one or more channel processing components, the one or more channel processing components comprising one or more first decoded input streams A first decoder that generates one or more first decoded input streams, a second decoder that generates one or more second decoded input streams, and one or more A second analog / digital converter for converting the second decoded input stream; A deinterlacer component that de-interleaves at a time, a combination component that generates one or more combination streams by combining the first decode input stream with one or more second decode input streams, and one or more And an encoder that encodes the combined stream in real time. One or more first real time input streams, or one or more combination streams, may include a stereoscopic image. The one or more digital sources can be a digital microscope or an add-on camera on an optical microscope. One or more encoders may generate a stream in S-VGA format or a stream in S-video format. The one or more first real time input streams may be in S-video format or RGB format. The one or more second input streams can be in S-video format or S-VGA format. One or more first real time input streams may be provided by the left or right channel of one or more digital sources. The apparatus further routes one or more first real time input streams and one or more second input streams to generate one or more output streams according to the control command. Video matrix. The one or more video matrices can be 16 × 8 cross point switches or RGB 8 × 8 cross point switches. One or more output streams may be presented as the left channel or the right channel of the main head mounted display or rotating head mounted display. The one or more output streams can be in S-video format. One or more output streams can be used for recording. The combining step includes one or more portions of one or more images from one or more decoded first real time input streams and one of one or more images from one or more decoded second input streams. It can be replaced with the above part. The combining step combines one or more portions of one or more images from one or more decoded second stream inputs into one or more images from one or more decoded first real time input streams. It can be replaced with the above part. The combination component outputs one or more combination images, the one or more combination images including one or more first images from one or more decoded first input streams and one or more decoded first images. Composed of combining with one or more second images from two input streams, presenting one or more first images and one or more second images with positive transparency. The apparatus further includes a rotating component that rotates the one or more first decoded real time input streams to generate the one or more rotating streams, and the one or more rotating streams into an S-video format. An encoder that encodes to one or more, a router that routes one or more rotated streams, and one or more combined streams; and one or more rotated streams to generate one or more primary S-video output formats; An encoder that encodes one or more combined streams may be provided.

１．本発明の更に別の形態は、観察および操作作業の間、リアル・タイムのオフライン視覚情報を取り込んで提示する装置に関し、この装置は、１つ以上のリアル・タイム画像ストリームを供給する１つ以上のディジタル源と、１つ以上の画像ストリームを供給する１つ以上の追加の画像源と、１つ以上のリアル・タイム画像源を、１つ以上の追加の画像源が供給する１つ以上の画像ストリームと組み合わせることによって、１つ以上の組み合わせストリームを生成するビデオ・インターフェース・ユニットと、１つ以上の第１頭部装着ディスプレイ・デバイスと、ユーザ入力と１つ以上のコマンドとを受信し、前記入力および１つ以上のコマンドをビデオ・インターフェース・ユニットに転送するシステム管理デバイスとを備えている。１つ以上のディジタル源は、ディジタル顕微鏡、または光学顕微鏡上のアドオン・カメラとすることができる。本装置は、更に、Ｓ−ビデオ・フォーマットのストリームを表示するディスプレイ・デバイス、またはＳ−ビデオ・フォーマとのストリームを記録する記録デバイスを備えることができる。本装置は、更に、１つ以上の組み合わせストリームを、第１頭部装着ディスプレイのように表示する、第２頭部装着ディスプレイ・デバイスを備えることができ、各画像を既定の角度だけ回転させる。１つ以上の追加画像源は、ナビゲーションおよび視覚化システムである。１つ以上の追加の画像源は、ＣＴスキャナ、またはＭＲＵスキャナ、映像アーカイブとすることができる。   1. Yet another aspect of the invention relates to an apparatus for capturing and presenting real-time offline visual information during viewing and manipulation tasks, the apparatus providing one or more providing one or more real-time image streams. One or more additional image sources providing one or more image streams, and one or more additional image sources providing one or more real-time image sources. Receiving a video interface unit that generates one or more combined streams by combining with an image stream, one or more first head mounted display devices, user input and one or more commands; A system management device for transferring the input and one or more commands to the video interface unit. The one or more digital sources can be a digital microscope or an add-on camera on an optical microscope. The apparatus may further comprise a display device for displaying a stream in S-video format or a recording device for recording a stream with S-video format. The apparatus may further comprise a second head mounted display device that displays the one or more combined streams as the first head mounted display, rotating each image by a predetermined angle. One or more additional image sources are navigation and visualization systems. The one or more additional image sources can be a CT scanner, or MRU scanner, video archive.

本発明の一層深い理解および認識が、図面と関連付けた、以下の詳細な説明から得られよう。   A better understanding and appreciation of the present invention will be obtained from the following detailed description taken in conjunction with the drawings.

外科一般、そして特に脳神経外科のような、観察および操作作業の間に種々の情報源からのリアル・タイム関連情報を１つのディスプレイ上に提示する装置および方法。本装置は、ディジタル顕微鏡または従来の顕微鏡に追加するアドオン・システム、あるいはその他のいずれかの立体ビデオ画像源というような、ディジタル源から取り入れたリアル・タイム画像を、医療用スキャナによる動作の前に取得しナビゲーション・システムによって検索した立体映像データの視覚的提示(visual presentation)、あるいはアーカイブから検索した画像と組み合わせて提示する。提示される画像は相補的である、即ち、同一領域または関連領域を描画する。例えば、ディジタル顕微鏡は、外科医に露出した表面を示すが、ナビゲーション・システムは、外科医が見ることができない、表面下にある物体を示すことができる。また、本装置は、外科医が物体を除去することによって変化した表面の更新モデルを構築し、新たに作成された表面と一致する立体情報を検索する。開示する発明の別の形態は、提示画像の色方式の変更に関する。現在、光学顕微鏡またはディジタル顕微鏡によって取り込まれる画像は、取り込まれたままの色で提示されている。しかしながら、ある種の腫瘍は、腫瘍の種類に特定した色方式を用いると、それらの環境から一層良く区別することができる。一旦外科医が腫瘍の種類を認識したなら、正しい色方式を用い、ディジタル画像に適用することができる。これによって、外科医が腫瘍を周囲の組織から区別するのに役立つように腫瘍を提示する。   Apparatus and method for presenting real-time related information from various sources on a single display during observation and manipulation tasks, such as surgery in general, and particularly neurosurgery. The device can add real-time images taken from digital sources, such as add-on systems to digital microscopes or conventional microscopes, or any other stereoscopic video image source, prior to operation by a medical scanner. 3D image data acquired and retrieved by the navigation system is presented visually or presented in combination with images retrieved from the archive. The presented images are complementary, i.e. draw the same or related areas. For example, while a digital microscope shows a surface exposed to the surgeon, a navigation system can show objects below the surface that the surgeon cannot see. The device also builds an updated model of the surface that has changed as the surgeon removes the object and searches for solid information that matches the newly created surface. Another embodiment of the disclosed invention relates to a change in the color system of a presented image. Currently, images captured by optical or digital microscopes are presented in the color as captured. However, certain tumors can be better distinguished from their environment using a color scheme specific to the tumor type. Once the surgeon has recognized the tumor type, the correct color scheme can be used and applied to the digital image. This presents the tumor to help the surgeon distinguish the tumor from the surrounding tissue.

これより図１を参照すると、提案する装置および関連する方法を実施する環境の一例が示されている。このシステムの中核は、ビデオ・インターフェース・ユニット（ＶＩＵ）１０４である。ユニット１０４は、種々の画像源から到達する画像を操作し、これらを種々の提示デバイスに送る。ＶＩＵ１０４は、種々の画像源からストリームおよび画像を受信し、これらを処理し組み合わせ、出力ストリームを作成する。ＶＩＵ１０４の入力は、以下のコンポーネントの１つ以上、即ち、ディジタル源１０８、好ましくはディジタル顕微鏡のカメラ・モジュール、または従来の顕微鏡に追加される２つのアドオン・カメラ、例えば、通信線１１２に沿って、Ｓ−ビデオまたはＲＧＢのような、ストリーミング・フォーマットで信号を送る、Surgivision社が製造するＩＯシステムから来る。ディジタル源１０８の出力は、ディジタル顕微鏡が取り込んだ物体のリアル・タイム画像のストリームから成る。本システムは、更に、通信線(communication lime)１２８に沿って、−ビデオ・フォーマットの信号も送る、内視鏡のような、リアル・タイム撮像ツール１２４も備えている。リアル・タイム撮像ツール１２４は、観察および操作作業を受ける物体のリアル・タイム画像も供給する。Medtronic社が製造するTreonのようなナビゲーション・システムまたはその他の視覚化システム１１６が、通信線１２０に沿ってＳ−ＶＧＡフォーマットの画像を送る。ナビゲーションまたは視覚化システム１１６によって供給された画像は、一般には、作業の前またはその最中に取り入れられ、通例数日から数秒前の画像である。ＶＩＵ１０４は、システム管理デバイスであるシステム・コンピュータ１６０から制御信号およびデータを受信する。加えて、システム・コンピュータ１６０は、ＶＩＵ１０４に、ＣＴまたはＭＲＩスキャナのようなオフライン撮像ツール１３３からの画像ファイル、およびアーカイブ１３２からの追加画像を転送する。非限定的な例では、ＵＳＢフォーマットのような、しかるべきプロトコルであればいずれであっても、データを受信する。制御信号は、非限定的な例では、どの画像源をユーザが使いたいかの指示、彼または彼女が種々の画像源の映像およびその他の関連パラメータを見たい様式を含む。映像アーカイブが提供する画像ファイル、および画像に関するグラフィック・エレメントのような追加の視覚情報は、然るべきフォーマットで転送する。   Referring now to FIG. 1, an example environment for implementing the proposed apparatus and related methods is shown. The core of this system is a video interface unit (VIU) 104. Unit 104 manipulates images coming from various image sources and sends them to various presentation devices. VIU 104 receives streams and images from various image sources and processes and combines them to create an output stream. The input of the VIU 104 can be along one or more of the following components: a digital source 108, preferably a digital microscope camera module, or two add-on cameras added to a conventional microscope, eg, communication line 112 Comes from Surgivision manufactured IO systems that send signals in streaming formats, such as S-video or RGB. The output of the digital source 108 consists of a stream of real time images of objects captured by the digital microscope. The system further comprises a real time imaging tool 124, such as an endoscope, that also sends a video format signal along a communication lime 128. The real time imaging tool 124 also provides a real time image of an object undergoing observation and manipulation operations. A navigation system such as Treon manufactured by Medtronic or other visualization system 116 sends images in S-VGA format along communication line 120. The images provided by the navigation or visualization system 116 are typically taken before or during work and are typically days to seconds old. The VIU 104 receives control signals and data from the system computer 160, which is a system management device. In addition, the system computer 160 transfers to the VIU 104 image files from an offline imaging tool 133 such as a CT or MRI scanner, and additional images from the archive 132. In a non-limiting example, data is received for any appropriate protocol, such as a USB format. The control signal includes, in a non-limiting example, an indication of which image source the user wants to use, the manner in which he or she wants to see the video and other related parameters of the various image sources. Image files provided by the video archive and additional visual information such as graphic elements about the images are transferred in the appropriate format.

ＶＩＵ１０４は、画像を１つ以上の種類の１つ以上のディスプレイに出力する。ディスプレイの一種は、例えば、Surgivision社が製造するCallistoである。これは、主席外科医に着装するデバイスであり、ディジタル顕微鏡で取り込んだ画像を、他の画像と融合または配合して表示することができる。別の種類のディスプレイに回転式ＨＭＤデバイス１３３があり、ディジタル顕微鏡に対して、手術を受ける人の逆側に立っている別のスタッフ・メンバが着装することができる。頭部装着ディスプレイ１３６および１４４は、Ｓ−ビデオ・フォーマットの画像ストリームを受信する。出力画像の更に別の宛先は、Philips社が製造するＤＶＤ−Ｒのような、記録／表示デバイス１５２である。記録／表示デバイスは、Ｓ−ＶＧＡフォーマットのストリームを受信する。システム・コンピュータ１６０は、どの画像源を提示すべきか、どの提示デバイスを使うべきか、そしてどの提示モードにするかについての入力をユーザから取り入れる。ユーザのコマンドは、しかるべきフォーマットでＶＩＵ１０４に転送する。   The VIU 104 outputs the image to one or more displays of one or more types. One type of display is, for example, Callisto manufactured by Surgivision. This is a device worn by the principal surgeon, and an image captured with a digital microscope can be fused or blended with other images for display. Another type of display is a rotating HMD device 133 that can be worn by another staff member standing on the opposite side of the person undergoing surgery to the digital microscope. Head mounted displays 136 and 144 receive an image stream in S-video format. Yet another destination for the output image is a recording / display device 152, such as a DVD-R manufactured by Philips. The recording / display device receives a stream in S-VGA format. The system computer 160 takes input from the user as to which image source to present, which presentation device to use, and which presentation mode to enter. User commands are transferred to the VIU 104 in the appropriate format.

典型的な非限定環境では、ＶＩＵ１０４は２組のストリームおよび画像を受信する。１つが各入力源の左（第１）チャネルからであり、１つが各入力源の右（第２）チャネルからである。出力デバイスによっては、ＶＩＵ１０４は２つのストリームを生成することもある。非限定的に、これらを左（第１）チャネルおよび右（第２）チャネルと呼ぶ。左出力チャネルの画像が第１入力チャネルの画像およびストリームの製作物である必要はない。双方の出力ストリームは、１つ以上の入力チャネルからの同一のまたは異なる視覚データを収容することができる。   In a typical non-limiting environment, VIU 104 receives two sets of streams and images. One is from the left (first) channel of each input source and one is from the right (second) channel of each input source. Depending on the output device, the VIU 104 may generate two streams. Without limitation, these are referred to as the left (first) channel and the right (second) channel. The left output channel image need not be a product of the first input channel image and stream. Both output streams can contain the same or different visual data from one or more input channels.

これより図２を参照すると、ＶＩＵ１０４の内部構造が示されている。ＶＩＵ１０４は、パネル・ボード１６４と、第１チャネル・ボード１６８と、第２チャネル・ボード１７２とを備えている。ローカル・バス１７３が３つのボードを接続する。パネル・ボード１６４は、ＵＳＢインターフェース・コンポーネントのような、インターフェース・コンポーネントを備えており、しかるべきフォーマットの入力を受信する。入力は、環境に対Ａする好ましい設定値に関する制御信号、アーカイブからの画像ファイル、および画像に関する追加情報を含む。画像情報は、規定の側にも規定のボードにも関係付けられていないので、本装置は、単一のパネル・ボードを備えている。典型的な非限定環境では、第１チャネル・ボードは、出力デバイスの第１チャネルのために出力を生成し、第２チャネル・ボードは、出力デバイスの第２チャネルのために出力を生成する。   Referring now to FIG. 2, the internal structure of the VIU 104 is shown. The VIU 104 includes a panel board 164, a first channel board 168, and a second channel board 172. A local bus 173 connects the three boards. Panel board 164 includes an interface component, such as a USB interface component, and receives input in the appropriate format. The input includes control signals regarding preferred settings for the environment, image files from the archive, and additional information regarding the images. Since the image information is not associated with either the defined side or the defined board, the apparatus comprises a single panel board. In a typical non-limiting environment, the first channel board generates an output for the first channel of the output device, and the second channel board generates an output for the second channel of the output device.

これより図３および図４を参照すると、第１および第２チャネル・ボードの内部構造が記述されている。図３の右側および図４の左側においてＡ、Ｂ、Ｃ、およびＤで印した点は、図３および図４間における接続点を示す。線４００は、線の上に示されている第１チャネル・ボードのコンポーネントを、線の下に示されている第２チャネル・ボードのコンポーネントから分離している。図３に見られるように、第２および第２チャネル・ボードは同一であるので、そのコンポーネントは互いの複製である。この複製は、以下で詳細に説明するビデオ・マトリクス２０８および２１６を除外する。これらは、両チャネルに共通であり、したがってこれらの各々の１つの実例のみをシステムでは用いる。   Referring now to FIGS. 3 and 4, the internal structure of the first and second channel boards is described. The points marked A, B, C, and D on the right side of FIG. 3 and the left side of FIG. 4 indicate connection points between FIG. 3 and FIG. Line 400 separates the components of the first channel board shown above the line from the components of the second channel board shown below the line. As can be seen in FIG. 3, since the second and second channel boards are identical, their components are replicas of each other. This duplication excludes the video matrices 208 and 216 described in detail below. These are common to both channels, so only one instance of each of these is used in the system.

これより図３および図４の上位部分を参照して、ＶＩＵの第１チャネル・ボードについて説明する。システムへの主１第１入力１７６は、ディジタル顕微鏡のカメラ・モジュールの第１チャネルから到達するリアル・タイム・ストリームである。主１第１入力１７６はＳ−ビデオ・フォーマットとなっている。補助１第１入力１８０は、任意選択肢で、Ｓ−ビデオ・フォーマットの別のリアル・タイム・ストリームを搬送する。非限定の例では、この補助１は、内視鏡のような、図１のリアル・タイム・ビューイング・ツール１２４によって生成する。リアル・タイム・ビューイング・ツールが立体である場合、補助第１入力１８０は第１ストリームを搬送して入力し、補助１第２入力２８０は第２ストリームを搬送して入力する。そうでない場合、補助１第１ １８０および補助１第２ ２８０は同じ信号を搬送する。補助２第１入力１８４は、Ｓ−ＶＧＡフォーマットの入力信号を導入する。この入力は、例えば、図１のナビゲーションまたは視覚化システムから来るか、あるいは図１のオフライン撮像ツール１３３から来る。Ｓ−ＶＧＡ信号は、ＶＧＡ−ＮＴＳＣ／Ｐａｌ変換器２００において、Ｓ−ビデオ・フォーマットへの変換を受ける。主２第１入力１８８は、ディジタル顕微鏡がＲＧＢ信号を出力する場合、ディジタル顕微鏡、または光学顕微鏡に追加されるアドオン・カメラからの第１チャネルを導入する。主１第１入力１７６、補助１第１入力、および補助２第１入力１８４は、対応する第２入力、即ち、主１第２入力２７６、補助１第２入力２８０、および補助２第２ ２８４と共に、信号１８９を第１ビデオ・マトリクス２０８に入力する。第１ビデオ・マトリクス２０８は、限定ではないが、１６×８クロス・ポイント・スイッチであることが好ましい。第１ビデオ・マトリクス２０８は、チャネル入力を、システム・コンピュータ１６０からの命令にしたがって、出力チャネルにルーティングする。第１ビデオ・マトリクス２０８は、本装置における画像およびストリーム源全ての第１チャネルおよび第２チャネル双方を受信するので、ユーザが相応しいと見なすのであればいずれの方法でも、これらを混合することができ、例えば、所望の画像源からのストリームの画像を選択し、第１チャネル入力の全てを第１チャネル出力に受け渡し、第２チャネル入力の全てを第２チャネル出力に受け渡す。別の例では、第１チャネル入力を双方の出力に受け渡したり、あるいはその他のいずれの組み合わせでもよい。当業者には、多数の画像源および２組以上の入力を組み合わせる可能性が分かるであろう。主２第１入力１８８および主２第２入力２８８は、第２ビデオ・マトリクス２１６によってルーティングされる、ＲＧＢフォーマットの信号を搬送する。第２ビデオ・マトリクス２１６は、限定ではないが、ＲＧＢ８×８クロス・ポイント・スイッチであることが好ましい。ＲＧＢ信号は、フォーマットが異なるために、第１ビデオ・マトリクス２０８によってではなく、第２ビデオ・マトリクス２１６によってルーティングする。第２ビデオ・マトリクス２０８と同様に、第２ビデオ・マトリクス２１６は、信号１８９を通じて受信するユーザの命令にしたがって、第１および第２ＲＧＢ信号を第１および第２出力にルーティングする。スイッチの全ての入力および全ての出力はアナログである。第１チャネル・ボード上では、第１ビデオ・マトリクス２０８は２つの信号を出力する。第１出力は、ディジタル顕微鏡からのデータを収容する、第１Ｓ−ビデオ信号２１３である。信号２１３には、ＮＴＳＣ／ＰＡＬデコード、アナログ／ディジタル（Ａ／Ｄ）変換、およびＹＵＶ４：２：２フォーマットへの圧縮が、主ＮＴＳＣ／ＰＡＬデコーダ２２０において行われ、主第１Ｓ−ビデオ信号２２１となる。第１ビデオ・マトリクス２０８の第２出力は、第１ｓ−ビデオ２ ２１４であり、これには、ＮＴＳＣ／ＰＡＬデコード、Ａ／Ｄ変換、およびＹＵＶ４：２：２フォーマットへの圧縮が、副ＮＴＳＣ／ＰＡＬデコーダ２２４において行われ、副第１ＹＵＶ４：２：２信号２３５となる。第２ビデオ・マトリクス２１６の出力は、代わりのディジタル顕微鏡の信号を収容する、ＲＧＢ第１入力２１５となる。   The VIU first channel board will now be described with reference to the upper portion of FIGS. The primary first input 176 to the system is a real time stream arriving from the first channel of the digital microscope camera module. Main 1 first input 176 is in S-video format. The auxiliary 1 first input 180 optionally carries another real time stream in S-video format. In a non-limiting example, this auxiliary 1 is generated by a real time viewing tool 124 of FIG. 1, such as an endoscope. When the real time viewing tool is a solid, the auxiliary first input 180 carries and inputs the first stream, and the auxiliary 1 second input 280 carries and inputs the second stream. Otherwise, auxiliary 1 first 180 and auxiliary 1 second 280 carry the same signal. The auxiliary 2 first input 184 introduces an input signal in S-VGA format. This input comes, for example, from the navigation or visualization system of FIG. 1 or from the offline imaging tool 133 of FIG. The S-VGA signal is converted into the S-video format in the VGA-NTSC / Pal converter 200. Main 2 first input 188 introduces a first channel from a digital microscope or an add-on camera that is added to the optical microscope when the digital microscope outputs RGB signals. Main 1 first input 176, auxiliary 1 first input, and auxiliary 2 first input 184 are corresponding second inputs, ie, main 1 second input 276, auxiliary 1 second input 280, and auxiliary 2 second 284. At the same time, the signal 189 is input to the first video matrix 208. The first video matrix 208 is preferably, but not limited to, a 16 × 8 cross point switch. The first video matrix 208 routes channel inputs to output channels in accordance with instructions from the system computer 160. The first video matrix 208 receives both the first and second channels of all image and stream sources in the device, so that they can be mixed in any way that the user deems appropriate. For example, select an image of a stream from a desired image source, pass all of the first channel inputs to the first channel output, and pass all of the second channel inputs to the second channel output. In another example, the first channel input may be passed to both outputs, or any other combination. One skilled in the art will recognize the possibility of combining multiple image sources and two or more sets of inputs. Main 2 first input 188 and main 2 second input 288 carry signals in RGB format routed by second video matrix 216. The second video matrix 216 is preferably, but not limited to, an RGB 8 × 8 cross point switch. The RGB signals are routed by the second video matrix 216 rather than by the first video matrix 208 because of the different formats. Similar to the second video matrix 208, the second video matrix 216 routes the first and second RGB signals to the first and second outputs according to user instructions received through the signal 189. All inputs and all outputs of the switch are analog. On the first channel board, the first video matrix 208 outputs two signals. The first output is a first S-video signal 213 that contains data from the digital microscope. The signal 213 is subjected to NTSC / PAL decoding, analog / digital (A / D) conversion, and compression to a YUV 4: 2: 2 format in the main NTSC / PAL decoder 220, and the main first S-video signal 221. Become. The second output of the first video matrix 208 is the first s-video 2 214, which includes NTSC / PAL decoding, A / D conversion, and compression to YUV 4: 2: 2 format, sub-NTSC / This is performed in the PAL decoder 224 and becomes the sub-first YUV 4: 2: 2 signal 235. The output of the second video matrix 216 becomes the RGB first input 215 that contains the signal of the alternative digital microscope.

ＮＴＳＣ／ＰＡＬデコーダ２２０および２２４は、入力信号２１３および２１４のオーディオ、ビデオ、および同期成分をそれぞれ抽出し、Ａ／Ｄ変換器はアナログ・オーディオおよびビデオ信号をディジタルに変換する。第１ＲＧＢ入力２１５がある場合、ＲＧＢ Ａ／Ｄ変換器２２８においてＡ／Ｄ変換を受け、第１ＲＧＢ信号２３３を出力する。一般に、本装置は１台のディジタル顕微鏡を用い、ディジタル顕微鏡はＳ−ビデオまたはＲＧＢ信号のいずれかを出力するので、主ＮＴＳＣ／ＰＡＬデコーダ２２０の出力信号２２１およびＲＧＢ Ａ／Ｄ変換器２３３の出力信を、交互にスイッチ２２２によって切り換え、主第１ＲＧＢ信号２３４を生成する。主第１ＲＧＢ信号２３４は、イスラエル国、YokneamのOPLUS社が生産するMatisseのような、リアル・タイム・ディインターレーサ・ローテータ・チップ(real-time de-interlacer rotator chip)２３２に入力する。ディインターレーサ・ローテータ・チップ２３２は、信号をインターレース・フォーマットからプログレシブ（即ち、１ライン毎）フォーマットに変換し、ＵＳＢ信号によって画像を回転するように命令された場合にそれを行う。チップ２３２は、５０Ｈｚの回転第１プログレシブＲＧＢ信号２４８を出力する。これはエンコーダ２６４への入力となる。エンコーダ２６４の出力は、回転Ｓ−ＶＧＡ第１信号であり、回転ＨＭＤの第１チャネルに導かれる。ディインターレーサ・ローテータ・チップ２３２は、５０Ｈｚの主第１プログレシブＲＧＢ信号２４０も出力する。信号２４０は、非インターレースおよび非回転である。信号２４０は、副第１ＹＵＶ４：２：２信号２３５と共に、イスラエル国、YokneamのOPLUS社が製造するRembrandtのような、リアル・タイム・ピクチャ・イン・ピクチャ（ＰＩＰ）チップ即ち配合チップ２４４に送られる。チップ２４４は、ＵＳＢによって転送される命令にしたがって、信号２４０および２３５を組み合わせる。この組み合わせは、多数のフォーマットの１つである、ＰＩＰ提示を採用する。この場合、１つの信号の画像が、他の信号の画像の一部をなす矩形上に提示される。別の可能性は、同じディスプレイ・リアル・エステート上に双方のストリームを提示することであり、この場合、各ストリームの画像はある程度の透過性を有し、双方のストリームが同時に視認できるようにする。当業者には、双方のストリームからの画像を組み合わせる他の提示モードも同様に生成可能であるという事実が認められよう。チップ２４４の出力は、８５Ｈｚの出力第１プログレシブＲＧＢ信号２５２である。主第１プログレシブＲＧＢ信号２４０および出力第１プログレシブ信号２５２は、スイッチ２５６に入力され、スイッチ２５６は入力信号を、ＵＳＢ入力コマンドによって命令される通りに、出力にルーティングする。ディスプレイおよび記録デバイスに導かれる出力２６０は、Ｓ−ビデオ・フォーマットである必要があり、したがってエンコーダ２６９に導かれる。エンコーダ２６９はプログレシブ信号をインターレース信号に変換する。主Ｓ−ＶＧＡディスプレイに導かれる必要があるスイッチ２５６の出力２６１は、エンコーダ２６８においてエンコードされ、本装置の主ＨＭＤの第１チャネルに導かれる。当業者には、本システムの出力の、即ち、回転Ｓ−ＶＧＡ第１ ２７５、主Ｓ−ＶＧＡ第１ ２７７、および主Ｓ−ビデオ第１ ２７９いずれでも、提示デバイスが関連フォーマットを表示可能であれば、多数の提示デバイスに導くことができるという事実が認められよう。第２チャネル・ボードは、第１チャネル・ボードと同一である。これより図３および図４の下位部分を参照して、ＶＩＵの第２チャネル・ボードについて説明する。システムへの主１第２入力２７６は、ディジタル顕微鏡のカメラ・モジュールの第２チャネルから到達するリアル・タイム・ストリームである。主１第２入力２７６は、Ｓ−ビデオ・フォーマットである。補助１第２入力１８０は、任意選択肢で、Ｓ−ビデオ・フォーマットの別のリアル・タイム・ストリームを搬送する。非限定的な例では、この入力は、内視鏡のような、図１のリアル・タイム撮像ツール１２４によって生成する。リアル・タイム・ビューイング・ツールが立体である場合、第１入力１８０は第１ストリームを搬送して入力し、一方補助１第２入力２８０は第２ストリームを搬送して入力する。そうでない場合、補助１第１ １８０および補助１第２ ２８０は同じ信号を搬送する。補助２第２入力１８４は、Ｓ−ＶＧＡフォーマットの入力信号を導入する。この入力は、例えば、図１のナビゲーションまたは視覚化システム１１６、あるいは図１のオフライン撮像ツール１３３から来る。Ｓ−ＶＧＡ信号には、Ｓ−ビデオ・フォーマットへの変換が、ＶＧＡ−ＮＴＳＣ／Ｐａｌ変換器３００において行われる。主２第２入力２８８は、ディジタル顕微鏡の第２チャネルを導入する。この場合、ディジタル顕微鏡はＲＧＢ信号を出力する。前述のように、第１ビデオ・マトリクス２０８および第２ビデオ・マトリクス２１６は、多数の画像およびストリーム源の第１および第２チャネルをルーティングする。第２チャネル・ボード上では、第１ビデオ・マトリクス２０８は２つの信号を出力する。第１出力は、ディジタル顕微鏡からのデータを収容する、第２Ｓ−ビデオ信号３１３である。信号３１３には、主ＮＴＳＣ／ＰＡＬデコード、アナログ／ディジタル（Ａ／Ｄ）変換、およびＹＵＶ４：２：２への圧縮が、主ＮＴＳＣ／ＰＡＬデコーダ３２０において行われ、主第２Ｓ−ビデオ信号３２１となる。第１ビデオ・マトリクス２０８の第２出力は、ｓ−ビデオ２ ３１４となり、ＮＴＳＣ／ＰＡＬデコード、Ａ／Ｄ変換、およびＹＵＶ４：２：２フォーマットへの圧縮が、副ＮＴＳＣ／ＰＡＬデコーダ３２４において行われ、副第２ＹＵＶ４：２：２信号３３５となる。   NTSC / PAL decoders 220 and 224 extract the audio, video, and sync components of input signals 213 and 214, respectively, and an A / D converter converts the analog audio and video signals to digital. When there is a first RGB input 215, the RGB A / D converter 228 receives A / D conversion and outputs a first RGB signal 233. Generally, this apparatus uses a single digital microscope, and the digital microscope outputs either S-video or RGB signals, so that the output signal 221 of the main NTSC / PAL decoder 220 and the output of the RGB A / D converter 233 are used. Are alternately switched by the switch 222 to generate the main first RGB signal 234. The main first RGB signal 234 is input to a real-time de-interlacer rotator chip 232, such as Matisse produced by OPLUS, Yokneam, Israel. The deinterlacer rotator chip 232 converts the signal from an interlace format to a progressive (ie, line by line) format and does so when instructed to rotate the image by the USB signal. The chip 232 outputs a 50 Hz rotated first progressive RGB signal 248. This becomes an input to the encoder 264. The output of the encoder 264 is a rotating S-VGA first signal, which is guided to the first channel of the rotating HMD. The deinterlacer rotator chip 232 also outputs a 50 Hz main first progressive RGB signal 240. Signal 240 is non-interlaced and non-rotating. The signal 240 is sent along with the secondary YUV 4: 2: 2 signal 235 to a real-time picture-in-picture (PIP) chip or blending chip 244, such as Rembrandt, manufactured by OPLUS, Yokneam, Israel. . Chip 244 combines signals 240 and 235 according to instructions transferred by the USB. This combination employs PIP presentation, one of many formats. In this case, an image of one signal is presented on a rectangle that forms a part of an image of another signal. Another possibility is to present both streams on the same display real estate, where the images in each stream have some transparency so that both streams can be viewed simultaneously. . One skilled in the art will recognize the fact that other presentation modes that combine images from both streams can be generated as well. The output of chip 244 is an output first progressive RGB signal 252 of 85 Hz. The main first progressive RGB signal 240 and the output first progressive signal 252 are input to a switch 256 that routes the input signal to the output as commanded by the USB input command. The output 260 directed to the display and recording device must be in S-video format and is therefore directed to the encoder 269. The encoder 269 converts the progressive signal into an interlace signal. The output 261 of switch 256 that needs to be routed to the main S-VGA display is encoded in encoder 268 and routed to the first channel of the main HMD of the device. Those skilled in the art will be able to display the relevant format in any of the output of the system, ie, rotating S-VGA 1 275, primary S-VGA 1 277, and primary S-video 1 279. For example, the fact that it can lead to multiple presentation devices will be recognized. The second channel board is the same as the first channel board. The VIU second channel board will now be described with reference to the lower part of FIGS. The primary first secondary input 276 to the system is a real time stream arriving from the second channel of the digital microscope camera module. The primary first secondary input 276 is in S-video format. The auxiliary 1 second input 180 optionally carries another real time stream in S-video format. In a non-limiting example, this input is generated by a real time imaging tool 124 of FIG. 1, such as an endoscope. If the real time viewing tool is solid, the first input 180 carries and inputs the first stream, while the auxiliary 1 second input 280 carries and inputs the second stream. Otherwise, auxiliary 1 first 180 and auxiliary 1 second 280 carry the same signal. The auxiliary 2 second input 184 introduces an input signal in S-VGA format. This input comes from, for example, the navigation or visualization system 116 of FIG. 1 or the offline imaging tool 133 of FIG. The S-VGA signal is converted into the S-video format by the VGA-NTSC / Pal converter 300. The main 2 second input 288 introduces the second channel of the digital microscope. In this case, the digital microscope outputs RGB signals. As described above, the first video matrix 208 and the second video matrix 216 route the first and second channels of multiple image and stream sources. On the second channel board, the first video matrix 208 outputs two signals. The first output is a second S-video signal 313 that contains data from the digital microscope. The signal 313 is subjected to main NTSC / PAL decoding, analog / digital (A / D) conversion, and compression to YUV 4: 2: 2 in the main NTSC / PAL decoder 320, and the main second S-video signal 321. Become. The second output of the first video matrix 208 is s-video 2 314, NTSC / PAL decoding, A / D conversion, and compression to YUV 4: 2: 2 format is performed in the sub-NTSC / PAL decoder 324. Sub-second YUV 4: 2: 2 signal 335.

第２ビデオ・マトリクス２１６の出力は、代替ディジタル顕微鏡の信号を収容する、ＲＧＢ第２入力である。   The output of the second video matrix 216 is an RGB second input that contains the signal of the alternative digital microscope.

ＮＴＳＣ／ＰＡＬデコーダ３２０および３２４は、それぞれ、入力信号３１３および３１４のオーディオ、ビデオ、および同期成分を抽出し、Ａ／Ｄ変換は、アナログ・オーディオおよびビデオ信号をディジタルに変換する。第２ＲＧＢ入力３１５がある場合、ＲＧＢ Ａ／Ｄ変換器３２８においてＡ／Ｄ変換が行われ、第２ＲＧＢ信号３３３を出力する。一般に、本装置は１台のディジタル顕微鏡を用い、ディジタル顕微鏡はＳ−ビデオまたはＲＧＢ信号のいずれかを出力するので、主ＮＴＳＣ／ＰＡＬデコーダ３２１の出力信号およびＲＧＢ Ａ／Ｄ変換器３３３の出力信を、交互にスイッチ３２２によって切り換え、主第２ＲＧＢ信号３３４を生成する。主第２ＲＧＢ信号３３４は、イスラエル国、YokneamのOPLUS社が生産するMatisseのような、リアル・タイム・ディインターレーサ・ローテータ・チップ３３２に入力する。ディインターレーサ・ローテータ・チップ３３２は、信号をインターレース・フォーマットからプログレシブ（即ち、１ライン毎）フォーマットに変換し、ＵＳＢ信号によって画像を回転するように命令された場合にそれを行う。チップ３３２は、５０Ｈｚの回転第１プログレシブＲＧＢ信号３４８を出力する。これはエンコーダ３６４への入力となる。エンコーダ３６４の出力は、回転Ｓ−ＶＧＡ第２信号であり、回転ＨＭＤの第２チャネルに導かれる。ディインターレーサ・ローテータ・チップ３３２は、５０Ｈｚの主第１プログレシブＲＧＢ信号３４０も出力する。信号３４０は、非インターレースおよび非回転である。信号３４０は、副第１ＹＵＶ４：２：２信号３３５と共に、イスラエル国、YokneamのOPLUS社が製造するRembrandtのような、リアル・タイム・ピクチャ・イン・ピクチャ（ＰＩＰ）チップ即ち配合チップ３４４に送られる。チップ３４４は、ＵＳＢによって転送される命令にしたがって、信号３４０および３３５を組み合わせる。このストリームは、第１チャネルについて論じたのと同じ形態、即ち、ある透過性で配合するＰＩＰ、または他のいずれの形式でも採用することができる。チップ３４４の出力は、８５Ｈｚの出力第１プログレシブＲＧＢ信号３５２である。主第２プログレシブＲＧＢ信号３４０および出力第２プログレシブ信号３５２は、スイッチ３５６に入力され、スイッチ３５６は入力信号を、ＵＳＢ入力コマンドによって命令される通りに、出力にルーティングする。ディスプレイおよび記録デバイスに導かれる出力３６０は、Ｓ−ビデオ・フォーマットである必要があり、したがってエンコーダ３６９に導かれる。エンコーダ３６９はプログレシブ信号をインターレース信号に変換する。主Ｓ−ＶＧＡディスプレイに導かれる必要があるスイッチ３５６の出力３６１は、エンコーダ３６８においてエンコードされ、本装置の主ＨＭＤの第２チャネルに導かれる。   NTSC / PAL decoders 320 and 324 extract the audio, video, and sync components of input signals 313 and 314, respectively, and A / D conversion converts analog audio and video signals to digital. If there is a second RGB input 315, the RGB A / D converter 328 performs A / D conversion and outputs a second RGB signal 333. In general, this apparatus uses one digital microscope, and the digital microscope outputs either S-video or RGB signals. Therefore, the output signal of the main NTSC / PAL decoder 321 and the output signal of the RGB A / D converter 333 are output. Are alternately switched by the switch 322 to generate the main second RGB signal 334. The main second RGB signal 334 is input to a real time deinterlacer rotator chip 332, such as Matisse produced by OPLUS, Yokneam, Israel. The deinterlacer rotator chip 332 converts the signal from an interlace format to a progressive (ie, line by line) format and does so when instructed to rotate the image by a USB signal. The chip 332 outputs a 50 Hz rotating first progressive RGB signal 348. This becomes an input to the encoder 364. The output of the encoder 364 is a rotating S-VGA second signal, which is guided to the second channel of the rotating HMD. The deinterlacer rotator chip 332 also outputs a 50 Hz main first progressive RGB signal 340. Signal 340 is non-interlaced and non-rotating. The signal 340 is sent along with the secondary YUV 4: 2: 2 signal 335 to a real-time picture-in-picture (PIP) chip or blending chip 344, such as Rembrandt, manufactured by OPLUS, Yokneam, Israel. . Chip 344 combines signals 340 and 335 according to instructions transferred by the USB. This stream can take the same form as discussed for the first channel, ie, PIP blended with some permeability, or any other form. The output of chip 344 is an 85 Hz output first progressive RGB signal 352. The main second progressive RGB signal 340 and the output second progressive signal 352 are input to a switch 356 that routes the input signal to the output as commanded by the USB input command. The output 360 directed to the display and recording device must be in S-video format and is therefore directed to the encoder 369. The encoder 369 converts the progressive signal into an interlace signal. The output 361 of the switch 356 that needs to be routed to the main S-VGA display is encoded in the encoder 368 and routed to the second channel of the main HMD of the device.

以上紹介した装置および方法は、ディジタル顕微鏡が取り込む視野のリアル・タイム表示を行う。利用可能な表示デバイスは、Ｓ−ＶＧＡストリームを提示可能な立体映像ＨＭＤデバイス、別の視点から視野を見る人の便益のためにＳ−ＶＧＡストリームを提示可能な立体映像回転ＨＭＤデバイス、ｓ−ビデオ・フォーマットをサポートするコンピュータまたは記録デバイスである。取り込んだストリームは、そのまま、あるいはナビゲーションおよび視覚化システムのようなその他の画像源、ＭＲＩまたはＣＴスキャナのような医療撮像デバイス、画像アーカイブ等の画像またはストリームと組み合わせて提示される。組み合わせるプレゼンテーションの選択肢には、ピクチャ・イン・ピクチャ・プレゼンテーション、同じディスプレイ上に提示される異なる発生源の画像の配合等を含み、各映像は部分的に透過性、立体映像、非立体映像等であることが可能である。提示するストリームおよび画像の発生源、所望のディスプレイ、および表示モードは、ユーザによって決定され、しかるべきフォーマットで本システムに提示される。   The apparatus and method introduced above provide real time display of the field of view captured by the digital microscope. Available display devices include a stereoscopic video HMD device capable of presenting an S-VGA stream, a stereoscopic video rotating HMD device capable of presenting an S-VGA stream for the benefit of a person viewing the field of view from another viewpoint, and s-video. A computer or recording device that supports the format. The captured stream is presented as is or in combination with other image sources such as navigation and visualization systems, medical imaging devices such as MRI or CT scanners, images or streams such as image archives. Presentation options to combine include picture-in-picture presentations, blends of images from different sources presented on the same display, etc. Each video is partially transparent, stereoscopic, non-stereoscopic, etc. It is possible that there is. The source of the stream and image to be presented, the desired display, and the display mode are determined by the user and presented to the system in the appropriate format.

本発明は、異なるフォーマットのストリームおよび画像、ならびに更に別の形式のディスプレイとでも使用可能であることは、当業者には認められよう。   Those skilled in the art will appreciate that the present invention can be used with different formats of streams and images, as well as other types of displays.

本発明は、これまでに特定的に示しそして説明したものには限定されないことは、当業者には認められよう。逆に、本発明の範囲は、特許請求の範囲によってのみ規定されるものとする。   It will be appreciated by persons skilled in the art that the present invention is not limited to what has been particularly shown and described hereinabove. On the contrary, the scope of the present invention shall be defined only by the claims.

図１は、本発明を用いる環境例の模式図である。FIG. 1 is a schematic diagram of an example environment using the present invention. 図２は、ビデオ・インターフェース・ユニットの模式図である。FIG. 2 is a schematic diagram of the video interface unit. 図３は、第１および第２チャネル・ボードのブロック図を示す。FIG. 3 shows a block diagram of the first and second channel boards. 図４は、第１および第２チャネル・ボードのブロック図を示す。FIG. 4 shows a block diagram of the first and second channel boards.

Claims (60)

少なくとも１つの組み合わせストリームをリアル・タイムで生成し、観察および操作作業における提示のために前記少なくとも１つの組み合わせストリームをリアル・タイムで変換する方法であって、前記少なくとも１つの組み合わせストリームは、観察および操作作業中に少なくとも１つのディジタル源によって取り入れた少なくとも１つの第１リアル・タイム入力画像ストリームを、少なくとも１つの第２画像ストリームと組み合わせたものであり、前記方法は、
少なくとも１つのディジタル源から前記少なくとも１つの第１リアル・タイム入力ストリームを受信するステップと、
少なくとも１つのデコードした第１リアル・タイム入力ストリームを生成するために前記第１リアル・タイム入力ストリームをデコードするステップと、
少なくとも１つのディジタル化第１リアル・タイム入力ストリームを生成するために、前記少なくとも１つのデコードした第１リアル・タイム入力ストリームをディジタル化するステップと、
前記少なくとも１つの第２入力ストリームを受信するステップと、
少なくとも１つのデコードした第２入力ストリームを生成するために、前記少なくとも１つの第２入力ストリームをデコードするステップと、
少なくとも１つの第２ディジタル化入力ストリームを生成するために、前記少なくとも１つのデコードした第２入力ストリームをディジタル化するステップと、
ユーザから少なくとも１つの制御コマンドを受信するステップと、
前記少なくとも１つのディジタル化第１リアル・タイム入力ストリームを、リアル・タイムでディインターレースするステップと、
少なくとも１つの出力ストリームを生成するために、前記少なくとも１つのデコードした第１リアル・タイム入力ストリームからの少なくとも１つの画像を、前記少なくとも１つのデコードした第２入力ストリームの少なくとも１つの画像と、リアル・タイムで組み合わせるステップと、
前記少なくとも１つの出力ストリームを、リアル・タイムでエンコードするステップと、
を備えている、方法。 A method of generating at least one combination stream in real time and converting the at least one combination stream in real time for presentation in observation and manipulation tasks, the at least one combination stream comprising: Combining at least one first real-time input image stream taken by at least one digital source during an operation operation with at least one second image stream, the method comprising:
Receiving the at least one first real time input stream from at least one digital source;
Decoding the first real time input stream to generate at least one decoded first real time input stream;
Digitizing the at least one decoded first real time input stream to generate at least one digitized first real time input stream;
Receiving the at least one second input stream;
Decoding the at least one second input stream to generate at least one decoded second input stream;
Digitizing the at least one decoded second input stream to generate at least one second digitized input stream;
Receiving at least one control command from a user;
Deinterlacing the at least one digitized first real time input stream in real time;
At least one image from the at least one decoded first real-time input stream, at least one image from the at least one decoded second input stream, and real to generate at least one output stream;・ Combine steps in time,
Encoding the at least one output stream in real time;
A method. 請求項１記載の方法において、前記第１リアル・タイム入力ストリームは立体画像を含む、方法。   The method of claim 1, wherein the first real time input stream includes a stereoscopic image. 請求項１記載の方法において、前記少なくとも１つの組み合わせストリームは、立体画像を含む、方法。   The method of claim 1, wherein the at least one combined stream includes a stereoscopic image. 請求項１記載の方法において、前記少なくとも１つの出力ストリームのエンコードは、Ｓ−ＶＧＡフォーマット・ストリームを生成する、方法。   The method of claim 1, wherein the encoding of the at least one output stream produces an S-VGA format stream. 請求項１記載の方法において、前記少なくとも１つの出力ストリームのエンコードは、Ｓ−ビデオ・フォーマット・ストリームを生成する、方法。   The method of claim 1, wherein encoding the at least one output stream generates an S-video format stream. 請求項１記載の方法において、前記少なくとも１つの第１リアル・タイム入力ストリームは、Ｓ−ビデオ・フォーマットである、方法。   The method of claim 1, wherein the at least one first real time input stream is in S-video format. 請求項１記載の方法において、前記少なくとも１つの制御コマンドは、ＵＳＢフォーマットである、方法。   The method of claim 1, wherein the at least one control command is in USB format. 請求項１記載の方法において、前記少なくとも１つの第１リアル・タイム入力ストリームは、ＲＧＢフォーマットである、方法。   The method of claim 1, wherein the at least one first real time input stream is in RGB format. 請求項１記載の方法において、前記少なくとも１つの第２入力ストリームは、Ｓ−ビデオ・フォーマットである、方法。   The method of claim 1, wherein the at least one second input stream is in S-video format. 請求項１記載の方法において、前記少なくとも１つの第２入力ストリームは、Ｓ−ＶＧＡフォーマットである、方法。   The method of claim 1, wherein the at least one second input stream is in S-VGA format. 請求項１記載の方法において、前記少なくとも１つの第１リアル・タイム入力ストリームを、前記少なくとも１つのディジタル源の左チャネルによって供給する、方法。   The method of claim 1, wherein the at least one first real time input stream is provided by a left channel of the at least one digital source. 請求項１記載の方法において、前記少なくとも１つの第１リアル・タイム入力ストリームを、前記少なくとも１つのディジタル源の右チャネルによって供給する、方法。   The method of claim 1, wherein the at least one first real time input stream is provided by a right channel of the at least one digital source. 請求項１記載の方法であって、更に、
前記少なくとも１つの制御コマンドにしたがって少なくとも１つの出力チャネルを生成するために、前記少なくとも１つの第１入力ストリームと前記少なくとも１つの第２入力ストリームとをルーティングするステップと、
前記デコード、ディジタル化、ディインターレース、組み合わせ、およびエンコードのステップを、出力ストリーム毎に別個に実行するステップと、
を備えている、方法。 The method of claim 1, further comprising:
Routing the at least one first input stream and the at least one second input stream to generate at least one output channel according to the at least one control command;
Performing the decoding, digitizing, deinterlacing, combining, and encoding steps separately for each output stream;
A method. 請求項１３記載の方法において、前記ルーティングは、Ｓ−ビデオ信号およびＲＧＢ信号について別個に実行する、方法。   14. The method of claim 13, wherein the routing is performed separately for S-video signals and RGB signals. 請求項１３記載の方法において、前記少なくとも１つの出力ストリームを、主頭部装着ディスプレイの左チャネルとして提示する、方法。   14. The method of claim 13, wherein the at least one output stream is presented as a left channel of a main head mounted display. 請求項１３記載の方法において、前記少なくとも１つの出力ストリームを、主要頭部装着ディスプレイの右チャネルとして提示する、方法。   14. The method of claim 13, wherein the at least one output stream is presented as a right channel of a main head mounted display. 請求項１３記載の方法において、前記少なくとも１つの出力ストリームを、回転式頭部装着ディスプレイの左チャネルとして提示する、方法。   14. The method of claim 13, wherein the at least one output stream is presented as a left channel of a rotary head mounted display. 請求項１３記載の方法において、前記少なくとも１つの出力ストリームを、回転式頭部装着ディスプレイの右チャネルとして提示する、方法。   The method of claim 13, wherein the at least one output stream is presented as a right channel of a rotary head mounted display. 請求項１３記載の方法において、前記少なくとも１つの出力ストリームは、Ｓ−ビデオ・フォーマットである、方法。   The method of claim 13, wherein the at least one output stream is in S-video format. 請求項１３記載の方法において、前記少なくとも１つの出力ストリームを記録のために用いる、方法。   14. The method of claim 13, wherein the at least one output stream is used for recording. 請求項１記載の方法において、前記組み合わせるステップは、前記デコードした第１リアル・タイム入力ストリームからの少なくとも１つの画像の少なくとも１つの部分を、前記デコードした第２入力ストリームからの少なくとも１つの画像の少なくとも１つの部分と置き換える、方法。   2. The method of claim 1, wherein the combining step comprises at least one portion of at least one image from the decoded first real time input stream to at least one image from the decoded second input stream. A method of replacing at least one part. 請求項１記載の方法において、前記組み合わせるステップは、前記少なくとも１つのデコードした第２入力ストリームからの少なくとも１つの画像の少なくとも１つの部分を、前記少なくとも１つのデコードした第１リアル・タイム入力ストリームからの少なくとも１つの画像の少なくとも１つの部分と置き換える、方法。   2. The method of claim 1, wherein the combining step includes at least one portion of at least one image from the at least one decoded second input stream from the at least one decoded first real time input stream. Replacing at least one portion of at least one of the images. 請求項１記載の方法において、前記組み合わせるステップは、少なくとも１つの組み合わせ画像を作成し、該組み合わせ画像は、前記少なくとも１つのデコードした第１入力ストリームからの少なくとも１つの第１画像と、前記少なくとも１つのデコードした第２入力ストリームからの少なくとも１つの第２画像との合成を含み、前記少なくとも１つの第１画像および前記少なくとも１つの第２画像を、正の透過度で提示する、方法。   The method of claim 1, wherein the combining step creates at least one combined image, the combined image comprising at least one first image from the at least one decoded first input stream and the at least one. A method comprising combining with at least one second image from one decoded second input stream and presenting said at least one first image and said at least one second image with positive transparency. 請求項１記載の方法であって、更に、
少なくとも１つの回転ストリームを生成するために、前記少なくとも１つの第１デコード・リアル・タイム入力ストリームを回転するステップと、
前記少なくとも１つの回転ストリームを、Ｓ−ビデオ・フォーマットにエンコードするステップと、
前記少なくとも１つの回転ストリームと、前記少なくとも１つの組み合わせストリームとをルーティングするステップと、
少なくとも１つの主Ｓ−ビデオ出力ストリームを生成するために、前記ルーティングステップの出力をエンコードするステップと、
を備えている、方法。 The method of claim 1, further comprising:
Rotating the at least one first decoded real time input stream to generate at least one rotated stream;
Encoding the at least one rotating stream into an S-video format;
Routing the at least one rotating stream and the at least one combined stream;
Encoding the output of the routing step to generate at least one main S-video output stream;
A method. 少なくとも１つの組み合わせストリームをリアル・タイムで生成し、観察および操作作業における提示のために前記少なくとも１つの組み合わせストリームをリアル・タイムで変換する装置であって、前記少なくとも１つの組み合わせストリームは、観察および操作作業中に少なくとも１つのディジタル源によって取り入れた少なくとも１つの第１リアル・タイム入力画像ストリームを、少なくとも１つの第２画像ストリームと組み合わせたものであり、前記装置は、
前記少なくとも１つの第１および前記少なくとも１つの第２入力ストリームと、前記少なくとも１つの組み合わせストリームとを、少なくとも１つのユーザのコマンドにしたがってルーティングする制御コンポーネントと、
前記少なくとも１つのユーザのコマンドおよびデータを、前記装置のコンポーネント間で転送するローカル・バスと、
少なくとも１つのチャネル処理コンポーネントと、
を備えており、前記少なくとも１つのチャネル処理コンポーネントが、
少なくとも１つの第１デコード入力ストリームを生成する第１デコーダと、
前記少なくとも１つの第１デコード入力ストリームを変換する第１アナログ／ディジタル変換器と、
少なくとも１つの第２デコード入力ストリームを生成する第２デコーダと、
前記少なくとも１つの第２デコード入力ストリームを変換する第２アナログ／ディジタル変換器と、
前記第１入力ストリームをリアル・タイムでディインターリーブするディインターレーサ・コンポーネントと、
前記第１デコード入力ストリームを前記少なくとも１つの第２デコード入力ストリームと組み合わせることによって、前記少なくとも１つの組み合わせストリームを生成する組み合わせコンポーネントと、
前記少なくとも１つの組み合わせストリームをリアル・タイムでエンコードする少なくとも１つのエンコーダと、
を備えている、装置。 An apparatus for generating at least one combination stream in real time and converting the at least one combination stream in real time for presentation in observation and manipulation tasks, the at least one combination stream comprising: A combination of at least one first real-time input image stream taken by at least one digital source during an operation operation with at least one second image stream, the device comprising:
A control component for routing the at least one first and the at least one second input stream and the at least one combination stream according to at least one user command;
A local bus for transferring the at least one user command and data between components of the device;
At least one channel processing component;
Wherein the at least one channel processing component comprises:
A first decoder for generating at least one first decoded input stream;
A first analog / digital converter for converting the at least one first decoded input stream;
A second decoder for generating at least one second decoded input stream;
A second analog / digital converter for converting the at least one second decoded input stream;
A deinterlacer component for deinterleaving the first input stream in real time;
A combination component that generates the at least one combination stream by combining the first decode input stream with the at least one second decode input stream;
At least one encoder for encoding the at least one combined stream in real time;
Equipped with the device. 請求項２５記載の装置において、前記少なくとも１つの第１リアル・タイム入力ストリームは、立体画像を含む、装置。   26. The apparatus of claim 25, wherein the at least one first real time input stream includes a stereoscopic image. 請求項２５記載の装置において、前記少なくとも１つの組み合わせストリームは、立体画像を含む、装置。   26. The apparatus of claim 25, wherein the at least one combination stream includes a stereoscopic image. 請求項２５記載の装置において、前記少なくとも１つのディジタル源は、ディジタル顕微鏡である、装置。   26. The apparatus of claim 25, wherein the at least one digital source is a digital microscope. 請求項２５記載の装置において、前記少なくとも１つのディジタル源は、光学顕微鏡上のアドオン・カメラである、装置。   26. The apparatus of claim 25, wherein the at least one digital source is an add-on camera on an optical microscope. 請求項２５記載の装置において、前記少なくとも１つのエンコーダは、Ｓ−ＶＧＡフォーマットのストリームを生成する、装置。   26. The apparatus of claim 25, wherein the at least one encoder generates a stream in S-VGA format. 請求項２５記載の装置において、前記少なくとも１つのエンコーダは、Ｓ−ビデオ・フォーマットのストリームを生成する、装置。   26. The apparatus of claim 25, wherein the at least one encoder generates a stream in S-video format. 請求項２５記載の装置において、前記少なくとも１つの第１リアル・タイム入力ストリームは、Ｓ−ビデオ・フォーマットである、装置。   26. The apparatus of claim 25, wherein the at least one first real time input stream is in S-video format. 請求項２５記載の装置において、前記少なくとも１つの第１リアル・タイム入力ストリームは、ＲＧＢフォーマットである、装置。   26. The apparatus of claim 25, wherein the at least one first real time input stream is in RGB format. 請求項２５記載の装置において、前記少なくとも１つの第２入力ストリームは、Ｓ−ビデオ・フォーマットである、装置。   26. The apparatus of claim 25, wherein the at least one second input stream is in S-video format. 請求項２５記載の装置において、前記少なくとも１つの第２入力ストリームは、Ｓ−ＶＧＡフォーマットである、装置。   26. The apparatus of claim 25, wherein the at least one second input stream is in S-VGA format. 請求項２５記載の装置において、前記少なくとも１つの第１リアル・タイム入力ストリームを、前記少なくとも１つのディジタル源の左チャネルによって供給する、装置。   26. The apparatus of claim 25, wherein the at least one first real time input stream is provided by a left channel of the at least one digital source. 請求項２５記載の装置において、前記少なくとも１つの第１リアル・タイム入力ストリームを、前記少なくとも１つのディジタル源の右チャネルによって供給する、装置。   26. The apparatus of claim 25, wherein the at least one first real time input stream is provided by a right channel of the at least one digital source. 請求項２５記載の装置であって、更に、前記制御コマンドにしたがって少なくとも１つの出力ストリームを生成するために、前記少なくとも１つの第１リアル・タイム入力ストリームと、前記少なくとも１つの第２入力ストリームをルーティングする、少なくとも１つのビデオ・マトリクスを備えている、装置。   26. The apparatus of claim 25, further comprising: the at least one first real time input stream and the at least one second input stream to generate at least one output stream according to the control command. A device comprising at least one video matrix for routing. 請求項３８記載の装置において、前記ビデオ・マトリクスは、１６×８クロス・ポイント・スイッチである、装置。   40. The apparatus of claim 38, wherein the video matrix is a 16x8 cross point switch. 請求項３８記載の装置において、前記ビデオ・マトリクスは、ＲＧＢ８×８クロス・ポイント・スイッチである、装置。   40. The apparatus of claim 38, wherein the video matrix is an RGB 8x8 cross point switch. 請求項３８記載の装置において、前記少なくとも１つの出力ストリームを、主要頭部装着ディスプレイの左チャネルとして提示する、装置。   40. The apparatus of claim 38, wherein the at least one output stream is presented as a left channel of a main head mounted display. 請求項２５記載の装置において、前記少なくとも１つの出力ストリームを、主要頭部装着ディスプレイの右チャネルとして提示する、装置。   26. The apparatus of claim 25, wherein the at least one output stream is presented as a right channel of a main head mounted display. 請求項２５記載の装置において、前記少なくとも１つの出力ストリームを、回転型頭部装着ディスプレイの左チャネルとして提示する、装置。   26. The apparatus of claim 25, wherein the at least one output stream is presented as a left channel of a rotary head mounted display. 請求項２５記載の装置において、前記少なくとも１つの出力ストリームを、回転型頭部装着ディスプレイの右チャネルとして提示する、装置。   26. The apparatus of claim 25, wherein the at least one output stream is presented as a right channel of a rotary head mounted display. 請求項２５記載の装置において、前記少なくとも１つの出力ストリームは、Ｓ−ビデオ・フォーマットである、装置。   26. The apparatus of claim 25, wherein the at least one output stream is in S-video format. 請求項２５記載の装置において、前記少なくとも１つの出力ストリームを記録のために用いる、装置。   26. The apparatus of claim 25, wherein the at least one output stream is used for recording. 請求項２５記載の装置において、前記組み合わせるステップは、前記少なくとも１つのデコード第１リアル・タイム入力ストリームからの少なくとも１つの画像の少なくとも１つの部分を、前記少なくとも１つのデコード第２入力ストリームからの少なくとも１つの画像の少なくとも１つの部分と置き換える、装置。   26. The apparatus of claim 25, wherein the combining step comprises at least one portion of at least one image from the at least one decoded first real time input stream at least from the at least one decoded second input stream. A device that replaces at least one part of an image. 請求項２５記載の装置において、前記組み合わせコンポーネントは、前記少なくとも１つのデコード第２ストリーム入力からの少なくとも１つの画像の少なくとも１つの部分を、前記少なくとも１つのデコード第１リアル・タイム入力ストリームからの少なくとも１つの画像の少なくとも１つの部分と置き換える、装置。   26. The apparatus of claim 25, wherein the combination component receives at least one portion of at least one image from the at least one decoded second stream input at least from the at least one decoded first real time input stream. A device that replaces at least one part of an image. 請求項２５記載の装置において、前記組み合わせコンポーネントは、少なくとも１つの組み合わせ画像を出力し、該少なくとも１つの組み合わせ画像は、前記少なくとも１つのデコードした第１入力ストリームからの少なくとも１つの第１画像と、前記少なくとも１つのデコードした第２入力ストリームからの少なくとも１つの第２画像との合成を含み、前記少なくとも１つの第１画像および前記少なくとも１つの第２画像を、正の透過度で提示する、装置。   26. The apparatus of claim 25, wherein the combination component outputs at least one combination image, the at least one combination image being at least one first image from the at least one decoded first input stream; An apparatus comprising combining with at least one second image from the at least one decoded second input stream and presenting the at least one first image and the at least one second image with positive transparency . 請求項２５記載の装置であって、更に、
少なくとも１つの回転ストリームを生成するために、前記少なくとも１つの第１デコード・リアル・タイム入力ストリームを回転する回転コンポーネントと、
前記少なくとも１つの回転ストリームをＳ−ビデオ・フォーマットにエンコードするエンコーダと、
前記少なくとも１つの回転ストリームと、前記少なくとも１つの組み合わせストリームとをルーティングするルータと、
少なくとも１つの主Ｓ−ビデオ出力フォーマットを生成するために、前記少なくとも１つの回転ストリームと、前記少なくとも１つの組み合わせストリームとをエンコードするエンコーダと、
を備えている、装置。 26. The apparatus of claim 25, further comprising:
A rotation component that rotates the at least one first decoded real time input stream to generate at least one rotation stream;
An encoder that encodes the at least one rotating stream into an S-video format;
A router for routing the at least one rotating stream and the at least one combined stream;
An encoder that encodes the at least one rotated stream and the at least one combined stream to generate at least one primary S-video output format;
Equipped with the device. 観察および操作作業の間、リアル・タイムのオフライン視覚情報を取り込んで提示する装置であって、
少なくとも１つのリアル・タイム画像ストリームを供給する少なくとも１つのディジタル源と、
少なくとも１つの画像ストリームを供給する少なくとも１つの追加の画像源と、
前記少なくとも１つのリアル・タイム画像源を、前記少なくとも１つの追加の画像源が供給する前記少なくとも１つの画像ストリームと組み合わせることによって、少なくとも１つの組み合わせストリームを生成するビデオ・インターフェース・ユニットと、
少なくとも１つの第１頭部装着ディスプレイ・デバイスと、
ユーザ入力と少なくとも１つのコマンドとを受信し、前記入力および少なくとも１つのコマンドを前記ビデオ・インターフェース・ユニットに転送するシステム管理デバイスと、
を備えている、装置。 A device that captures and presents real-time offline visual information during observation and manipulation tasks,
At least one digital source providing at least one real-time image stream;
At least one additional image source providing at least one image stream;
A video interface unit that generates at least one combined stream by combining the at least one real-time image source with the at least one image stream provided by the at least one additional image source;
At least one first head mounted display device;
A system management device that receives user input and at least one command and forwards the input and at least one command to the video interface unit;
Equipped with the device. 請求項５１記載の装置において、前記少なくとも１つのディジタル源は、ディジタル顕微鏡である、装置。   52. The apparatus of claim 51, wherein the at least one digital source is a digital microscope. 請求項５１記載の装置において、前記少なくとも１つのディジタル源は、光学顕微鏡上のアドオン・カメラである、装置。   52. The apparatus of claim 51, wherein the at least one digital source is an add-on camera on an optical microscope. 請求項５１記載の装置であって、更に、Ｓ−ビデオ・フォーマットのストリームを表示するディスプレイ・デバイスを備えている、装置。   52. The apparatus of claim 51, further comprising a display device for displaying a stream in S-video format. 請求項５１記載の装置であって、更に、Ｓ−ビデオ・フォーマとのストリームを記録する記録デバイスを備えている、装置。   52. The apparatus of claim 51, further comprising a recording device for recording a stream with an S-video former. 請求項５１記載の装置であって、更に、前記少なくとも１つの組み合わせストリームを、前記第１頭部装着ディスプレイのように表示する、第２頭部装着ディスプレイ・デバイスを備えており、各画像を既定の角度だけ回転させる、装置。   52. The apparatus of claim 51, further comprising a second head mounted display device that displays the at least one combined stream as the first head mounted display, wherein each image is predefined. The device that rotates only the angle of. 請求項５１記載の装置において、前記少なくとも１つの追加画像源は、ナビゲーションおよび視覚化システムである、装置。   52. The apparatus of claim 51, wherein the at least one additional image source is a navigation and visualization system. 請求項５１記載の装置において、前記少なくとも１つの追加の画像源は、ＣＴスキャナである、装置。   52. The apparatus of claim 51, wherein the at least one additional image source is a CT scanner. 請求項５１記載の装置において、前記少なくとも１つの追加の画像源は、ＭＲＩスキャナである、装置。   52. The apparatus of claim 51, wherein the at least one additional image source is an MRI scanner. 請求項５１記載の装置において、前記少なくとも１つの追加の画像ストリーム源は、映像アーカイブである、装置。   52. The apparatus of claim 51, wherein the at least one additional image stream source is a video archive.
JP2007510236A 2004-04-30 2005-05-01 Apparatus for combining data from a stereoscopic video source with an additional digital imaging device Pending JP2007536953A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US56641504P 2004-04-30 2004-04-30
PCT/IL2005/000449 WO2005104656A2 (en) 2004-04-30 2005-05-01 An apparatus for combining data from a stereoscopic digital source with additional digital imaging devices

Publications (1)

Publication Number Publication Date
JP2007536953A true JP2007536953A (en) 2007-12-20

Family

ID=35242094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007510236A Pending JP2007536953A (en) 2004-04-30 2005-05-01 Apparatus for combining data from a stereoscopic video source with an additional digital imaging device

Country Status (5)

Country Link
EP (1) EP1751989A2 (en)
JP (1) JP2007536953A (en)
AU (1) AU2005237325A1 (en)
CA (1) CA2564867A1 (en)
WO (1) WO2005104656A2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013501475A (en) * 2009-08-06 2013-01-10 クゥアルコム・インコーポレイテッド Convert video data according to 3D input format

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010114843A1 (en) * 2009-03-31 2010-10-07 Charles Luley Associates, Inc. Dba Cla Medical Injection of secondary images into microscope viewing fields
DE102013216409A1 (en) * 2013-08-19 2015-02-19 Carl Zeiss Microscopy Gmbh microscope

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69129521T2 (en) * 1990-09-17 1998-11-26 Canon Kk Data transmission device
US5510832A (en) * 1993-12-01 1996-04-23 Medi-Vision Technologies, Inc. Synthesized stereoscopic imaging system and method
US6046712A (en) * 1996-07-23 2000-04-04 Telxon Corporation Head mounted communication system for providing interactive visual communications with a remote system
US6456340B1 (en) * 1998-08-12 2002-09-24 Pixonics, Llc Apparatus and method for performing image transforms in a digital display system
US7319720B2 (en) * 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013501475A (en) * 2009-08-06 2013-01-10 クゥアルコム・インコーポレイテッド Convert video data according to 3D input format
US9083958B2 (en) 2009-08-06 2015-07-14 Qualcomm Incorporated Transforming video data in accordance with three dimensional input formats

Also Published As

Publication number Publication date
EP1751989A2 (en) 2007-02-14
AU2005237325A1 (en) 2005-11-10
WO2005104656A2 (en) 2005-11-10
WO2005104656A3 (en) 2006-04-27
CA2564867A1 (en) 2005-11-10

Similar Documents

Publication Publication Date Title
US7907166B2 (en) Stereo telestration for robotic surgery
EP2903551B1 (en) Digital system for surgical video capturing and display
JP5784847B2 (en) Endoscope system for displaying 3D images
US11818454B2 (en) Controller and control method
US11323679B2 (en) Multi-camera system, camera, processing method of camera, confirmation apparatus, and processing method of confirmation apparatus
KR20190109406A (en) Video signal processing apparatus, video signal processing method, and program for dynamic range compression
CN110637458B (en) Information processing apparatus, information processing method, and computer-readable storage medium
JP2007536953A (en) Apparatus for combining data from a stereoscopic video source with an additional digital imaging device
US20230179798A1 (en) Delivery apparatus and delivery method
JPH05328342A (en) Video signal processor and inter multi-point video communication equipment
JP3402710B2 (en) Image processing display
US20190394454A1 (en) Medical-image display control device, medical-image display device, medical-information processing system, and medical-image display control method
JP3483923B2 (en) Image processing device
US11910105B2 (en) Video processing using a blended tone curve characteristic
JP7264051B2 (en) Image processing device and image processing method
US20220232146A1 (en) Video processing apparatus and video processing method
WO2020054595A1 (en) Surgery assistance system, display control device, and display control method
JPH0818861A (en) Image processing unit
JP3189869B2 (en) Multipoint video conference system
JP2012128223A (en) Image display device
Salmimaa et al. 22‐1: Distinquished Paper and Invited Paper: Live Delivery of Neurosurgical Operating Theatre Experience in Virtual Reality
JPH04208787A (en) Multiplace image transmission device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080501

A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A073

Effective date: 20080826