JP2015036060A - Three-dimensional image system - Google Patents

Three-dimensional image system Download PDF

Info

Publication number
JP2015036060A
JP2015036060A JP2013168211A JP2013168211A JP2015036060A JP 2015036060 A JP2015036060 A JP 2015036060A JP 2013168211 A JP2013168211 A JP 2013168211A JP 2013168211 A JP2013168211 A JP 2013168211A JP 2015036060 A JP2015036060 A JP 2015036060A
Authority
JP
Japan
Prior art keywords
video signal
dimensional image
unit
video
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013168211A
Other languages
Japanese (ja)
Other versions
JP6223056B2 (en
Inventor
昌史 梅村
Masashi Umemura
昌史 梅村
誠 春見
Makoto Harumi
誠 春見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2013168211A priority Critical patent/JP6223056B2/en
Publication of JP2015036060A publication Critical patent/JP2015036060A/en
Application granted granted Critical
Publication of JP6223056B2 publication Critical patent/JP6223056B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a highly convenient three-dimensional image system which can easily be used for displaying a stereoscopic image and a two-dimensional image separately.SOLUTION: Processors 8A, 8B generate respective two-dimensional (2D) video signals for signals outputted by two imaging parts 27a, 27b of a 3D endoscope 2 provided with the two imaging parts 27a, 27b. A control unit 47 performs control so that when both a video signal transmitted by wire from the processor 8A to a 3D mixer 9 and a video signal wirelessly transmitted from the processor 8B are detected, the 3D mixer 9 outputs a 3D video signal and, when only one of the video signals is detected, the 3D mixer 9 outputs only a detected 2D video signal.

Description

本発明は3次元画像を生成する3次元画像システムに関する。   The present invention relates to a three-dimensional image system that generates a three-dimensional image.

近年、内視鏡は医療分野等において広く用いられるようになっている。通常の内視鏡は、1つの撮像装置を備え、1つの撮像装置で撮像する2次元画像となる。一方、手術を行うような場合には、2つの撮像装置を備えた立体内視鏡または3次元内視鏡が用いられる場合がある。
立体内視鏡を用いた場合には、奥行き感のある3次元画像が得られるため、術者は、手術等を行い易くなる場合がある。
第1の従来例としての特開平9−266879号公報は、2つの撮像装置を備えた立体内視鏡と、立体内視鏡に設けられた無線送信を行うトランシーバと、トランシーバにより送信される無線信号を受信してビデオ映像を生成する1つのビデオプロセッサと、ビデオプロセッサにより生成された3次元映像を表示するTVモニタを備えたシステムを開示している。
In recent years, endoscopes have been widely used in the medical field and the like. A normal endoscope includes one imaging device and becomes a two-dimensional image captured by one imaging device. On the other hand, when performing surgery, a stereoscopic endoscope or a three-dimensional endoscope including two imaging devices may be used.
When a three-dimensional endoscope is used, a three-dimensional image with a sense of depth is obtained, so that an operator may easily perform an operation or the like.
Japanese Patent Laid-Open No. 9-266879 as a first conventional example discloses a stereoscopic endoscope provided with two imaging devices, a transceiver for wireless transmission provided in the stereoscopic endoscope, and a wireless signal transmitted by the transceiver. A system is disclosed that includes a video processor that receives a signal and generates a video image, and a TV monitor that displays a 3D image generated by the video processor.

また、第2の従来例としての特開2004−233480号公報は、立体内視鏡と1つの信号処理装置とを有線で接続して、立体画像を表示するシステムを開示している。上記第1の従来例及び第2の従来例は、それぞれ1つの筐体内に2つの信号処理回路を内蔵し、2つの撮像素子により撮像した画像から立体画像を生成することを開示している。
なお、従来の3次元画像システムとして、立体内視鏡に内蔵された2つの撮像装置に対してそれぞれ信号処理を行う2つ(2台)の信号処理装置と、2つの信号処理装置から出力される2つの映像信号(画像信号)を画像合成装置で合成して3次元画像(立体画像)を生成する画像合成装置を備えたものもある。
Japanese Patent Application Laid-Open No. 2004-233480 as a second conventional example discloses a system for displaying a stereoscopic image by connecting a stereoscopic endoscope and one signal processing device with a wire. The first conventional example and the second conventional example each disclose that two signal processing circuits are built in one casing, and a stereoscopic image is generated from images captured by two imaging elements.
As a conventional three-dimensional image system, two (two) signal processing devices that respectively perform signal processing on two imaging devices built in a stereoscopic endoscope and two signal processing devices output the signals. In some cases, an image synthesizing device that synthesizes two video signals (image signals) by an image synthesizing device to generate a three-dimensional image (stereoscopic image).

特開平9−266879号公報JP-A-9-266879 特開2004−233480号公報JP 2004-233480 A

上記のように第1の従来例及び第2の従来例は、1つの筐体内に2つの信号処理回路を内蔵し、2つの撮像素子により撮像した画像から立体画像を生成する立体画像専用の信号処理装置となっているため、立体画像でない通常の2次元の内視鏡画像の表示に利用することが困難となる。
また、別体となる2台の信号処理装置を用いた場合には、立体画像と2次元画像との表示に使い分けて利用することができるが、従来例においては使い分けするためにケーブルの接続及び取り外しの作業が必要となる。このため、このような煩わしい作業を低減でき、簡単に立体画像と2次元画像との表示に使い分けて利用することができる利便性の高い3次元画像システムが望まれる。
本発明は上述した点に鑑みてなされたもので、簡単に立体画像と2次元画像との表示に使い分けて利用することができる利便性の高い3次元画像システムを提供することを目的とする。
As described above, in the first conventional example and the second conventional example, two signal processing circuits are built in one casing, and a signal dedicated to a stereoscopic image that generates a stereoscopic image from images captured by two imaging elements. Since it is a processing device, it is difficult to use it for displaying a normal two-dimensional endoscopic image that is not a stereoscopic image.
In addition, when two separate signal processing devices are used, they can be used separately for displaying a stereoscopic image and a two-dimensional image. In the conventional example, in order to use them properly, Removal work is required. For this reason, such a troublesome work can be reduced, and a highly convenient three-dimensional image system that can be easily used separately for displaying a stereoscopic image and a two-dimensional image is desired.
The present invention has been made in view of the above points, and an object of the present invention is to provide a highly convenient three-dimensional image system that can be easily used for displaying a stereoscopic image and a two-dimensional image.

本発明の一態様に係る3次元画像システムは、同一の被写体を視差を持って撮像する第1の撮像部及び第2の撮像部を有し、前記第1の撮像部及び第2の撮像部を用いてそれぞれ生成された第1の信号及び第2の信号を出力する立体内視鏡と、前記第1の信号に対して第1の映像信号を生成する処理を行う第1の映像信号処理手段と、第1の映像信号処理手段と異なる筐体に設けられ、前記第2の信号に対して第2の映像信号を生成する処理を行う第2の映像信号処理手段と、前記第1及び第2の映像信号処理手段における少なくとも一方の映像信号処理手段としての前記第2の映像信号処理手段に設けられ、少なくとも前記第2の映像信号を無線送信する無線映像送信手段と、前記無線映像送信手段により無線送信された映像信号を受信する無線映像受信手段と、前記無線映像受信手段を備え、前記第1の映像信号及び前記第2の映像信号が入力された場合には、前記第1の映像信号及び前記第2の映像信号を合成して3次元画像の映像信号を生成する3次元画像合成手段と、前記3次元画像合成手段に設けられ、前記第1の映像信号及び前記第2の映像信号の2つの映像信号を検出した場合には前記3次元画像合成手段が前記3次元画像の映像信号を生成して出力するように制御し、更に、1つの映像信号のみを検出した場合には検出した前記1つの映像信号のみを前記3次元画像合成手段が出力するように制御する制御手段と、前記3次元画像合成手段から出力される映像信号が入力され、当該映像信号に対応する2次元画像又は3次元画像を表示する第1のモニタと、を備える。   A three-dimensional image system according to an aspect of the present invention includes a first imaging unit and a second imaging unit that capture the same subject with parallax, and the first imaging unit and the second imaging unit. And a first endoscope for outputting a first signal and a second signal respectively generated by using the first video signal processing for generating a first video signal for the first signal. And a second video signal processing unit that is provided in a housing different from the first video signal processing unit, and that performs a process of generating a second video signal for the second signal; Wireless video transmission means provided in the second video signal processing means as at least one video signal processing means in the second video signal processing means, for wirelessly transmitting at least the second video signal, and the wireless video transmission Receive video signals transmitted wirelessly by means A wireless video receiving means; and a wireless video receiving means, wherein when the first video signal and the second video signal are input, the first video signal and the second video signal are combined. A three-dimensional image synthesizing unit for generating a video signal of a three-dimensional image, and the two-dimensional image synthesizing unit provided in the three-dimensional image synthesizing unit and detecting two video signals of the first video signal and the second video signal The three-dimensional image composition means controls to generate and output a video signal of the three-dimensional image, and when only one video signal is detected, only the one video signal detected is detected. A control means for controlling the 3D image composition means to output, and a video signal outputted from the 3D image composition means, and a first 2D image or a 3D image corresponding to the video signal are displayed. And monitor That.

本発明によれば、簡単に立体画像と2次元画像との表示に使い分けて利用することができる利便性の高い3次元画像システムを提供できる。   According to the present invention, it is possible to provide a highly convenient three-dimensional image system that can be easily used for displaying a stereoscopic image and a two-dimensional image.

図1は本発明の第1の実施形態の3次元画像システムの全体構成を示すブロック図。FIG. 1 is a block diagram showing an overall configuration of a three-dimensional image system according to a first embodiment of the present invention. 図2は第1の実施形態の全体構成の外観を示す図。FIG. 2 is a diagram showing an external appearance of the overall configuration of the first embodiment. 図3は第1の実施形態の内部構成を立体画像(3D画像)と2次元画像(2D画像)とを切替可能な接続状態で示す図。FIG. 3 is a diagram illustrating the internal configuration of the first embodiment in a connection state in which a stereoscopic image (3D image) and a two-dimensional image (2D image) can be switched. 図4は2D/3D変換部の構成を示す回路図。FIG. 4 is a circuit diagram showing a configuration of a 2D / 3D conversion unit. 図5はリンクモード(第2のモード)の場合の説明図。FIG. 5 is an explanatory diagram of the link mode (second mode). 図6はスタンドアローンモード(第1のモード)の場合の説明図。FIG. 6 is an explanatory diagram in the case of the stand-alone mode (first mode). 図7は第1の実施形態の動作内容を示すフローチャート。FIG. 7 is a flowchart showing the operation content of the first embodiment. 図8Aは第1プロセッサシステムが第2プロセッサシステムよりも前に起動した場合の動作の説明図。FIG. 8A is an explanatory diagram of an operation when the first processor system is activated before the second processor system. 図8Bは第2プロセッサシステムが第1プロセッサシステムよりも前に起動した場合の動作の説明図。FIG. 8B is an explanatory diagram of an operation when the second processor system is activated before the first processor system. 図9は3Dミキサ、第1プロセッサ、第2プロセッサの詳細な動作の説明図。FIG. 9 is an explanatory diagram of detailed operations of the 3D mixer, the first processor, and the second processor. 図10は第1の実施形態の第1変形例の構成を3D観察が可能な状態で示す図。FIG. 10 is a diagram illustrating a configuration of a first modification of the first embodiment in a state where 3D observation is possible. 図11は第1の実施形態の第2変形例における記録装置の構成を示す図。FIG. 11 is a diagram illustrating a configuration of a recording apparatus according to a second modification of the first embodiment. 図12は第2変形例の動作の説明図。FIG. 12 is an explanatory diagram of the operation of the second modified example. 図13は本発明の第2の実施形態における記録装置の構成を示す図。FIG. 13 is a diagram showing a configuration of a recording apparatus according to the second embodiment of the present invention. 図14は第2の実施形態の動作の動作の説明図。FIG. 14 is an explanatory diagram of the operation of the operation of the second embodiment. 図15は第2の実施形態の変形例の構成を示す図。FIG. 15 is a diagram illustrating a configuration of a modification of the second embodiment. 図16は変形例の動作内容を示すフローチャート。FIG. 16 is a flowchart showing the operation content of the modified example.

以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1又は図2に示すように本発明の第1の実施形態の3次元画像システム1は、立体画像(又は3次元画像、以下3D画像と略記)を生成するために2つの撮像装置(又は撮像部)を備えた立体内視鏡(3D内視鏡とも言う)2と、3D画像を生成するための第1及び第2の信号処理システム(又は内視鏡システム又は内視鏡装置)としての第1プロセッサシステム3及び第2プロセッサシステム4とを有する。
図2に示すように第1プロセッサシステム3及び第2プロセッサシステム4は、それぞれ移動自在となる載置手段としてのカート5,6に、それぞれ通常の2次元画像(2D画像と略記)を生成する複数の装置が載置される。
カート5には、第1プロセッサシステム3を構成する光源装置7A、第1の映像信号処理手段としての第1プロセッサ8A、3次元画像合成手段としての3Dミキサ(3次元ミキサ)9、2D及び3D画像を表示する第1モニタ10A、記録を行う記録装置11が搭載されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
As shown in FIG. 1 or FIG. 2, the three-dimensional image system 1 according to the first embodiment of the present invention uses two imaging devices (or three-dimensional images (or three-dimensional images, hereinafter abbreviated as 3D images)). A stereoscopic endoscope (also referred to as a 3D endoscope) 2 having an imaging unit) and first and second signal processing systems (or an endoscope system or an endoscope apparatus) for generating a 3D image The first processor system 3 and the second processor system 4 are provided.
As shown in FIG. 2, the first processor system 3 and the second processor system 4 generate normal two-dimensional images (abbreviated as 2D images) on carts 5 and 6 as placing means that can move, respectively. A plurality of devices are mounted.
The cart 5 includes a light source device 7A constituting the first processor system 3, a first processor 8A as first video signal processing means, and a 3D mixer (three-dimensional mixer) 9, 2D and 3D as three-dimensional image composition means. A first monitor 10A for displaying an image and a recording device 11 for recording are mounted.

また、カート6には、第2プロセッサシステム4を構成する光源装置7B、第2の映像信号処理手段としての第2プロセッサ8B、少なくとも2D画像を表示する第2モニタ10Bとが搭載されている。
以下の説明においては、3D画像を表示する場合、第1プロセッサ8Aが右目用の画像となる第1の映像信号を生成し、第2プロセッサ8Bが左目用の画像となる第2の映像信号を生成する場合で説明する。勿論、左右を逆にしても良い。
なお、本実施形態等において使用される立体内視鏡2は、図3において説明するように照明光を伝送して、先端から出射するライトガイド21を備えているが、発光ダイオードによる光源を立体内視鏡2の内部に備えた構成にした場合には、光源装置7A,7Bを必要としない。
また、術者などのユーザは、第1モニタ10A等に表示される3D画像を観察する場合には、例えば液晶メガネ12を装着する。
Further, the cart 6 is equipped with a light source device 7B constituting the second processor system 4, a second processor 8B as a second video signal processing means, and a second monitor 10B for displaying at least a 2D image.
In the following description, when displaying a 3D image, the first processor 8A generates a first video signal that becomes an image for the right eye, and the second processor 8B generates a second video signal that becomes an image for the left eye. This will be described in the case of generation. Of course, the left and right sides may be reversed.
Note that the stereoscopic endoscope 2 used in this embodiment and the like includes a light guide 21 that transmits illumination light and emits it from the tip as described in FIG. When the configuration is provided inside the endoscope 2, the light source devices 7A and 7B are not required.
Also, a user such as a surgeon wears liquid crystal glasses 12 when observing a 3D image displayed on the first monitor 10A or the like.

液晶メガネ12は、右目用の液晶シャッタ12a、左目用の液晶シャッタ12b、両液晶シャッタ12a,12bを交互に透過、遮光状態に制御する制御部12c、制御部12cに電源を供給するバッテリ等を有する。また、制御部12cは、3Dミキサ9から無線送信されるシャッタ信号を受信する無線受信部12d(図3参照)を備え、制御部12cは、無線受信部12dが受信したシャッタ信号に同期して両液晶シャッタ12a,12bを交互に透過、遮光する。具体的には、右目用画像が表示されるフィールド期間には、制御部12cは右目用の液晶シャッタ12aを透過状態、左目用の液晶シャッタ12bを遮光状態に設定し、左目用画像が表示されるフィールド期間には、制御部12cは右目用の液晶シャッタ12aを遮光状態、左目用の液晶シャッタ12bを透過状態に設定する。そして、ユーザは、1フレーム期間に交互に表示される右目用画像及び左目用画像から立体視認(立体観察)が可能となる。   The liquid crystal glasses 12 include a liquid crystal shutter 12a for the right eye, a liquid crystal shutter 12b for the left eye, a control unit 12c that alternately transmits and blocks both liquid crystal shutters 12a and 12b, a battery that supplies power to the control unit 12c, and the like. Have. In addition, the control unit 12c includes a wireless reception unit 12d (see FIG. 3) that receives the shutter signal wirelessly transmitted from the 3D mixer 9, and the control unit 12c is synchronized with the shutter signal received by the wireless reception unit 12d. The liquid crystal shutters 12a and 12b are alternately transmitted and shielded. Specifically, in the field period in which the right-eye image is displayed, the control unit 12c sets the right-eye liquid crystal shutter 12a to the transmissive state and the left-eye liquid crystal shutter 12b to the light-shielded state, and the left-eye image is displayed. In the field period, the control unit 12c sets the right-eye liquid crystal shutter 12a in a light-shielding state and the left-eye liquid crystal shutter 12b in a transmissive state. Then, the user can perform stereoscopic viewing (stereoscopic observation) from the right-eye image and the left-eye image that are alternately displayed in one frame period.

3D内視鏡2は、体内又は体腔内に挿入される細長の挿入部14と、この挿入部14の後端(基端)に設けられた太径の把持部15と、把持部15から延出されるケーブル16とを有し、ケーブル16の末端側の光源用コネクタ17は、光源装置7A(又は7B)に着脱自在に接続される。
また、上記ケーブル16の末端の第1の信号用コネクタ(図面では単にコネクタ)18Aは、第1プロセッサ8Aのコネクタ受け19A(図3参照、図面では単にコネクタ受け)に着脱自在に接続され、第2の信号用コネクタ18Bは、第2プロセッサ8Bのコネクタ受け19Bに着脱自在に接続される。
なお、図1においては、第1の信号用コネクタ18A及び第2の信号用コネクタ18Bが光源用コネクタ17から分岐したケーブル20A,20Bを介してコネクタ受け19A及びコネクタ受け19Bに接続する例を示しているが、このような構造の場合に限定されるものでない。例えば、図3に示すように3D内視鏡2からそれぞれケーブル20A,20Bを延出し、それぞれの末端の第1の信号用コネクタ18A及び第2の信号用コネクタ18Bをコネクタ受け19A及びコネクタ受け19Bに接続する構造にしても良い。
The 3D endoscope 2 includes an elongated insertion portion 14 that is inserted into a body or a body cavity, a large-diameter gripping portion 15 provided at the rear end (base end) of the insertion portion 14, and an extension from the gripping portion 15. The light source connector 17 on the end side of the cable 16 is detachably connected to the light source device 7A (or 7B).
A first signal connector 18A (simply a connector in the drawing) 18A at the end of the cable 16 is detachably connected to a connector receiver 19A of the first processor 8A (see FIG. 3, simply a connector receiver in the drawing). The second signal connector 18B is detachably connected to the connector receiver 19B of the second processor 8B.
FIG. 1 shows an example in which the first signal connector 18A and the second signal connector 18B are connected to the connector receiver 19A and the connector receiver 19B via cables 20A and 20B branched from the light source connector 17. However, the present invention is not limited to such a structure. For example, as shown in FIG. 3, the cables 20A and 20B are extended from the 3D endoscope 2, and the first signal connector 18A and the second signal connector 18B at the respective ends are connected to the connector receiver 19A and the connector receiver 19B. You may make it the structure connected to.

図3に示すように3D内視鏡2は、挿入部14内及び把持部15の長手方向に照明光を伝送するライトガイド21が挿通され、把持部15から更にケーブル16(図2参照)内を挿通されたライトガイド21の入射端部となる光源用コネクタ17は、光源装置7Aに着脱自在に接続される。なお、光源用コネクタ17を光源装置7Aでなく、光源装置7Bに接続しても良い。
光源装置7Aは、白色の照明光を発生する照明光発生部としての光源ランプ22と、照明光を集光してライトガイド21の入射端部に入射させる集光レンズ23とを有する。光源ランプ22として、又は光源ランプの代わりに例えば白色光で発光する発光ダイオード(LEDと略記)を用いて照明光発生部を構成しても良い。なお、光源装置7Bは、光源装置7Aと同じ構成である。
ライトガイド21の入射端部に入射された照明光は、ライトガイド21の先端側に伝送され、挿入部14の先端部に設けた照明窓に臨む出射端部から前方側に出射され、患部などの被写体を照明する。そして、照明された患部などの被写体は、以下のような視差を有するように構成された2つの撮像部により撮像される。
As shown in FIG. 3, in the 3D endoscope 2, a light guide 21 that transmits illumination light is inserted in the insertion portion 14 and in the longitudinal direction of the gripping portion 15, and further from the gripping portion 15 to the cable 16 (see FIG. 2). The light source connector 17 serving as the incident end of the light guide 21 inserted through the light guide 21 is detachably connected to the light source device 7A. The light source connector 17 may be connected to the light source device 7B instead of the light source device 7A.
The light source device 7 </ b> A includes a light source lamp 22 as an illumination light generator that generates white illumination light, and a condenser lens 23 that collects the illumination light and enters the incident end of the light guide 21. For example, a light emitting diode (abbreviated as LED) that emits white light may be used as the light source lamp 22 or instead of the light source lamp. The light source device 7B has the same configuration as the light source device 7A.
Illumination light incident on the incident end of the light guide 21 is transmitted to the distal end side of the light guide 21 and is emitted forward from the emission end facing the illumination window provided at the distal end of the insertion portion 14. Illuminate the subject. Then, the illuminated subject such as an affected part is imaged by two imaging units configured to have the following parallax.

挿入部14の先端部には、例えば右左方向に両光軸Oa,Ob間の距離がDだけ、離間して右左の対物レンズ25a,25bが配置され、対物レンズ25a,25bそれぞれの結像位置には、光電変換する機能を備えた2次元撮像素子としての例えば電荷結合素子(CCDと略記)26a,26bが配置されて第1及び第2の撮像部(単に撮像部とも言う)27a,27bが形成される。なお、CCD26a,26bの撮像面には、光学的に色分離する色分離フィルタ28a,28bがそれぞれ配置され、撮像面を構成する各画素に入射する光を例えば赤(R),緑(G),青(B)に色分離する。
上記右左の対物レンズ25a,25bと、CCD26a,26bとは、それぞれ特性が揃ったものが採用されている。
従って、第1及び第2の撮像部27a,27bは、同一の被写体を上記距離Dにより視差を有するように撮像し、撮像した第1の信号及び第2の信号を生成する。
For example, right and left objective lenses 25a and 25b are disposed at the distal end portion of the insertion portion 14 so that the distance between the optical axes Oa and Ob is separated by D in the right and left direction, and the image forming positions of the objective lenses 25a and 25b, respectively. For example, charge coupled devices (abbreviated as CCD) 26a and 26b, which are two-dimensional imaging devices having a function of photoelectric conversion, are arranged, and first and second imaging units (also simply referred to as imaging units) 27a and 27b. Is formed. Note that color separation filters 28a and 28b for optical color separation are respectively disposed on the imaging surfaces of the CCDs 26a and 26b, and light incident on each pixel constituting the imaging surface is, for example, red (R) or green (G). , Blue (B).
The right and left objective lenses 25a and 25b and the CCDs 26a and 26b have the same characteristics.
Accordingly, the first and second imaging units 27a and 27b capture the same subject so as to have parallax by the distance D, and generate the captured first signal and second signal.

図3に示す3D内視鏡2は、CCD26a,26bの出力信号からさらにR,G,Bの色信号をそれぞれ生成する色信号生成部(又は色信号生成回路)29a,29bを備え、出力インタフェース(出力IFと略記)30a,30bを介してそれぞれの色信号を第1の信号及び第2の信号として第1プロセッサ8A及び第2プロセッサ8Bに出力する。
上記のように3D内視鏡2は、色信号生成部29a,29bを備えているが、このような構成の場合に限定されるものでなく、CCD26a,26bの出力信号を(色信号生成部29a,29bを用いることなく)それぞれ第1プロセッサ8A及び第2プロセッサ8Bに第1の信号及び第2の信号として出力する構成にしても良い。
このように3D内視鏡2は、第1及び第2の撮像部27a,27bを用いてそれぞれ生成した第1の信号及び第2の信号を、第1の映像信号処理手段を構成する第1プロセッサ8Aと、第2の映像信号処理手段を構成する第2プロセッサ8Aとに出力する。
The 3D endoscope 2 shown in FIG. 3 includes color signal generation units (or color signal generation circuits) 29a and 29b that respectively generate R, G, and B color signals from the output signals of the CCDs 26a and 26b, and an output interface. (Abbreviated as output IF) The respective color signals are output to the first processor 8A and the second processor 8B as the first signal and the second signal via 30a and 30b.
As described above, the 3D endoscope 2 includes the color signal generation units 29a and 29b. However, the 3D endoscope 2 is not limited to such a configuration, and the output signals of the CCDs 26a and 26b are (color signal generation units). It may be configured to output the first signal and the second signal to the first processor 8A and the second processor 8B, respectively (without using 29a and 29b).
As described above, the 3D endoscope 2 uses the first and second signals generated by using the first and second imaging units 27a and 27b, respectively, as the first video signal processing means. The data is output to the processor 8A and the second processor 8A constituting the second video signal processing means.

第1プロセッサ8Aの筐体内には、コネクタ受け19Aから入力される第1の信号に対して第1の2D画像の第1の映像信号(又は画像信号)を生成する信号処理を行う映像生成部(又は映像信号生成回路)31aと、映像生成部31aにより生成された映像信号を第1の映像信号として外部に出力する映像出力IF32aとが設けてある。なお、映像生成部31aが映像出力IF32aを内部に含む構成にしても良い。映像出力IF32aに一端が着脱自在に接続されるケーブル36aは、3Dミキサ9の第1映像入力IFとなる右映像入力部41aに他端が接続される。
また、第1プロセッサ8Aは、1フレームの映像信号を生成するタイミングを決定する同期信号を生成する同期信号生成部(又は同期信号生成回路)33aと、3Dミキサ9と通信を行う通信制御部(又は通信部又は通信回路)34aと、3Dミキサ9との通信結果に応じたモードで映像生成部31aが映像信号を生成するように切り替えるモード切替部(又はモード切替回路)35aとを有する。なお、通信制御部34aは、通信ケーブル37aを介して3Dミキサ9の通信制御部45と通信する。なお、本明細書においては、上記のように○部を○回路と記載しても良い。以下に説明する他の○部に対しても同様である。
In the housing of the first processor 8A, a video generation unit that performs signal processing for generating a first video signal (or image signal) of the first 2D image with respect to the first signal input from the connector receiver 19A. (Or a video signal generation circuit) 31a and a video output IF 32a that outputs the video signal generated by the video generation unit 31a to the outside as a first video signal are provided. The video generation unit 31a may include the video output IF 32a. A cable 36 a having one end detachably connected to the video output IF 32 a is connected to the right video input unit 41 a serving as the first video input IF of the 3D mixer 9.
The first processor 8A also includes a synchronization signal generation unit (or synchronization signal generation circuit) 33a that generates a synchronization signal that determines the timing for generating a video signal of one frame, and a communication control unit that communicates with the 3D mixer 9 ( (Or a communication unit or a communication circuit) 34 a and a mode switching unit (or mode switching circuit) 35 a that switches the video generation unit 31 a to generate a video signal in a mode according to the communication result with the 3D mixer 9. The communication control unit 34a communicates with the communication control unit 45 of the 3D mixer 9 via the communication cable 37a. In the present specification, as described above, a circle portion may be described as a circle circuit. The same applies to the other circles described below.

上記モードは、第1プロセッサ8Aと第2プロセッサ8Bとが独立的に映像信号を生成するように動作する第1のモードとなるスタンドアローンモード、又は第1プロセッサ8Aが独立的でなく、第1プロセッサ8Aと第2プロセッサ8Bとが連携して映像信号を生成するように動作する第2のモードとなるリンクモード(又は連携モード)である。
また、上記モードは、後述する動作の内容で説明すると、第1のモード(スタンドアローンモード)の場合には、第1プロセッサ8Aと第2プロセッサ8Bとの両者が独立して、又は両方の一方が2Dの映像信号を生成し、3Dミキサ9は一方の2Dの映像信号を生成する2Dモードで動作する。
これに対して、第2のモード(リンクモード)の場合には、第1プロセッサ8Aと第2プロセッサ8Bとが連携した右及び左の2Dの映像信号をそれぞれ生成して、3Dミキサ9に出力し、3Dミキサ9は3Dの映像信号を生成する3Dモードで動作する。
The above mode is a stand-alone mode that is a first mode in which the first processor 8A and the second processor 8B operate independently to generate video signals, or the first processor 8A is not independent, This is a link mode (or cooperative mode) that is a second mode in which the processor 8A and the second processor 8B operate so as to generate a video signal in cooperation with each other.
Further, in the case of the first mode (stand-alone mode), the first mode 8A and the second processor 8B are independent from each other, or one of both modes. Generates a 2D video signal, and the 3D mixer 9 operates in a 2D mode in which one 2D video signal is generated.
On the other hand, in the second mode (link mode), the first processor 8A and the second processor 8B respectively generate right and left 2D video signals and output them to the 3D mixer 9. The 3D mixer 9 operates in a 3D mode for generating a 3D video signal.

モード切替部35aは、通信制御部34aを介して3Dミキサ9から第2のモードの送信信号を受けない場合には、同期信号生成部33aにより生成した同期信号を用いて、該同期信号に同期した映像信号を生成し、生成した映像信号を第1の映像信号としてケーブル36aを介して3Dミキサ9に出力する。
これに対して、モード切替部35aは、通信制御部34aを介して3Dミキサ9から第2のモードの送信信号を受けた場合には、3Dミキサ9から出力される同期信号を用いて該同期信号に同期した映像信号を生成し、生成した映像信号を第1の映像信号として3Dミキサ9に出力する。
また、第2プロセッサ8Bの筐体内には、入力される信号が第1プロセッサ8Aとは異なるが、第1プロセッサ8Aにおいて説明したのと同じ構成要素を備えている。但し、本実施形態においては、第1プロセッサ8Aは、有線で第1の映像信号を出力(送信)するのに対して、第2プロセッサ8Bは、無線で第1の映像信号を出力(送信)する構成である。
When the mode switching unit 35a does not receive the transmission signal of the second mode from the 3D mixer 9 via the communication control unit 34a, the mode switching unit 35a uses the synchronization signal generated by the synchronization signal generation unit 33a to synchronize with the synchronization signal. The generated video signal is generated, and the generated video signal is output as a first video signal to the 3D mixer 9 via the cable 36a.
On the other hand, when the mode switching unit 35a receives the transmission signal of the second mode from the 3D mixer 9 via the communication control unit 34a, the mode switching unit 35a uses the synchronization signal output from the 3D mixer 9 to perform the synchronization. A video signal synchronized with the signal is generated, and the generated video signal is output to the 3D mixer 9 as a first video signal.
Further, the housing of the second processor 8B includes the same components as those described in the first processor 8A, although the input signal is different from that of the first processor 8A. However, in the present embodiment, the first processor 8A outputs (transmits) the first video signal by wire, whereas the second processor 8B outputs (transmits) the first video signal wirelessly. It is the structure to do.

そのため、第2プロセッサ8Bは、更に無線映像送信手段としての無線送信部(又は無線送信回路)38bを有し、この無線送信部38bは映像生成部31bが生成した第2の映像信号を無線の第2の映像信号に変換して無線送信する。
すなわち、第2プロセッサ8Bの筐体内には、コネクタ受け19Bから入力される第2の信号に対して第2の2D画像の第2の映像信号を生成する信号処理を行う映像生成部31bと、映像生成部31bにより生成された映像信号を第2の映像信号として外部に出力する映像出力IF32bと、映像生成部31bにより生成された第2の映像信号を無線の第2の映像信号に変換して送信する無線送信部38bとが設けてある。なお、映像生成部31bが映像出力IF32bを内部に含む構成にしても良い。
また、第2プロセッサ8Bは、1フレームの映像信号のタイミングを決定する同期信号を生成する同期信号生成部33bと、3Dミキサ9と通信を行う通信制御部(又は通信部)34bと、3Dミキサ9との通信結果に応じたモードで映像生成部31bが映像信号を生成するように切り替えるモード切替部35bとを有する。なお、通信制御部34bは、通信ケーブル37bを介して3Dミキサ9の通信制御部と通信する。
Therefore, the second processor 8B further includes a wireless transmission unit (or wireless transmission circuit) 38b as wireless video transmission means, and this wireless transmission unit 38b wirelessly transmits the second video signal generated by the video generation unit 31b. It is converted into a second video signal and transmitted wirelessly.
That is, in the housing of the second processor 8B, a video generation unit 31b that performs signal processing for generating a second video signal of the second 2D image with respect to the second signal input from the connector receiver 19B; A video output IF 32b that outputs the video signal generated by the video generation unit 31b to the outside as a second video signal, and a second video signal generated by the video generation unit 31b is converted into a wireless second video signal. And a wireless transmission unit 38b for transmission. Note that the video generation unit 31b may include the video output IF 32b.
The second processor 8B includes a synchronization signal generation unit 33b that generates a synchronization signal that determines the timing of a video signal of one frame, a communication control unit (or communication unit) 34b that communicates with the 3D mixer 9, and a 3D mixer. And a mode switching unit 35b that switches the video generation unit 31b to generate a video signal in a mode according to the communication result with the communication unit 9. The communication control unit 34b communicates with the communication control unit of the 3D mixer 9 via the communication cable 37b.

モード切替部35bは、通信制御部34bを介して3Dミキサ9から第2のモードの送信信号を受けない場合には、同期信号生成部33bにより生成した同期信号を用いて、該同期信号に同期した映像信号を生成する。
これに対して、モード切替部35bは、通信制御部34bを介して3Dミキサ9から第2のモードの送信信号を受けた場合には、3Dミキサ9から出力される同期信号を用いて該同期信号に同期した映像信号を生成する。
また、第2プロセッサ8Bの映像出力IF32bはケーブルを介して第2モニタ10Bが接続される。従って、この接続状態において、第2プロセッサ8Bの電源がONされ、かつ第2モニタの電源もONにされていると、映像生成部31bにより生成された第2の映像信号が第2モニタ10Bに入力され、第2の映像信号の画像としての第2の2D画像が第2モニタ10Bの表示面に表示される。
When the mode switching unit 35b does not receive the transmission signal of the second mode from the 3D mixer 9 via the communication control unit 34b, the mode switching unit 35b uses the synchronization signal generated by the synchronization signal generation unit 33b to synchronize with the synchronization signal. Generated video signal.
On the other hand, when the mode switching unit 35b receives the transmission signal of the second mode from the 3D mixer 9 via the communication control unit 34b, the mode switching unit 35b uses the synchronization signal output from the 3D mixer 9 to perform the synchronization. A video signal synchronized with the signal is generated.
The video output IF 32b of the second processor 8B is connected to the second monitor 10B via a cable. Therefore, in this connected state, when the power of the second processor 8B is turned on and the power of the second monitor is also turned on, the second video signal generated by the video generator 31b is sent to the second monitor 10B. The second 2D image as the image of the second video signal is input and displayed on the display surface of the second monitor 10B.

3Dミキサ9は、右映像入力部(又は第1の映像入力部)41a及び無線受信部42bからそれぞれ入力される2つの2D画像の映像信号としての第1の映像信号及び第2の映像信号を合成して3D画像の映像信号を生成(変換)すると共に、1つの映像信号(つまり1つの2Dの映像信号)が入力された場合には、その2Dの映像信号を出力する2D/3D変換部43と、2D画像の映像信号又は生成した3D画像の映像信号を外部に出力する利像出力部としての映像出力IF44とを有する。映像出力IF44は、2つの映像出力コネクタを備え、一方の映像出力コネクタには第1モニタ10Aが接続され、他方の映像出力コネクタには記録装置11が接続される。なお、図3において3Dミキサ9の通信制御部45とプロセッサ8B間をケーブル37bにより有線で通信を行う構成例を示しているが、無線で通信を行う無線通信部を備えた構成にしても良い。無線で通信を行う構成を、後述する変形例、第2の実施形態の場合に適用しても良い。
図4は2D/3D変換部43の構成を示す。右映像入力部41aから入力される右の2Dの映像信号と、無線受信部42bから入力される左の2Dの映像信号とはそれぞれ切替スイッチ56a,56bの接点aをそれぞれ経て倍速信号変換器(又は倍速信号変換回路)57a、57bに入力される。
The 3D mixer 9 receives the first video signal and the second video signal as video signals of two 2D images respectively input from the right video input unit (or first video input unit) 41a and the wireless reception unit 42b. A 2D / 3D conversion unit that generates (converts) a 3D image video signal by combining and outputs a 2D video signal when one video signal (that is, one 2D video signal) is input. 43 and a video output IF 44 as a profit output unit that outputs a video signal of a 2D image or a generated 3D image to the outside. The video output IF 44 includes two video output connectors. The first monitor 10A is connected to one video output connector, and the recording device 11 is connected to the other video output connector. 3 shows a configuration example in which communication is performed between the communication control unit 45 of the 3D mixer 9 and the processor 8B via a cable 37b. However, a configuration including a wireless communication unit that performs wireless communication may be used. . The configuration for performing wireless communication may be applied to the case of a later-described modification example or the second embodiment.
FIG. 4 shows the configuration of the 2D / 3D conversion unit 43. The right 2D video signal input from the right video input unit 41a and the left 2D video signal input from the wireless reception unit 42b respectively pass through the contacts a of the changeover switches 56a and 56b, respectively, and are double-speed signal converters ( (Or double-speed signal conversion circuit) 57a and 57b.

倍速信号変換器57a,57bは、それぞれ1フレームの2Dの映像信号を2倍の周波数(周期が半分)の映像信号に変換する。つまり、倍速信号変換器57a,57bは、それぞれ1フレームの半分の周期の1フィールドの映像信号に変換してミキサ回路を構成する加算器53に出力する。加算器53は、倍速信号変換器57aの1フィールドの映像信号と倍速信号変換器57bの1フィールドの映像信号とを例えば奇数フィールド、偶数フィールドの映像信号として加算して1フレームの3Dの映像信号に合成して、3Dフォーマットの(3Dの)映像信号として出力する。また、加算器53から出力される3Dの映像信号は、切替スイッチ54の接点aを経て2D/3D変換部43から出力される。
なお、倍速信号変換器57a,57bは、それぞれ2つのフレームメモリを用いて構成され、書き込み時は2Dの映像信号を2Dの映像信号に対応した普通のレートで行われ、読み出し時には書き込み時の倍の速度で行うことにより、倍速の映像信号を生成する。
The double-speed signal converters 57a and 57b each convert a 2D video signal of one frame into a video signal having a double frequency (half the period). That is, the double-speed signal converters 57a and 57b each convert to a 1-field video signal having a half period of one frame, and output it to the adder 53 constituting the mixer circuit. The adder 53 adds the 1-field video signal of the double-speed signal converter 57a and the 1-field video signal of the double-speed signal converter 57b as, for example, an odd-field video signal and an even-field video signal, thereby adding a 1-frame 3D video signal. And output as a 3D format (3D) video signal. The 3D video signal output from the adder 53 is output from the 2D / 3D conversion unit 43 via the contact a of the changeover switch 54.
Note that each of the double-speed signal converters 57a and 57b is configured by using two frame memories, and at the time of writing, the 2D video signal is performed at a normal rate corresponding to the 2D video signal, and at the time of reading, it is doubled at the time of writing. By performing at this speed, a double-speed video signal is generated.

また、切替スイッチ56a,56bの接点bは、切替スイッチ55の接点a,bに接続され、その共通接点cは、切替スイッチ54の接点bに接続される。
このような構成の2D/3D変換部43においては、2つの映像信号が2D/3D変換部43に入力される場合には、制御部47の制御信号により図4の実線で示すように切替スイッチ56a,56b,54が設定される。つまり、2D/3D変換部43は、3Dの映像信号を出力する。
これに対して、1つの映像信号(例えば右の映像信号)のみが2D/3D変換部43に入力される場合には、制御部47は、点線で示すように切替スイッチ56a,56bの接点bを選択するように切り替え、また切替スイッチ55に対しては接点aを選択するように切り替え、さらに切替スイッチ54に対しては接点bを選択するように切り替えるように制御する。そして、この場合には、2D/3D変換部43に入力される1つの映像信号(例えば右の映像信号)を2D/3D変換部43から2Dフォーマットの(2D)の映像信号として出力する。なお、左の映像信号のみが2D/3D変換部43に入力される場合には、制御部47は、切替スイッチ55の接点bが選択するように切り替える。
The contact b of the changeover switches 56 a and 56 b is connected to the contact a and b of the changeover switch 55, and the common contact c is connected to the contact b of the changeover switch 54.
In the 2D / 3D conversion unit 43 having such a configuration, when two video signals are input to the 2D / 3D conversion unit 43, the changeover switch is indicated by the control signal of the control unit 47 as shown by the solid line in FIG. 56a, 56b, and 54 are set. That is, the 2D / 3D conversion unit 43 outputs a 3D video signal.
On the other hand, when only one video signal (for example, the right video signal) is input to the 2D / 3D conversion unit 43, the control unit 47 sets the contact b of the changeover switches 56a and 56b as indicated by the dotted lines. The switching switch 55 is switched to select the contact point a, and the switching switch 54 is switched to select the contact point b. In this case, one video signal (for example, the right video signal) input to the 2D / 3D conversion unit 43 is output from the 2D / 3D conversion unit 43 as a 2D format (2D) video signal. When only the left video signal is input to the 2D / 3D conversion unit 43, the control unit 47 performs switching so that the contact b of the changeover switch 55 is selected.

図3における映像出力IF44に接続される記録装置11は、映像出力IF44から3Dの映像信号を出力する状態において記録の指示操作がされると、3Dの映像信号を3Dフォーマットで記録し、映像出力IF44から2Dの映像信号を出力する状態において記録の指示操作がされると、2Dの映像信号を2Dフォーマットで記録する。
また、3Dミキサ9は、第1プロセッサ8Aの通信制御部34a及び第2プロセッサ8Bの通信制御部34bとそれぞれ通信ケーブル37a,37bを介して通信を行う通信制御部(又は通信部)45と、3D画像を生成する場合に用いる同期信号を生成する同期信号生成部46と、通信制御部45による通信結果等に応じて2D/3D変換部43の動作を制御する制御手段としての制御部47とを有する。
また、3Dミキサ9は、3D画像を表示する場合において液晶メガネ12にシャッタ信号を無線送信する無線送信部48と、3Dミキサ9に関する各種の設定を行う設定部49が設けてある。3D画像を表示する場合、液晶メガネ12にシャッタ信号を無線送信する動作は制御部47が制御する。
The recording device 11 connected to the video output IF 44 in FIG. 3 records the 3D video signal in the 3D format and outputs the video when a recording instruction operation is performed in a state where the 3D video signal is output from the video output IF 44. When a recording instruction operation is performed in a state where a 2D video signal is output from the IF 44, the 2D video signal is recorded in the 2D format.
The 3D mixer 9 includes a communication control unit (or communication unit) 45 that communicates with the communication control unit 34a of the first processor 8A and the communication control unit 34b of the second processor 8B via communication cables 37a and 37b, respectively. A synchronization signal generation unit 46 that generates a synchronization signal used when generating a 3D image, and a control unit 47 as a control unit that controls the operation of the 2D / 3D conversion unit 43 according to a communication result or the like by the communication control unit 45. Have
The 3D mixer 9 includes a wireless transmission unit 48 that wirelessly transmits a shutter signal to the liquid crystal glasses 12 and a setting unit 49 that performs various settings related to the 3D mixer 9 when displaying a 3D image. When displaying a 3D image, the controller 47 controls the operation of wirelessly transmitting a shutter signal to the liquid crystal glasses 12.

なお、図3において点線で示すように有線により第2の映像信号としての左映像信号を入力する左映像入力部41bを設けるようにしても良い。そして、第2プロセッサ8Bが第1プロセッサ8Aと同じ構成(有線で第2の映像信号を出力する構成)の場合にも対応できるようにしても良い。
また、例えば制御部47は、映像信号の有無を検出する映像信号検出手段としての映像信号検出部47aを有し、2D/3D変換部43の2つの入力端に入力される2つの映像信号の有無を、映像信号のレベルの有無により検出する。
制御部47は、映像信号検出部47aによる検出結果と、通信制御部45による通信結果とに応じて、2D/3D変換部43の動作を制御する。なお、制御部47は、一方のみの結果(検出結果又は通信結果)により、2D/3D変換部43の動作を制御するようにしても良い。
In addition, as shown with a dotted line in FIG. 3, you may make it provide the left video input part 41b which inputs the left video signal as a 2nd video signal with a wire communication. The second processor 8B may be adapted to the case of the same configuration as the first processor 8A (configuration that outputs the second video signal by wire).
Further, for example, the control unit 47 includes a video signal detection unit 47a as a video signal detection unit that detects the presence / absence of a video signal, and the two video signals input to the two input ends of the 2D / 3D conversion unit 43. The presence or absence is detected by the presence or absence of the level of the video signal.
The control unit 47 controls the operation of the 2D / 3D conversion unit 43 according to the detection result by the video signal detection unit 47 a and the communication result by the communication control unit 45. The control unit 47 may control the operation of the 2D / 3D conversion unit 43 based on only one result (detection result or communication result).

両方の結果を利用する場合のメリットとして、例えば図3のようにケーブル36a,37a,37bで接続された状態において、1つのケーブルのみの接続が不十分であるような場合、一方の結果のみでは不十分な状態を検出できない場合が発生するが、両方の検出を利用すると、ケーブルの接続が不十分であることを検出できる。
また、本実施形態においては、制御部47は通信制御部45が通信制御部34a及び通信制御部34bと通信できる状態である通信結果を取得し、更に映像信号検出部47aにより2つの映像信号を検出した検出結果を取得した場合には、同期信号生成部46で生成した同期信号を通信制御部45を介して第1プロセッサ8A及び第2プロセッサ8Bに送信する。そして、制御部47(内の同期制御部47b)は、第1プロセッサ8A及び第2プロセッサ8Bが、3Dミキサ9から送信した同期信号に同期してそれぞれ第1及び第2の映像信号を生成するように制御を行い、かつ2D/3D変換部43を3D画像を生成するように制御する。換言すると、制御部47は、3次元画像システム1が第2のモード(リンクモード)で動作するように制御する。
As a merit when using both results, for example, in the state where the cables 36a, 37a, and 37b are connected as shown in FIG. 3, if only one cable is insufficiently connected, only one result is obtained. Although the case where an insufficient state cannot be detected occurs, if both detections are used, it is possible to detect that the cable connection is insufficient.
In the present embodiment, the control unit 47 acquires a communication result in which the communication control unit 45 can communicate with the communication control unit 34a and the communication control unit 34b, and further outputs two video signals by the video signal detection unit 47a. When the detected detection result is acquired, the synchronization signal generated by the synchronization signal generation unit 46 is transmitted to the first processor 8A and the second processor 8B via the communication control unit 45. Then, the control unit 47 (internal synchronization control unit 47b) generates first and second video signals in synchronization with the synchronization signal transmitted from the 3D mixer 9 by the first processor 8A and the second processor 8B, respectively. And the 2D / 3D conversion unit 43 is controlled to generate a 3D image. In other words, the control unit 47 controls the 3D image system 1 to operate in the second mode (link mode).

これに対して、図4において説明したように一方のプロセッサのみからの映像信号及び通信結果を取得した場合には、制御部47は、当該プロセッサのみからの映像信号を2D/3D変換部43から出力するように制御する。この場合には、制御部47は、3次元画像システム1が第1のモード(スタンドアローンモード)で動作するように制御する。
図5と図6は、制御部47が第2のモードで動作させる場合と第1のモードで動作させる場合の説明図を示す。
図5に示すように、2つの映像信号が入力される第2のモード(リンクモード)の場合には、制御部47は同期信号生成部46が生成した同期信号を同期信号出力IF46aから通信ケーブル52a,52bを経由して、第1プロセッサ8Aの同期信号入力IF51aと、第2プロセッサ8Bの同期信号入力IF51bと送信する。
On the other hand, when the video signal and the communication result from only one processor are acquired as described in FIG. 4, the control unit 47 receives the video signal from only the processor from the 2D / 3D conversion unit 43. Control to output. In this case, the control unit 47 controls the 3D image system 1 to operate in the first mode (stand-alone mode).
5 and 6 are explanatory diagrams when the control unit 47 operates in the second mode and when operated in the first mode.
As shown in FIG. 5, in the case of the second mode (link mode) in which two video signals are input, the control unit 47 transmits the synchronization signal generated by the synchronization signal generation unit 46 from the synchronization signal output IF 46a to the communication cable. The data is transmitted to the synchronization signal input IF 51a of the first processor 8A and the synchronization signal input IF 51b of the second processor 8B via 52a and 52b.

なお、同期信号出力IF46a、同期信号入力IF51a、同期信号入力IF51bは、それぞれ通信制御部45,34a,34b内に設けたものを利用し、また通信ケーブル52a,52bは図2の通信ケーブル37a,37bを兼用しても良いし、兼用しないでケーブルを用いても良い。
このモードの場合、第1プロセッサ8A及び第2プロセッサ8Bのモード切替部35a,35bは、図5に示すように送信された同期信号を映像生成部31a,13bに出力する切替スイッチとして機能する。そして、映像生成部31a,13bは、共通の同期信号を用いて、それぞれ第1の映像信号及び第2の映像信号を生成し、3Dミキサ9に出力又は送信する。第2プロセッサ8Bは第2の映像信号を生成し、無線送信部38bを介して3Dミキサ9に無線送信する。3Dミキサ9内の無線受信部42bで受信した第2の映像信号と、有線で入力された第1の映像信号とが2D/3D変換部43に入力される。
Note that the synchronization signal output IF 46a, the synchronization signal input IF 51a, and the synchronization signal input IF 51b are provided in the communication control units 45, 34a, and 34b, respectively, and the communication cables 52a and 52b are the communication cables 37a and 52b in FIG. 37b may be shared, or a cable may be used without being shared.
In this mode, the mode switching units 35a and 35b of the first processor 8A and the second processor 8B function as a changeover switch that outputs the transmitted synchronization signal to the video generation units 31a and 13b as shown in FIG. The video generation units 31 a and 13 b generate a first video signal and a second video signal using a common synchronization signal, and output or transmit the first video signal and the second video signal to the 3D mixer 9. The second processor 8B generates a second video signal and wirelessly transmits it to the 3D mixer 9 via the wireless transmission unit 38b. The second video signal received by the wireless reception unit 42 b in the 3D mixer 9 and the first video signal input by wire are input to the 2D / 3D conversion unit 43.

2D/3D変換部43は、2つの映像信号を合成して3D画像の映像信号を生成し、映像出力IF44を介して第1モニタ10A等に出力する。また、無線送信部48は、液晶メガネ12にシャッタ信号を無線送信する。
なお、このモードにおいては、第1プロセッサ8A内の同期信号生成部33a及び第2プロセッサ8Bの同期信号生成部33bは、映像生成部31a,13bが生成する映像信号に関与しない状態となる。
一方、第1のモードの場合には、図6に示すように、3Dミキサ9には1つの映像信号が入力されるため、3Dミキサ9は、同期信号生成部46で生成した同期信号を3Dミキサ9の外部に出力しない。なお、図6における動作は、例えば第1プロセッサ8Aの電源がON、第2プロセッサ8Bの電源がOFFにされている場合を想定している。
The 2D / 3D conversion unit 43 combines the two video signals to generate a video signal of a 3D image, and outputs the video signal to the first monitor 10 </ b> A or the like via the video output IF 44. In addition, the wireless transmission unit 48 wirelessly transmits a shutter signal to the liquid crystal glasses 12.
In this mode, the synchronization signal generator 33a in the first processor 8A and the synchronization signal generator 33b in the second processor 8B are not involved in the video signals generated by the video generators 31a and 13b.
On the other hand, in the case of the first mode, as shown in FIG. 6, one video signal is input to the 3D mixer 9, and therefore the 3D mixer 9 3D Does not output to the outside of the mixer 9. The operation in FIG. 6 assumes a case where, for example, the first processor 8A is powered on and the second processor 8B is powered off.

このモードにおいては、モード切替部35aは、同期信号生成部33aにより生成した同期信号が映像生成部31aに入力される切替状態となり、第1プロセッサ8Aは、スタンドアローンモードで映像信号を生成し、生成した映像信号を3Dミキサ9に出力する。
3Dミキサ9内の2D/3D変換部43は、入力された映像信号をそのまま映像出力IF44に出力する。
In this mode, the mode switching unit 35a enters a switching state in which the synchronization signal generated by the synchronization signal generation unit 33a is input to the video generation unit 31a, and the first processor 8A generates a video signal in the stand-alone mode, The generated video signal is output to the 3D mixer 9.
The 2D / 3D conversion unit 43 in the 3D mixer 9 outputs the input video signal to the video output IF 44 as it is.

なお、図6においては、第1プロセッサ8Aが生成した第1の映像信号(右の映像信号)が有線で3Dミキサ9に入力される場合で示しているが、第1プロセッサ8Aの映像信号が3Dミキサ9に入力されない状態で、第2プロセッサ8Bによる映像信号が入力される場合も殆ど同様の動作となる。
図3に示すように、本実施形態においては、3Dミキサ9に近くに配置され、殆どの場合この3Dミキサ9と接続して使用されるプロセッサ8Aは、生成した映像信号を有線で3Dミキサ9に入力する構成にしている。これに対して、他方のプロセッサ8Bは、プロセッサ8Aと連携して3Dミキサ9に映像信号を入力する場合があると共に、3Dミキサ9に映像信号を入力しないで、プロセッサ8A側とは独立して映像信号の生成に使用する場合もある。
そのため、プロセッサ8Bは、無線で映像信号を3Dミキサ9に入力したり、入力停止(遮断)することが簡単にできるような構成にしている。このような構成にすることにより、後述する動作の説明から分かるように簡単な操作で3D画像と2D画像との表示を使い分けができるような構成にしている。
FIG. 6 shows the case where the first video signal (right video signal) generated by the first processor 8A is input to the 3D mixer 9 by wire, but the video signal of the first processor 8A is When the video signal is input by the second processor 8B without being input to the 3D mixer 9, the operation is almost the same.
As shown in FIG. 3, in this embodiment, the processor 8A, which is disposed near the 3D mixer 9 and used in most cases connected to the 3D mixer 9, uses the generated video signal by wire to the 3D mixer 9 as shown in FIG. It is configured to input to. On the other hand, the other processor 8B may input a video signal to the 3D mixer 9 in cooperation with the processor 8A, and does not input the video signal to the 3D mixer 9, but independently from the processor 8A side. It may also be used to generate video signals.
For this reason, the processor 8B is configured to easily input the video signal to the 3D mixer 9 or to stop (shut off) the input wirelessly. By adopting such a configuration, as can be understood from the description of the operation described later, the display of the 3D image and the 2D image can be selectively used with a simple operation.

このように本実施形態の3次元画像システム1は、同一の被写体を視差を持って撮像する第1の撮像部27a及び第2の撮像部27bを有し、前記第1の撮像部27a及び第2の撮像部27bを用いてそれぞれ生成された第1の信号及び第2の信号を出力する立体内視鏡2と、前記第1の信号に対して第1の映像信号を生成する処理を行う第1の映像信号処理手段としての第1プロセッサ8Aと、第1の映像信号処理手段と異なる筐体に設けられ、前記第2の信号に対して第2の映像信号を生成する処理を行う第2の映像信号処理手段としての第2プロセッサ8Bと、前記第1及び第2の映像信号処理手段における少なくとも一方の映像信号処理手段にとしての前記第2の映像信号処理手段に設けられ、少なくとも前記第2の映像信号を無線送信する無線映像送信手段としての無線送信部38bと、前記無線映像送信手段により無線送信された映像信号を受信する無線映像受信手段としての無線受信部42bと、前記無線映像受信手段を備え、前記第1の映像信号及び前記第2の映像信号が入力された場合には、前記第1の映像信号及び前記第2の映像信号を合成して3次元画像の映像信号を生成する3次元画像合成手段としての3Dミキサ9と、前記3次元画像合成手段に設けられ、前記第1の映像信号及び前記第2の映像信号の2つの映像信号を検出した場合には前記3次元画像合成手段が前記3次元画像の映像信号を生成して出力するように制御し、更に、1つの映像信号のみを検出した場合には検出した前記1つの映像信号のみを前記3次元画像合成手段が出力するように制御する制御手段としての制御部47と、前記3次元画像合成手段から出力される映像信号が入力され、当該映像信号に対応する2次元画像又は3次元画像を表示する第1のモニタ10Aと、を備えることを特徴とする。   As described above, the three-dimensional image system 1 of the present embodiment includes the first imaging unit 27a and the second imaging unit 27b that capture the same subject with parallax, and the first imaging unit 27a and the second imaging unit 27b. The stereoscopic endoscope 2 that outputs the first signal and the second signal respectively generated using the two imaging units 27b, and a process of generating a first video signal for the first signal A first processor 8A serving as a first video signal processing unit and a second processor that is provided in a case different from the first video signal processing unit and performs a process of generating a second video signal on the second signal. Provided in the second video signal processing means as at least one video signal processing means in the second processor 8B as the second video signal processing means and in the first and second video signal processing means, Wireless second video signal A wireless transmission unit 38b as a wireless video transmission unit for transmitting, a wireless reception unit 42b as a wireless video reception unit for receiving a video signal wirelessly transmitted by the wireless video transmission unit, and the wireless video reception unit, 3D image synthesis for synthesizing the first video signal and the second video signal to generate a video signal of a 3D image when the first video signal and the second video signal are input Provided in the 3D mixer 9 as the means and the three-dimensional image synthesis means, and when the two video signals of the first video signal and the second video signal are detected, the three-dimensional image synthesis means Control is performed to generate and output a video signal of a three-dimensional image, and when only one video signal is detected, only the detected one video signal is output by the three-dimensional image synthesis means. A control unit 47 serving as a control unit for controlling, a first monitor 10A that receives a video signal output from the three-dimensional image synthesis unit, and displays a two-dimensional image or a three-dimensional image corresponding to the video signal; It is characterized by providing.

次に本実施形態の動作を説明する。図7は、本実施形態における概略の動作を説明するフローチャートを示す。なお、第1プロセッサシステム3と第2プロセッサシステム4とは、例えば図2に示すように設定されているものとする。
図7に示すように3Dミキサ9を含む第1プロセッサシステム3と、3Dミキサ9を含まない第2プロセッサシステム4との電源が投入されてそれぞれ起動した場合、ステップS1に示すように3Dミキサ9内の制御部47は、第1プロセッサシステム3の3Dミキサ9にプロセッサ8A,8Bが接続されているか否かの判定を行う。
上述したように、2D/3D変換部43の映像入力端に入力される2つの映像信号の信号レベルが閾値を超えるか否かを映像検出部47aが検出することにより、接続されているか否かの判定を行うようにしても良いし、通信により2つのプロセッサ8A,8Bが接続されているか否かの判定を行うようにしても良いし、両方を用いて判定しても良い。なお、第1プロセッサシステム3と、第2プロセッサシステム4とが時間的に前後して起動する場合の動作に関しては、後述する。
Next, the operation of this embodiment will be described. FIG. 7 is a flowchart for explaining the schematic operation in the present embodiment. It is assumed that the first processor system 3 and the second processor system 4 are set as shown in FIG. 2, for example.
As shown in FIG. 7, when the first processor system 3 including the 3D mixer 9 and the second processor system 4 not including the 3D mixer 9 are turned on and started up, as shown in step S1, the 3D mixer 9 is activated. The control unit 47 determines whether or not the processors 8A and 8B are connected to the 3D mixer 9 of the first processor system 3.
As described above, whether or not the video detection unit 47a is connected by detecting whether or not the signal level of the two video signals input to the video input terminal of the 2D / 3D conversion unit 43 exceeds a threshold value. It may be possible to determine whether or not the two processors 8A and 8B are connected by communication, or both may be determined. The operation when the first processor system 3 and the second processor system 4 are started up and down in terms of time will be described later.

ステップS1の判定処理において、2つの映像信号の入力が検出されない場合には、ステップS2に示すように第1プロセッサシステム3のプロセッサ8Aと、第2プロセッサシステム4のプロセッサ8Bとをそれぞれ2Dシステムとして動作するように切替(設定)する。この場合、3Dミキサ9の2D/3D変換部43は、第1プロセッサシステム3内の第1プロセッサ8Aからの2D画像の映像信号をそのまま、第1モニタ10Aに出力する状態となる。
そして、ステップS3に示すように、2つのプロセッサシステムは、それぞれ独立した第1のモード(スタンドアローンモード)で動作する状態になる。
一方、ステップS1の判定処理において2つの映像信号が入力される判定結果の場合にはステップS4に示すように制御部47は、2つのプロセッサ8A,8Bが第2のモード(連携モード)で動作するように切り替える(設定する)。
If the input of two video signals is not detected in the determination process of step S1, the processor 8A of the first processor system 3 and the processor 8B of the second processor system 4 are each set as a 2D system as shown in step S2. Switch (set) to operate. In this case, the 2D / 3D conversion unit 43 of the 3D mixer 9 is in a state of outputting the video signal of the 2D image from the first processor 8A in the first processor system 3 to the first monitor 10A as it is.
Then, as shown in step S3, the two processor systems are in a state of operating in the first mode (standalone mode) that is independent of each other.
On the other hand, in the case of a determination result in which two video signals are input in the determination process of step S1, as shown in step S4, the control unit 47 operates the two processors 8A and 8B in the second mode (cooperation mode). Switch to (set).

この場合には、3Dミキサ9の同期信号生成部46は、生成した同期信号を2つのプロセッサ8A,8Bに送信し、両プロセッサ8A,8Bは、この同期信号に同期した第1の映像信号及び第2の映像信号を生成する。
また、ステップS5に示すように3Dミキサ9内の2D/3D変換部43は、2つの映像信号から3D画像の映像信号を生成する3Dモード状態に切り替えられる。そして、第1モニタ10Aには、3D画像が表示される。
なお、ステップS3又はステップS5の状態においてもステップS1の処理が行われるため、第1のモードから第2のモード、又はこの逆の切り替えも行われる。
次に図8Aを参照してより詳細な動作説明を行う。図8Aは、第1プロセッサシステム3が第2プロセッサシステム4より先に起動した場合の動作を示す。
In this case, the synchronization signal generation unit 46 of the 3D mixer 9 transmits the generated synchronization signal to the two processors 8A and 8B, and both the processors 8A and 8B receive the first video signal synchronized with the synchronization signal and A second video signal is generated.
Further, as shown in step S5, the 2D / 3D conversion unit 43 in the 3D mixer 9 is switched to a 3D mode state in which a video signal of a 3D image is generated from the two video signals. Then, a 3D image is displayed on the first monitor 10A.
Note that since the process of step S1 is also performed in the state of step S3 or step S5, switching from the first mode to the second mode or vice versa is also performed.
Next, a more detailed operation will be described with reference to FIG. 8A. FIG. 8A shows an operation when the first processor system 3 is started before the second processor system 4.

なお、第1プロセッサシステム3と第2プロセッサシステム4とは、例えば図2に示すように設定されているものとする。また、図8A(後述する図8B等も同様)における縦軸(上から下)が時間の経過方向となる。
図8Aに示すように第2プロセッサシステム4の電源がOFFの状態における、ある時間において第1プロセッサシステム3の電源がONの処理Sp10がされると、制御部47は、処理Sp11に示すように3Dミキサ9に2つのプロセッサ8A,8Bが信号を入力できるように接続又はこれに等価な状態になっているか否かの接続検知を行う。なお、ここでの接続検知は、2つのプロセッサ8A,8Bが3Dミキサ9に2つの映像信号を入力する状態と、ケーブル36a,36bにより3Dミキサ9と通信を行うことができる状態であるか否かの検知を含む。このため、接続検知の代わりに、信号検知を用いても良い。
It is assumed that the first processor system 3 and the second processor system 4 are set as shown in FIG. 2, for example. In addition, the vertical axis (from top to bottom) in FIG. 8A (the same applies to FIG. 8B and the like described later) is the direction of time passage.
As shown in FIG. 8A, when the processing Sp10 in which the power of the first processor system 3 is turned on at a certain time in the state where the power of the second processor system 4 is turned off is performed, the control unit 47 causes the processing Sp11 to Connection detection is performed to determine whether the two processors 8A and 8B are connected to the 3D mixer 9 so that signals can be input or are in an equivalent state. The connection detection here is a state in which the two processors 8A and 8B input two video signals to the 3D mixer 9 and a state in which communication with the 3D mixer 9 can be performed by the cables 36a and 36b. Including detection. For this reason, signal detection may be used instead of connection detection.

この接続検知の処理は、定期的に行われる。上記の図8Aの場合には、プロセッサ8Bの接続(信号)が検知されないため、処理Sp12のように制御部47は、プロセッサ8B(又は第2プロセッサシステム4)の接続(信号)なしと判定する。
この判定結果に従って、処理Sp13に示すように制御部47は、プロセッサ8Aを第1のモード(スタンドアローンモード)に設定する。また、処理Sp14に示すように制御部47は、プロセッサシステム3の3Dミキサ9内の2D/3D変換部43を2Dモードに設定する。従って、3Dミキサ9は、2Dモードで動作する状態の設定となる。また、処理Sp15に示すようにプロセッサシステム3は、2Dモードで起動する。
プロセッサシステム3が2Dモードで起動した後の時間において、プロセッサシステム4の電源がONにされる処理Sp16が行われたとする。すると、制御部47は、処理Sp17に示すように3Dミキサ9に2つのプロセッサ8A,8Bが接続されているか否かの接続検知の判定を行った際に、プロセッサ8Bの接続(信号)が検知され、処理Sp18のようにプロセッサ8Bの接続(信号)ありと判定する。
This connection detection process is performed periodically. In the case of FIG. 8A described above, since the connection (signal) of the processor 8B is not detected, the control unit 47 determines that there is no connection (signal) of the processor 8B (or the second processor system 4) as in processing Sp12. .
According to this determination result, as shown in process Sp13, the control unit 47 sets the processor 8A to the first mode (stand-alone mode). Further, as shown in process Sp14, the control unit 47 sets the 2D / 3D conversion unit 43 in the 3D mixer 9 of the processor system 3 to the 2D mode. Accordingly, the 3D mixer 9 is set to operate in the 2D mode. Further, as shown in process Sp15, the processor system 3 is activated in the 2D mode.
Assume that processing Sp16 in which the power of the processor system 4 is turned on is performed at a time after the processor system 3 is activated in the 2D mode. Then, when the control unit 47 determines whether or not the two processors 8A and 8B are connected to the 3D mixer 9 as shown in the process Sp17, the connection (signal) of the processor 8B is detected. Then, it is determined that there is a connection (signal) of the processor 8B as in the process Sp18.

この判定後に、処理Sp19Aに示すように制御部47は、プロセッサ8Aを第2のモード(リンクモード)に設定する。換言すると、制御部47は、プロセッサ8Aを第1のモードから第2のモード(リンクモード)に切り替える。
また、処理Sp19Bに示すように制御部47は、プロセッサ8Bを第2のモード(リンクモード)に設定する。
また、処理Sp20に示すように制御部47は、2D/3D変換部43を3Dモードに設定する。換言すると、制御部47は、2D/3D変換部43を2Dモードから3Dモードに切り替える。
このようにして、処理Sp21に示すようにプロセッサシステム3と4は、3Dプロセッサシステムとして起動する。図8Aにおいては、第1プロセッサシステム3の電源が先にONとなる場合を説明したが、図8Bにおいて第2プロセッサシステム4の電源が先にONとなる場合を説明する。
After this determination, as shown in process Sp19A, the control unit 47 sets the processor 8A to the second mode (link mode). In other words, the control unit 47 switches the processor 8A from the first mode to the second mode (link mode).
Further, as shown in process Sp19B, the control unit 47 sets the processor 8B to the second mode (link mode).
Further, as shown in process Sp20, the control unit 47 sets the 2D / 3D conversion unit 43 to the 3D mode. In other words, the control unit 47 switches the 2D / 3D conversion unit 43 from the 2D mode to the 3D mode.
In this way, as shown in process Sp21, the processor systems 3 and 4 are activated as a 3D processor system. Although the case where the power supply of the first processor system 3 is turned on first has been described in FIG. 8A, the case where the power supply of the second processor system 4 is turned on first in FIG. 8B will be described.

図8Bに示すように第1プロセッサシステム3の電源がOFFの状態における、ある時間において第2プロセッサシステム4の電源がONの処理Sp30がされると、処理Sp31に示すようにプロセッサシステム4は第1のモード(スタンドアローンモード)で起動する。なお、この場合には、3D内視鏡2の光源用コネクタ17は光源装置7Bに接続されているものとする。プロセッサシステム4が起動した場合には、プロセッサ8Bが生成した2D画像の映像信号が第2モニタ10Bに出力され、2D画像が表示される。
このプロセッサシステム4が起動後に、第1プロセッサシステム3の電源が処理Sp32でONにされたとする。すると、処理Sp33に示すように第1プロセッサシステム3内の制御部47は、(図8Aにおいて説明したように)3Dミキサ9にプロセッサ8A,8Bが接続されているか否かの接続検知を行う(接続検知の判定を行う)。
この場合には、処理Sp34に示すように制御部47は、3Dミキサ9に2つのプロセッサ8A,8Bが接続されている(信号が入力されている)と判定する。なお、プロセッサシステム4の無線送信部38bは、起動後に無線で映像信号を送信する状態を維持するが3Dミキサ9と通信を行う状態になった後に無線送信部38bが無線送信するようにしても良い。
As shown in FIG. 8B, when the processing Sp30 in which the power of the second processor system 4 is turned on at a certain time in the state where the power of the first processor system 3 is turned off is performed, the processor system 4 will Start in mode 1 (stand-alone mode). In this case, the light source connector 17 of the 3D endoscope 2 is connected to the light source device 7B. When the processor system 4 is activated, the video signal of the 2D image generated by the processor 8B is output to the second monitor 10B, and the 2D image is displayed.
It is assumed that the power supply of the first processor system 3 is turned on in the process Sp32 after the processor system 4 is activated. Then, as shown in process Sp33, the control unit 47 in the first processor system 3 performs connection detection as to whether or not the processors 8A and 8B are connected to the 3D mixer 9 (as described in FIG. 8A) ( Determine connection detection).
In this case, as shown in process Sp34, the control unit 47 determines that the two processors 8A and 8B are connected to the 3D mixer 9 (signals are input). Note that the wireless transmission unit 38b of the processor system 4 maintains a state in which the video signal is transmitted wirelessly after activation, but the wireless transmission unit 38b may wirelessly transmit after entering the state of communicating with the 3D mixer 9. good.

処理Sp34以降は、図8Aにおける処理Sp19A−21と殆ど同様の処理となる。つまり、処理Sp35Aに示すように制御部47は、プロセッサ8Aを第2のモード(リンクモード)に設定する。また、処理Sp35Bに示すように制御部47は、プロセッサ8Bを第2のモード(リンクモード)に設定する。換言すると、制御部47は、プロセッサ8Bを第1のモードから第2のモード(リンクモード)に切り替える。
また、処理Sp36に示すように制御部47は、2D/3D変換部43を3Dモードに設定する。換言すると、制御部47は、2D/3D変換部43を2Dモードから3Dモードに切り替える。
このようにして、処理Sp37に示すようにプロセッサシステム3と4は、3Dプロセッサシステムとして起動する。
次に図9を参照して3Dミキサ9,第1プロセッサ8A,第2プロセッサ8B内部の動作を説明する。
After the process Sp34, the process is almost the same as the process Sp19A-21 in FIG. 8A. That is, as shown in process Sp35A, the control unit 47 sets the processor 8A to the second mode (link mode). Further, as shown in process Sp35B, the control unit 47 sets the processor 8B to the second mode (link mode). In other words, the control unit 47 switches the processor 8B from the first mode to the second mode (link mode).
Further, as shown in process Sp36, the control unit 47 sets the 2D / 3D conversion unit 43 to the 3D mode. In other words, the control unit 47 switches the 2D / 3D conversion unit 43 from the 2D mode to the 3D mode.
In this way, as shown in process Sp37, the processor systems 3 and 4 are activated as a 3D processor system.
Next, the internal operations of the 3D mixer 9, the first processor 8A, and the second processor 8B will be described with reference to FIG.

図2に示すように接続して、3Dミキサ9,第1プロセッサ8A,第2プロセッサ8B等の電源を投入する。この場合、図9に示すように第1プロセッサ8Aの映像出力IF32aは、3Dミキサ9と有線で接続され、モード切替部35aはスタンドアローンモードで起動する。また、第2プロセッサ8Bの無線送信部38bは、3Dミキサ9の無線受信部42bに無線で映像信号を送信し、モード切替部35bはスタンドアローンモードで起動する。
また、3Dミキサ9の右映像入力部41aには第1プロセッサの右目用の映像信号が入力され、無線受信部42bには第2プロセッサ(図9ではPRと略記)の左目用の映像信号が入力され、映像出力IF44は、2Dの映像信号を出力する。なお、図9においては、3Dミキサ9の制御部として通信制御部45と制御部47とを1つのブロックで示している。
As shown in FIG. 2, the 3D mixer 9, the first processor 8A, the second processor 8B, and the like are powered on. In this case, as shown in FIG. 9, the video output IF 32a of the first processor 8A is connected to the 3D mixer 9 by wire, and the mode switching unit 35a is activated in the stand-alone mode. In addition, the wireless transmission unit 38b of the second processor 8B transmits the video signal wirelessly to the wireless reception unit 42b of the 3D mixer 9, and the mode switching unit 35b is activated in the stand-alone mode.
Also, the right video input unit 41a of the 3D mixer 9 receives the video signal for the right eye of the first processor, and the radio reception unit 42b receives the video signal for the left eye of the second processor (abbreviated as PR in FIG. 9). The video output IF 44 is input and outputs a 2D video signal. In FIG. 9, the communication control unit 45 and the control unit 47 are shown as one block as the control unit of the 3D mixer 9.

そして、制御部47内の映像検出部47aは、右映像入力部41aから及び無線受信部42bから2D/3D変換部43に入力される右及び左の映像信号の有無を検出する。そして、右及び左の映像信号有りか否かの判定を行う。この場合には、両映像信号が有りと判定する。そして、制御部47は、リンクモードに設定する処理を行う。
制御部47は、通信制御部45からプロセッサ8A,8Bの通信制御部34a,34bにリンクモードに設定するコマンドを送り、両通信制御部34a,34bは、そのコマンドを受信する。そして、モード切替部35a,35bをリンクモードに設定する。リンクモードに設定することにより、図5で説明したように両プロセッサ8A,8Bは3Dミキサ9からの同期信号を受信して、該同期信号に同期した映像信号をそれぞれ生成する。
また、制御部47は、3Dミキサ9の2D/3D変換部43が3Dの映像信号を出力するように制御し、映像出力部44は3Dの映像信号をモニタ10Aに出力する。
The video detection unit 47a in the control unit 47 detects the presence / absence of right and left video signals input from the right video input unit 41a and from the wireless reception unit 42b to the 2D / 3D conversion unit 43. Then, it is determined whether there are right and left video signals. In this case, it is determined that both video signals are present. And the control part 47 performs the process set to link mode.
The control unit 47 sends a command for setting the link mode from the communication control unit 45 to the communication control units 34a and 34b of the processors 8A and 8B, and both communication control units 34a and 34b receive the command. Then, the mode switching units 35a and 35b are set to the link mode. By setting the link mode, both processors 8A and 8B receive the synchronization signal from the 3D mixer 9 and generate video signals synchronized with the synchronization signal as described in FIG.
The control unit 47 controls the 2D / 3D conversion unit 43 of the 3D mixer 9 to output a 3D video signal, and the video output unit 44 outputs the 3D video signal to the monitor 10A.

このようにモニタ10Aに3Dの映像信号が出力して、モニタ10Aに3D画像が表示される状態において、例えばプロセッサ8Bの無線送信部38bを停止して、図9に示すようにプロセッサ8Bは3Dミキサ9から分離した状態にする。
この状態においては、プロセッサ8Bの無線送信部38bは3Dミキサ9の無線受信部42bから切断された状態となり、また通信制御部34bは、3Dミキサ9の通信制御部45と通信により3Dミキサ9からの切断を確認する。そして、プロセッサ8Bのモード切替部35bは、リンクモードからスタンドアローンモードに切り替える。
また、この状態においては、3Dミキサ9の制御部47は、定期的に映像信号の入力を検知し、その際、右映像入力部41aへの映像信号の入力を検知するが、無線受信部42bへの映像信号の入力を検知しない。図9では、無信号と表記している。
従って、右及び左の映像信号有りか否かに関しては、右の映像信号のみであり、両映像信号の入力は無しになる。この結果、3Dミキサ9の制御部47は、通信制御部45を介して第1プロセッサ8Aの通信制御部34aにスタンドアローンモードに設定するコマンドを送信し、通信制御部34aはこのコマンドを受信する。そして、通信制御部34aはモード切替部35aをスタンドアローンモードに設定する。
In the state where the 3D video signal is output to the monitor 10A and the 3D image is displayed on the monitor 10A as described above, for example, the wireless transmission unit 38b of the processor 8B is stopped, and the processor 8B Separated from the mixer 9.
In this state, the wireless transmission unit 38b of the processor 8B is disconnected from the wireless reception unit 42b of the 3D mixer 9, and the communication control unit 34b communicates with the communication control unit 45 of the 3D mixer 9 from the 3D mixer 9. Check for disconnection. Then, the mode switching unit 35b of the processor 8B switches from the link mode to the stand-alone mode.
In this state, the control unit 47 of the 3D mixer 9 periodically detects the input of the video signal, and at this time, detects the input of the video signal to the right video input unit 41a, but the wireless reception unit 42b. Does not detect video signal input to. In FIG. 9, it is described as no signal.
Accordingly, whether or not the right and left video signals are present is only the right video signal, and neither video signal is input. As a result, the control unit 47 of the 3D mixer 9 transmits a command for setting the stand-alone mode to the communication control unit 34a of the first processor 8A via the communication control unit 45, and the communication control unit 34a receives this command. . Then, the communication control unit 34a sets the mode switching unit 35a to the stand-alone mode.

また、3Dミキサ9の制御部47は、2D/3D変換部43を2Dモードで動作するように制御し、映像出力IF44は、2Dの映像信号をモニタ10Aに出力する。
従って、モニタ10Aには第1プロセッサ8Aによる2Dの画像を表示する状態となる。この状態において、第2プロセッサ8Bの無線送信部38bを送信する状態に設定することにより、第2プロセッサ8Bの映像信号を3Dミキサ9に入力することができる(図9では3Dミキサ9に接続と表記)。
無線送信部38bの映像信号を3Dミキサ9に入力する状態にすると、3Dミキサ9の無線受信部42bにこの映像信号が入力される状態となる。
従って、制御部47の映像検出部47aは、2つの映像信号の入力を検知し、両映像信号有りと判定する。また、制御部47は、通信制御部45を介して第1プロセッサ8Aの通信制御部34aと第2プロセッサ8Bの通信制御部34bとにリンクモードに設定するコマンドを送信し、通信制御部34aと34bはこのコマンドを受信する。そして、両通信制御部34a、34bはモード切替部35a、35bをリンクモードに設定する。
The control unit 47 of the 3D mixer 9 controls the 2D / 3D conversion unit 43 to operate in the 2D mode, and the video output IF 44 outputs a 2D video signal to the monitor 10A.
Accordingly, the monitor 10A displays a 2D image by the first processor 8A. In this state, the video signal of the second processor 8B can be input to the 3D mixer 9 by setting the wireless transmission unit 38b of the second processor 8B to transmit (in FIG. 9, the video signal is connected to the 3D mixer 9). Notation).
When the video signal of the wireless transmission unit 38b is input to the 3D mixer 9, the video signal is input to the wireless reception unit 42b of the 3D mixer 9.
Accordingly, the video detection unit 47a of the control unit 47 detects the input of two video signals and determines that both video signals are present. Further, the control unit 47 transmits a command for setting the link mode to the communication control unit 34a of the first processor 8A and the communication control unit 34b of the second processor 8B via the communication control unit 45, and the communication control unit 34a 34b receives this command. Then, both communication control units 34a and 34b set the mode switching units 35a and 35b to the link mode.

また、3Dミキサ9の制御部47は、2D/3D変換部43を3Dモードで動作するように制御し、映像出力IF44は、3Dの映像信号をモニタ10Aに出力する。そして、モニタ10Aには3D画像を表示する状態となる。
このように動作する本実施形態は、3Dミキサ9内の2D/3D変換部43に2つの映像信号を入力した場合には、3D画像を生成して第1モニタ10Aに3D画像を表示させることができ、1つの映像信号のみを入力した場合には、2D画像を生成して第1モニタ10Aに2D画像を表示させることができる。
従って、本実施形態によれば、簡単に3D画像(立体画像)と2D画像(2次元画像)との表示に使い分けて利用することができる利便性の高い3次元画像システムを提供できる。
また、本実施形態によれば、3Dミキサ9と共にプロセッサ8A等を搭載した一方のカート5に対して、(別体のカート6をカート5から引き離す等して)カート6のプロセッサシステム4を通常の2Dの映像信号を生成する内視鏡システムとして使用することが簡単な作業でできる。例えば3Dミキサ9の通信制御部45とプロセッサ8B間を接続するためのケーブル37bを外すことにより、カート6のプロセッサシステム4を通常の2Dの映像信号を生成する内視鏡システムとして使用することができる。これに対して、第1の従来例は、このような使い分けができない。
The control unit 47 of the 3D mixer 9 controls the 2D / 3D conversion unit 43 to operate in the 3D mode, and the video output IF 44 outputs a 3D video signal to the monitor 10A. Then, a 3D image is displayed on the monitor 10A.
In this embodiment that operates as described above, when two video signals are input to the 2D / 3D conversion unit 43 in the 3D mixer 9, a 3D image is generated and displayed on the first monitor 10A. When only one video signal is input, a 2D image can be generated and displayed on the first monitor 10A.
Therefore, according to the present embodiment, it is possible to provide a highly convenient 3D image system that can be easily used for displaying 3D images (stereoscopic images) and 2D images (2D images).
In addition, according to the present embodiment, the processor system 4 of the cart 6 is usually used for one cart 5 in which the processor 8A and the like are mounted together with the 3D mixer 9 (for example, by separating the separate cart 6 from the cart 5). It can be used as an endoscope system for generating a 2D video signal. For example, by removing the cable 37b for connecting the communication control unit 45 of the 3D mixer 9 and the processor 8B, the processor system 4 of the cart 6 can be used as an endoscope system that generates a normal 2D video signal. it can. In contrast, the first conventional example cannot be used properly.

上述した第1の実施形態においては、3Dミキサ9の近くに配置される第1プロセッサ8Aは、生成した映像信号を有線で3Dミキサ9に入力する構成の場合を説明したが、以下に説明するように無線で3Dミキサ9に入力する構成にしても良い。この第1変形例の3次元画像システム1Bの外観的な構成は図1,図2と同様となり、第1プロセッサなどの内部構成は図10のようになる。
図10に示す第1変形例の3次元画像システム1Bは、図3における第1プロセッサ8Aの内部構成を第2プロセッサ8Bと同様の構成にしている。図10に示す第1プロセッサ8Aは、映像生成部31aの映像信号を映像出力IF32aに出力すると共に、無線で送信する無線送信部38aに出力する。
In the first embodiment described above, the first processor 8A arranged near the 3D mixer 9 has been described as having a configuration in which the generated video signal is input to the 3D mixer 9 by wire, but will be described below. In this way, the 3D mixer 9 may be input wirelessly. The external configuration of the three-dimensional image system 1B of the first modification is the same as that shown in FIGS. 1 and 2, and the internal configuration of the first processor and the like is as shown in FIG.
The three-dimensional image system 1B of the first modification shown in FIG. 10 has the same internal configuration of the first processor 8A in FIG. 3 as that of the second processor 8B. The first processor 8A shown in FIG. 10 outputs the video signal of the video generation unit 31a to the video output IF 32a and also outputs it to the wireless transmission unit 38a that transmits wirelessly.

また、図10の3Dミキサ9は、図3に示した3Dミキサ9において、さらに前記無線送信部38aにより無線で送信される映像信号を受信する無線受信部42aを有し、この無線受信部42aで受信した映像信号は2D/3D変換部43に入力される。なお、本変形例においては、図10に示すプロセッサ8Aを使用する場合には、3Dミキサ9において、図3で示した右映像入力部41aを備える構成は必要でないが、図3に示したプロセッサ8Aを用いて3次元画像システムを構成する選択に対応できるように、無線受信部42aと共に、右映像入力部41aを備える構成にしても良い。このため、図10においては右映像入力部41aを点線で示す。
また、本変形例では、第1プロセッサ8Aは、第2プロセッサ8Bと同様に無線で映像信号を送信するため、図3において必要としたケーブル36aが不要となる。
Further, the 3D mixer 9 of FIG. 10 further includes a wireless reception unit 42a for receiving a video signal transmitted wirelessly by the wireless transmission unit 38a in the 3D mixer 9 shown in FIG. 3, and the wireless reception unit 42a. The 2D / 3D conversion unit 43 inputs the video signal received at 1. In this modification, when the processor 8A shown in FIG. 10 is used, the 3D mixer 9 is not required to have the configuration including the right video input unit 41a shown in FIG. 3, but the processor shown in FIG. A configuration may be adopted in which the right video input unit 41a is provided together with the wireless reception unit 42a so as to cope with the selection of configuring the three-dimensional image system using 8A. For this reason, in FIG. 10, the right image input unit 41a is indicated by a dotted line.
In the present modification, the first processor 8A transmits the video signal wirelessly in the same manner as the second processor 8B, so the cable 36a required in FIG. 3 is not necessary.

なお、本変形例においては、両プロセッサ8A,8Bとも無線で映像信号を送信するために、無線送信部38aと無線送信部38bとがそれぞれ送信する送信周波数を異なる周波数に設定することができる構成にしている。また、無線受信部42aと無線受信部42bがそれぞれ受信する受信周波数は、それぞれ無線送信部38aの送信周波数、無線送信部38bの送信周波数に一致するように設定することができる構成にしている。
そして、このような設定後においては、プロセッサ8Aにおける無線送信部38aの電源をONにすると、無線送信部38aが送信する映像信号を3Dミキサ9の無線受信部42aが受信する。また、同様に、プロセッサ8Bにおける無線送信部38bの電源をONにすると、無線送信部38bが送信する映像信号を3Dミキサ9の無線受信部42bが受信する。
In the present modification, both processors 8A and 8B transmit video signals wirelessly, so that the transmission frequencies transmitted by the wireless transmission unit 38a and the wireless transmission unit 38b can be set to different frequencies. I have to. The reception frequencies received by the wireless reception unit 42a and the wireless reception unit 42b can be set to match the transmission frequency of the wireless transmission unit 38a and the transmission frequency of the wireless transmission unit 38b, respectively.
After such setting, when the power of the wireless transmission unit 38a in the processor 8A is turned on, the video signal transmitted by the wireless transmission unit 38a is received by the wireless reception unit 42a of the 3D mixer 9. Similarly, when the power of the wireless transmission unit 38b in the processor 8B is turned on, the wireless reception unit 42b of the 3D mixer 9 receives the video signal transmitted by the wireless transmission unit 38b.

また、プロセッサ8Aにおける無線送信部38aの電源をOFFすると、無線送信部38aは、映像信号の送信を停止し、同様にプロセッサ8Bにおける無線送信部38bの電源をOFFすると、無線送信部38bは、映像信号の送信を停止する。
その他の構成は、第1の実施形態と同様である。本変形例の動作は、上述した第1の実施形態におけるプロセッサ8Aが有線で3Dミキサ9に映像信号を入力する構成、つまりプロセッサ8Aがケーブル36aを介して3Dミキサ9に映像信号を入力する動作を無線送信部38aから無線で3Dミキサ9の無線受信部42aに映像信号を入力する動作に読み替える動作に相当する。
本変形例においては、ケーブル36aを用いることなく、プロセッサ8Aで生成した映像信号を無線で3Dミキサ9に送信することができるため、術者などのユーザがケーブル36aでプロセッサ8Aと3Dミキサ9とを接続する作業が不要となる効果を有する。その他、第1の実施形態と同様の作用効果を有する。
When the power of the wireless transmission unit 38a in the processor 8A is turned off, the wireless transmission unit 38a stops the transmission of the video signal. Similarly, when the power of the wireless transmission unit 38b in the processor 8B is turned off, the wireless transmission unit 38b Stop sending video signals.
Other configurations are the same as those of the first embodiment. The operation of this modification is the configuration in which the processor 8A in the first embodiment described above inputs a video signal to the 3D mixer 9 by wire, that is, the operation in which the processor 8A inputs the video signal to the 3D mixer 9 via the cable 36a. Corresponds to an operation of reading the video signal from the wireless transmission unit 38a wirelessly to the wireless reception unit 42a of the 3D mixer 9.
In the present modification, the video signal generated by the processor 8A can be wirelessly transmitted to the 3D mixer 9 without using the cable 36a, so that a user such as an operator can connect the processor 8A and the 3D mixer 9 with the cable 36a. This has the effect of eliminating the need to connect the two. In addition, it has the same function and effect as the first embodiment.

なお、記録装置11は、第1モニタ10Aに出力される映像信号を記録すると、3Dの映像信号と2Dの映像信号とを混在した状態で記録する場合が発生する。一方、記録装置11に記録された映像信号を再生する場合には、3Dモニタにおいては、2Dフォーマットの2Dの映像信号と、3Dフォーマットの3Dの映像信号とのいずれの映像信号に対しても再生することができるが、2Dモニタにおいては、2Dフォーマットの2Dの映像信号は再生できるが、3Dフォーマットの3Dの映像信号を正しく表示することができないので、2Dと3Dが混在する映像信号(2D/3D混在映像信号)を記録した場合には、再生できる環境が大幅に制限されてしまう。
このため、図3又は図10において、さらに点線で示すように2Dの映像信号(ここでは右の映像信号)を映像出力IF44を介して記録装置11の内部の2D記録部(又は2D録画部)62b(図11参照)に2Dの映像信号の入力端に入力し、2D記録部62bは、入力される2Dの映像信号を専用に記録(録画)する構成にしても良い。
Note that when the recording device 11 records the video signal output to the first monitor 10A, the recording device 11 may record the 3D video signal and the 2D video signal in a mixed state. On the other hand, when the video signal recorded in the recording device 11 is reproduced, the 3D monitor reproduces both the 2D video signal in 2D format and the 3D video signal in 3D format. However, in a 2D monitor, a 2D video signal in 2D format can be played back, but a 3D video signal in 3D format cannot be displayed correctly. When a 3D mixed video signal) is recorded, the environment in which playback is possible is greatly limited.
Therefore, in FIG. 3 or FIG. 10, as indicated by a dotted line, a 2D video signal (here, the right video signal) is converted into a 2D recording unit (or 2D recording unit) inside the recording device 11 via the video output IF 44. The 2D video signal may be input to the input end of the 2D video signal in 62b (see FIG. 11), and the 2D recording unit 62b may record (record) the input 2D video signal exclusively.

また、記録装置11が、図10における映像出力IF44から実線で示す経路で入力される2D又は3Dの映像信号に対しては、3Dミキサ9内の制御部47の(点線で示す)記録制御部47cが記録装置11内部の3D記録部(又は3D録画部)62a(図11参照)によって3Dの映像信号を専用に記録(録画)するように制御する構成にしても良い。
図11は本変形例の場合の記録装置11の概略の構成例を示す。2D/3Dの映像信号は、インタフェース(IF)61aを介して3Dの映像信号を記録する3D記録部62aに入力され、記録される。また、2Dの映像信号は、IF61bを介して2Dの映像信号を記録する2D記録部62bに入力さ、記録される。
また、制御部47からの3DモードのON/OFF信号は、通信IF61cを介して記録の制御を行う記録制御部63に入力される。
For the 2D or 3D video signal input from the video output IF 44 in FIG. 10 through the path indicated by the solid line, the recording control unit (indicated by the dotted line) of the control unit 47 in the 3D mixer 9 is used. 47c may be configured to record (record) a 3D video signal exclusively by a 3D recording unit (or 3D recording unit) 62a (see FIG. 11) in the recording apparatus 11.
FIG. 11 shows a schematic configuration example of the recording apparatus 11 in the case of this modification. The 2D / 3D video signal is input to the 3D recording unit 62a for recording the 3D video signal via the interface (IF) 61a and recorded. Further, the 2D video signal is input and recorded in the 2D recording unit 62b that records the 2D video signal via the IF 61b.
The 3D mode ON / OFF signal from the control unit 47 is input to the recording control unit 63 that controls recording via the communication IF 61c.

記録制御部63は、通信IF61cを介して入力される信号に応じて、3D記録部62aと、2D記録部62bの記録の制御を行う。
図12は、この記録装置11を用いて記録を行う場合の動作の説明図を示す。図12の動作例として、記録装置11に2D又は3Dの映像信号が入力される場合には、全て記録するように設定されている場合で説明する。より具体的には、2Dの映像信号は常時入力され、3Dの映像信号は、入力される期間と入力されない期間がある場合で説明する。
そして、制御部47(の記録制御部47c)が3Dモードの切替(ON/OFF)の信号を記録装置11に送り、記録装置11は、3Dモードに設定された場合には3D記録部62aは、3Dモードの3Dの映像信号を記録し、2D記録部62bは常時2Dの映像信号を記録する。
The recording control unit 63 controls recording of the 3D recording unit 62a and the 2D recording unit 62b according to a signal input via the communication IF 61c.
FIG. 12 is an explanatory diagram of an operation when recording is performed using the recording apparatus 11. As an example of the operation in FIG. 12, a case where 2D or 3D video signals are input to the recording apparatus 11 is set to record all. More specifically, a case where a 2D video signal is always input and a 3D video signal has a period during which it is input and a period during which it is not input will be described.
Then, the control unit 47 (the recording control unit 47c) sends a 3D mode switching (ON / OFF) signal to the recording device 11, and when the recording device 11 is set to the 3D mode, the 3D recording unit 62a The 3D video signal in the 3D mode is recorded, and the 2D recording unit 62b always records the 2D video signal.

上記のように、記録装置11は、内部に2つの記録部62a,62bを備え、記録部62a,62bは、入力される映像信号をそれぞれ3Dフォーマット専用、2Dフォーマット専用で記録する。
図12における時間t1から始まる最初の期間T1においては、第1プロセッサ8Aのみが2Dの映像信号を出力する状態(図12ではONで示す)であり、3Dミキサ9は2Dの映像信号を出力し、第1モニタ10Aも2Dの映像信号の2D画像を表示する。
この場合、記録装置11における記録部62bは、2Dフォーマット専用であるので、2Dの映像信号を記録(録画)する。これに対して、記録部62aは、3Dフォーマット専用であるので、3Dの映像信号が入力されていないために記録(録画)を行わない。
As described above, the recording apparatus 11 includes the two recording units 62a and 62b, and the recording units 62a and 62b record the input video signals exclusively for the 3D format and 2D format, respectively.
In the first period T1 starting from time t1 in FIG. 12, only the first processor 8A outputs a 2D video signal (indicated by ON in FIG. 12), and the 3D mixer 9 outputs a 2D video signal. The first monitor 10A also displays a 2D image of a 2D video signal.
In this case, since the recording unit 62b in the recording device 11 is dedicated to the 2D format, it records (records) a 2D video signal. On the other hand, since the recording unit 62a is dedicated to the 3D format, no recording (recording) is performed because no 3D video signal is input.

時間t2において、第2プロセッサ8Bも2Dの映像信号を出力する状態(図12ではONで示す)になると、制御部47(の記録制御部47c)は3DモードONの制御信号(図12では3DモードON)を出力し、3Dミキサ9は3Dの映像信号を出力し、第1モニタ10Aも3Dの映像信号の3D画像を表示する。
この場合、制御部47(の記録制御部47c)が3DモードONの制御信号を記録装置11の記録制御部63に送り、記録制御部63は、この信号を受けて、記録装置11における3D記録部62aが3Dの映像信号を記録を開始するように制御する。なお、第1プロセッサ8Aは、2Dの映像信号を出力するため、2D記録部62bは、2Dの映像信号を記録する。
また、時間t3になると、第2プロセッサ8Bが2Dの映像信号を出力しない状態(図12ではOFFで示す)になるため、制御部47は3DモードOFFの制御信号(図12では単にOFF)を出力する。
At time t2, when the second processor 8B also outputs a 2D video signal (indicated by ON in FIG. 12), the control unit 47 (the recording control unit 47c) controls the 3D mode ON control signal (3D in FIG. 12). Mode ON), the 3D mixer 9 outputs a 3D video signal, and the first monitor 10A also displays a 3D image of the 3D video signal.
In this case, the control unit 47 (the recording control unit 47c) sends a 3D mode ON control signal to the recording control unit 63 of the recording apparatus 11, and the recording control unit 63 receives this signal and performs 3D recording in the recording apparatus 11. The unit 62a controls to start recording the 3D video signal. Since the first processor 8A outputs a 2D video signal, the 2D recording unit 62b records a 2D video signal.
At time t3, since the second processor 8B does not output a 2D video signal (indicated by OFF in FIG. 12), the control unit 47 outputs a control signal for 3D mode OFF (simply OFF in FIG. 12). Output.

そして、3D記録部62aは、3Dの映像信号の記録を停止する。この期間T3は、時間t1からt2までの期間T1の場合と同様の動作状態となる。また、時間t4において、第2プロセッサ8Bも2Dの映像信号を出力する状態になると、制御部47(の記録制御部47c)は3DモードONの制御信号を出力する。この期間T4(時間t4からt5)は、時間t2からt3までの期間T2と同じ動作状態となる。このような動作を繰り返す。
このような構成及び動作により、記録装置11に記録した映像信号を3Dの映像信号が生成されて出力される期間においても、2Dフォーッマトで2Dの映像信号として記録しているので、2Dモニタのみを備えた環境においても2D記録部62bに記録した2Dの映像信号を再生することが可能になる。また、3Dモニタを備える環境においては、3D記録部62bに記録した2Dの映像信号も、2D記録部62aに記録した3Dの映像信号も、再生することができる。
Then, the 3D recording unit 62a stops recording the 3D video signal. This period T3 is the same operating state as in the period T1 from time t1 to time t2. At time t4, when the second processor 8B is also in a state of outputting a 2D video signal, the control unit 47 (the recording control unit 47c) outputs a control signal for 3D mode ON. This period T4 (time t4 to t5) is in the same operation state as the period T2 from time t2 to t3. Such an operation is repeated.
With such a configuration and operation, since the video signal recorded in the recording device 11 is recorded as a 2D video signal in a 2D format even during the period in which the 3D video signal is generated and output, only the 2D monitor is used. Even in the provided environment, the 2D video signal recorded in the 2D recording unit 62b can be reproduced. In an environment including a 3D monitor, a 2D video signal recorded in the 3D recording unit 62b and a 3D video signal recorded in the 2D recording unit 62a can be reproduced.

なお、例えば設定部49により、3D記録部62aに対しては、3Dミキサ9の出力信号、つまり2D/3D混在の映像信号を記録する選択を行うことができるようにしても良い。この場合には、図12において2Dモードの期間T1,T3においては3D記録部62aは2Dの映像信号を記録する(図12中において[2D記録]で示す)。
このような構成及び動作によると、記録装置11に記録した映像信号を3Dの映像信号が生成されて出力される期間においても、2Dフォーッマトの2Dの映像信号を記録しているので、2Dモニタのみを備えた環境においても2D記録部62bに記録した2Dの映像信号を再生することが可能になる。
また、3Dモニタを備えた環境においては、2D及び3Dの映像信号が混在した2D/3D混在映像信号の状態においても、その混在に対応して2D及び3Dの映像信号を再生することができる。その他、第1の実施形態と同様の作用効果を有する。
For example, the setting unit 49 may select the 3D recording unit 62a to record the output signal of the 3D mixer 9, that is, the 2D / 3D mixed video signal. In this case, in the 2D mode periods T1 and T3 in FIG. 12, the 3D recording unit 62a records a 2D video signal (indicated as [2D recording] in FIG. 12).
According to such a configuration and operation, since the 2D video signal of 2D format is recorded even during the period in which the video signal recorded on the recording device 11 is generated and output, only the 2D monitor is recorded. It is possible to reproduce the 2D video signal recorded in the 2D recording unit 62b even in an environment equipped with.
Also, in an environment equipped with a 3D monitor, even in a 2D / 3D mixed video signal state in which 2D and 3D video signals are mixed, 2D and 3D video signals can be reproduced corresponding to the mixing. In addition, it has the same function and effect as the first embodiment.

(第2の実施形態)
次に本発明の第2の実施形態を説明する。本実施形態の3次元画像システムは、第1の実施形態において、図13に示すような記録装置11Cを備える。本実施形態においては、2D画像を表示する期間と3D画像を表示する期間とが混在するような場合に対して説明する。
患部を手術するような場合には、術者は2D画像よりも3D画像から立体視できる観察状態で行う方が、患部の様子を立体的に視認し易い。しかし、立体視の観察状態は、通常の2D画像を観察する観察状態よりも、術者が疲労し易い状態となるため、立体視を必要としない状態では2D画像に切り替えられる。本実施形態は、このような場合に対応したシステムである。
図13に示す記録装置11Cは、3Dミキサ9から出力される2D/3Dの映像信号が入力されるIF71aを介して入力される映像信号のファイルを生成する処理を行うファイル化処理部72が設けられている。
(Second Embodiment)
Next, a second embodiment of the present invention will be described. The three-dimensional image system of this embodiment includes a recording apparatus 11C as shown in FIG. 13 in the first embodiment. In the present embodiment, a case where a period for displaying a 2D image and a period for displaying a 3D image are mixed will be described.
When operating the affected area, it is easier for the operator to visually recognize the state of the affected area in a three-dimensional view than in a 2D image. However, the stereoscopic observation state is more easily fatigued by the operator than the observation state of observing a normal 2D image, and thus is switched to a 2D image in a state where stereoscopic vision is not required. The present embodiment is a system corresponding to such a case.
The recording apparatus 11C illustrated in FIG. 13 includes a file processing unit 72 that performs processing for generating a file of a video signal input via an IF 71a to which a 2D / 3D video signal output from the 3D mixer 9 is input. It has been.

ファイル化処理部72には、記録制御部73から2D又は3Dの映像信号の切り替わりのタイミング情報となるタイムスタンプの情報が入力され、ファイル化処理部72は、生成したファイル(のヘッダ等)にタイムスタンプの情報を付加して、その後段側のファイル分離/変換部75に出力する。なお、記録制御部73には、通信IF74を介して制御部47の記録制御部47c等からタイムスタンプの情報が入力される。
ファイル化処理部72の出力端には、タイムスタンプの情報を利用して、3Dのファイルと2Dのファイルを分離すると共に、3Dのファイルを2Dのファイルに変換するファイル分離/変換部75が設けられ、このファイル分離/変換部75により処理された3Dのファイルと2Dのファイルが画像記録手段又は画像記録部としてのハードディスク装置(HDD)76に記録される。なお、タイムスタンプは、後述するユーザ(術者)による例えば音声による2Dモードと3Dモードとの切替指示で発生する(音声による切替に限定されるものでない)。
The file processing unit 72 receives time stamp information as switching timing information of 2D or 3D video signals from the recording control unit 73, and the file processing unit 72 adds the generated file (such as a header thereof) to the file processing unit 72. The time stamp information is added and output to the file separation / conversion unit 75 on the subsequent stage side. Note that the time stamp information is input to the recording control unit 73 from the recording control unit 47 c of the control unit 47 via the communication IF 74.
A file separation / conversion unit 75 for separating the 3D file and the 2D file using the time stamp information and converting the 3D file into the 2D file is provided at the output end of the file processing unit 72. Then, the 3D file and the 2D file processed by the file separation / conversion unit 75 are recorded in a hard disk device (HDD) 76 as an image recording unit or an image recording unit. Note that the time stamp is generated by an instruction to switch between a 2D mode and a 3D mode by voice, for example, by a user (surgeon) described later (not limited to switching by voice).

このHDD76は、記録制御部73により記録と共に、再生の動作が制御される。HDD76は、3D再生用の信号処理を行う3D再生用処理部77aを介して3D再生用IF78aに接続されると共に、2D再生用の信号処理を行う2D再生用処理部77bを介して2D再生用IF78bに接続されている。
記録装置11C以外の構成は、図3又は図10に示した構成と同様である。
図14は、本実施形態における代表的な動作の説明図を示す。なお、図14における横軸は時間の経過を示す。
図14に示すように、3Dミキサ9は、1つの2Dの映像信号が時間taから入力された場合には、その時間taの情報を2Dの映像信号の開始の時間情報に付加して出力する。そして、時間tbのタイミングにおいて2つの2Dの映像信号が入力されると、その時間tbにおいて、3Dミキサ9は、3Dモードで動作する状態、つまり3DモードがONとなる。そして、3Dミキサ9は、2つの2Dの映像信号を合成して3Dの映像信号を出力開始すると共に、その時間tbの情報が3DモードONのタイムスタンプの情報となり、記録制御部47cは3DモードONのタイムスタンプの情報を記録装置11Cの記録制御部73に送信する。
In the HDD 76, the recording control unit 73 controls recording and playback operations. The HDD 76 is connected to the 3D playback IF 78a through a 3D playback processing unit 77a that performs signal processing for 3D playback, and for 2D playback through a 2D playback processing unit 77b that performs signal processing for 2D playback. It is connected to the IF 78b.
The configuration other than the recording device 11C is the same as the configuration shown in FIG. 3 or FIG.
FIG. 14 is an explanatory diagram of a typical operation in the present embodiment. Note that the horizontal axis in FIG. 14 indicates the passage of time.
As shown in FIG. 14, when one 2D video signal is input from time ta, the 3D mixer 9 adds the information on the time ta to the start time information of the 2D video signal and outputs it. . When two 2D video signals are input at the timing of time tb, the 3D mixer 9 is in a state of operating in the 3D mode, that is, the 3D mode is turned on at the time tb. Then, the 3D mixer 9 combines the two 2D video signals and starts outputting the 3D video signal, and the information of the time tb becomes the time stamp information of the 3D mode ON, and the recording control unit 47c performs the 3D mode. Information on the ON time stamp is transmitted to the recording control unit 73 of the recording apparatus 11C.

また、時間tcのタイミングにおいて1つの2Dの映像信号のみが3Dミキサ9に入力される状態になると、その時間tcにおいて、3Dモードが停止した状態、つまり3DモードがOFFとなり、3Dミキサ9は、2Dの映像信号を出力する状態に移行すると共に、その時間tcの情報が3DモードOFFのタイムスタンプの情報となり、記録制御部47cは3DモードOFFのタイムスタンプの情報を記録装置11Cの記録制御部73に送信する。
さらに、時間tbのタイミングにおいて2つの2Dの映像信号が入力されると、その時間tdにおいて、3Dミキサ9は、3DモードがONとなり、3Dミキサ9は、2つの2Dの映像信号を合成して3Dの映像信号を出力開始すると共に、その時間tdの情報が3DモードONのタイムスタンプの情報となり、記録制御部47cは3DモードONのタイムスタンプの情報を記録装置11Cの記録制御部73に送信する。
Further, when only one 2D video signal is input to the 3D mixer 9 at the timing of time tc, the 3D mode is stopped at the time tc, that is, the 3D mode is turned off, and the 3D mixer 9 When the state shifts to the state of outputting the 2D video signal, the information of the time tc becomes the time stamp information of the 3D mode OFF, and the recording control unit 47c converts the time stamp information of the 3D mode OFF to the recording control unit of the recording device 11C. 73.
Further, when two 2D video signals are input at the timing of time tb, the 3D mixer 9 is turned on at the time td, and the 3D mixer 9 combines the two 2D video signals. The output of the 3D video signal is started, and the information of the time td becomes the time stamp information of 3D mode ON, and the recording control unit 47c transmits the information of the time stamp of 3D mode ON to the recording control unit 73 of the recording device 11C. To do.

また、時間teのタイミングにおいて1つの2Dの映像信号のみが3Dミキサ9に入力される状態になると、3Dミキサ9は2Dの映像信号を出力する状態に移行する。
ファイル化処理部72は、入力される映像信号に応じて、時間taからtbの期間Taにおいては、2Dファイルを生成し、時間tbからtcの期間Tbにおいては、3Dファイルを生成し、時間tcからtdの期間Tcにおいては、2Dファイルを生成し、時間tdからteの期間Tdにおいては、3Dファイルを生成する。
その場合、ファイル化処理部72は、各ファイルにおいて、3DモードのON/OFFの切り替わりのタイムスタンプの情報を付加する。
ファイル分離/変換部75は、タイムスタンプの情報を用いて、期間Taにおける2Dファイルはそのまま2Dファイルとし、これに対して期間Tbにおける3Dファイルに対しては、3Dファイルに分離すると共に、分離した3Dファイルから2Dファイルを生成する。なお、ファイル分離/変換部75は、3Dファイルにおける3D画像の各フレームにおける一方のフィールドの2D画像のみを抽出することにより、3Dファイルから2Dファイルを生成する画像分離手段又は映像分離手段を形成する。
また、期間Tcにおいては期間Taと同様に2Dファイルを生成するように動作し、また期間Tdにおいては期間Tbと同様に、分離した3Dファイルを生成すると共に、2Dファイルを生成する。
Further, when only one 2D video signal is input to the 3D mixer 9 at the timing of time te, the 3D mixer 9 shifts to a state of outputting a 2D video signal.
The file processing unit 72 generates a 2D file in a period Ta from time ta to tb, generates a 3D file in a period Tb from time tb to tc, and generates a time tc according to the input video signal. A 2D file is generated during a period Tc from td to td, and a 3D file is generated during a period Td from td to te.
In that case, the file processing unit 72 adds time stamp information of ON / OFF switching of the 3D mode in each file.
Using the time stamp information, the file separation / conversion unit 75 converts the 2D file in the period Ta to the 2D file as it is, and separates the 3D file in the period Tb into a 3D file and separates it. A 2D file is generated from the 3D file. The file separation / conversion unit 75 forms an image separation unit or a video separation unit that generates a 2D file from a 3D file by extracting only the 2D image of one field in each frame of the 3D image in the 3D file. .
In the period Tc, the 2D file is generated in the same manner as in the period Ta, and in the period Td, as in the period Tb, a separated 3D file is generated and a 2D file is generated.

ファイル分離/変換部75により生成された2Dファイルと3DファイルとはHDD76において、図14に示すように、2Dモード及び3Dモードの全期間において2Dファイルを記録し、3Dモード期間のみ3Dファイルを記録する。HDD76に記録された3Dファイルと2Dファイルとは、3D再生用処理部77a、3D再生用IF78a、2D再生用処理部77b、2D再生用IF78bを介して再生することができる。例えば、3D再生用IF78aに3Dモニタを接続した場合には、3Dモニタにおいて3Dファイルを再生することができ、また2D再生用IF78bに2Dモニタを接続した場合には、2Dモニタにおいて2Dファイルを再生することができる。勿論、2D再生用IF78bに3Dモニタを接続した場合には、3Dモニタにおいて2Dファイルを再生することもできる。その他の作用効果は、第1の実施形態で説明した作用効果と同様である。また、本実施形態においては、3Dミキサ9が3D画像の映像信号を出力する場合には、3D画像の映像信号を記録することができると共に、3D画像の映像信号を構成する2D画像の映像信号も同時に記録することができる。   As shown in FIG. 14, the 2D file and the 3D file generated by the file separation / conversion unit 75 are recorded in the 2D mode and the entire 3D mode in the HDD 76, and the 3D file is recorded only in the 3D mode period. To do. The 3D file and 2D file recorded in the HDD 76 can be played back via the 3D playback processing unit 77a, the 3D playback IF 78a, the 2D playback processing unit 77b, and the 2D playback IF 78b. For example, when a 3D monitor is connected to the 3D playback IF 78a, a 3D file can be played back on the 3D monitor, and when a 2D monitor is connected to the 2D playback IF 78b, a 2D file is played back on the 2D monitor. can do. Of course, when a 3D monitor is connected to the 2D playback IF 78b, a 2D file can also be played back on the 3D monitor. Other functions and effects are the same as those described in the first embodiment. In the present embodiment, when the 3D mixer 9 outputs a video signal of a 3D image, the video signal of the 3D image can be recorded and the video signal of the 2D image constituting the video signal of the 3D image Can be recorded simultaneously.

なお、図13の構成及び図14の説明においては、画像記録部(又は画像記録デバイス)としてのHDD76に、ファイル分離/変換部75により生成した2Dファイルと3Dファイルとを記録する場合で説明しているが、ファイル化処理部72で生成した2Dファイルと3Dファイルが混在した2D/3DファイルをHDD76に記録した後に、タイムスタンプの情報を利用してファイル分離/変換部75が2Dファイルと3Dファイルとを分離し、分離した2Dファイルと3DファイルとをHDD76等に記録するようにしても良い。本実施形態は、3Dミキサ9が、2D画像の映像信号と3D画像の映像信号とが混在して時系列に出力する場合、画像記録部に記録する前、または記録した後に、2D画像の映像信号と3D画像の映像信号とを分離して記録可能とする画像記録手段としてのHDD76と、記録制御手段としての記録制御部73等を備える。   In the configuration of FIG. 13 and the description of FIG. 14, the case where the 2D file and the 3D file generated by the file separation / conversion unit 75 are recorded in the HDD 76 as the image recording unit (or image recording device) will be described. However, after the 2D / 3D file in which the 2D file and the 3D file generated by the file processing unit 72 are mixed is recorded in the HDD 76, the file separation / conversion unit 75 uses the time stamp information, and the file separation / conversion unit 75 uses the 2D file and the 3D file. The files may be separated, and the separated 2D file and 3D file may be recorded on the HDD 76 or the like. In this embodiment, when the 3D mixer 9 mixes the video signal of the 2D image and the video signal of the 3D image and outputs them in time series, the video of the 2D image is recorded before or after being recorded in the image recording unit. An HDD 76 serving as an image recording unit that can record a signal and a video signal of a 3D image separately and a recording control unit 73 serving as a recording control unit are provided.

また、第2の実施形態の変形例として、図15に示す構成にしても良い。図15に示す3次元画像システム1Dは、例えば図1〜図3に示す3次元画像システム1において、さらに術者が音声入力を行う音声入力用マイク81aと、音声確認用のイヤフォン81bとを設けると共に、音声を無線で送信する無線送信部12eを制御部12c内に設けている。なお、記録装置としては、簡略的に示した図11の記録装置11を採用しているが、図15の記録装置11Cを採用する構成にしても良い。
なお、液晶メガネ12のフレームに音声入力用マイク81aと、音声確認用のイヤフォン81bとを着脱自在に設けるようにしても良い。
また、3Dミキサ9には、無線送信部12eにより送信される音声信号を無線で受信する無線受信部83を有し、無線受信部83は受信した音声信号を制御部47に送る(図15においては無線送受信部84により無線送信部48と、無線受信部83を表す)。
Further, as a modification of the second embodiment, the configuration shown in FIG. 15 may be used. A three-dimensional image system 1D shown in FIG. 15 includes, for example, a voice input microphone 81a through which an operator performs voice input and a voice confirmation earphone 81b in the three-dimensional image system 1 shown in FIGS. In addition, a wireless transmission unit 12e that wirelessly transmits audio is provided in the control unit 12c. As the recording apparatus, the recording apparatus 11 shown in FIG. 11 is employed, but the recording apparatus 11C shown in FIG. 15 may be used.
Note that a voice input microphone 81 a and a voice confirmation earphone 81 b may be detachably provided on the frame of the liquid crystal glasses 12.
Further, the 3D mixer 9 includes a wireless reception unit 83 that wirelessly receives an audio signal transmitted by the wireless transmission unit 12e, and the wireless reception unit 83 sends the received audio signal to the control unit 47 (in FIG. 15). Represents the wireless transmitter 48 and the wireless receiver 83 by the wireless transmitter / receiver 84).

制御部47は、音声信号が所定のコマンドの音声であるか否かを判定する音声認識部47dを有すると共に、所定のコマンドを格納するメモリ等からなるコマンド格納部47eを有する。コマンド格納部47eには、所定のコマンドとして、3Dモードから2Dモードの切替と、2Dモードから3Dモードへの切替の音声データが予め格納(登録)している。
制御部47は、ユーザ(例えば術者)により音声により3Dモードと2Dモードの切替指示が行われた場合、コマンド格納部47eに格納されている切替の音声データに該当するか否かの認識を行い、該当する場合には対応する切替の制御を行う。その他の構成は、図3と同様である。
図16は、本変形例の動作のフローチャートを示す。例えば図15の3次元画像システム1Dの電源が投入され、第1プロセッサシステム3と第1プロセッサシステム4とが起動する。
The control unit 47 includes a voice recognition unit 47d that determines whether or not the voice signal is a voice of a predetermined command, and a command storage unit 47e including a memory that stores the predetermined command. The command storage unit 47e stores (registers) voice data for switching from the 3D mode to the 2D mode and switching from the 2D mode to the 3D mode in advance as predetermined commands.
When the user (for example, an operator) instructs to switch between the 3D mode and the 2D mode, the control unit 47 recognizes whether or not it corresponds to the switching voice data stored in the command storage unit 47e. If applicable, the corresponding switching is controlled. Other configurations are the same as those in FIG.
FIG. 16 shows a flowchart of the operation of this modification. For example, the power of the 3D image system 1D of FIG. 15 is turned on, and the first processor system 3 and the first processor system 4 are activated.

ステップS41に示すように3Dミキサ9には2つのプロセッサ8A,8Bからの両映像信号が入力された場合、3次元画像システム1Dは3Dモードに対応するリンクモードに設定される。そして、ステップS42に示すように3Dミキサ9は、3Dモードで動作し、3Dの映像信号を第1モニタ10Aに出力する。
なお、3Dの映像信号は、図4において説明したように右の映像信号と左の映像信号が奇数及び偶数フィールドで交互に第1モニタ10Aに出力される映像信号である。従って、第1モニタ10Aには右の映像信号の2D画像と左の映像信号の2D画像が奇数及び偶数フィールドにおいて交互に表示される。
また、ステップS43に示すように制御部47は、液晶メガネ12に対して、シャッタ信号を無線送信する。
As shown in step S41, when both video signals from the two processors 8A and 8B are input to the 3D mixer 9, the 3D image system 1D is set to a link mode corresponding to the 3D mode. Then, as shown in step S42, the 3D mixer 9 operates in the 3D mode and outputs a 3D video signal to the first monitor 10A.
Note that the 3D video signal is a video signal in which the right video signal and the left video signal are alternately output to the first monitor 10A in odd and even fields as described with reference to FIG. Accordingly, the 2D image of the right video signal and the 2D image of the left video signal are alternately displayed on the first monitor 10A in the odd and even fields.
Further, as shown in step S <b> 43, the control unit 47 wirelessly transmits a shutter signal to the liquid crystal glasses 12.

ステップS44に示すように液晶メガネ12の制御部12cは、無線受信部12dにより受信したシャッタ信号を用いて、液晶メガネ12の右目用の液晶シャッタ12a、左目用の液晶シャッタ12bを、右の映像信号と左の映像信号の表示に同期して交互に透過、遮光(ON/OFF)する。
このようにして、液晶メガネ12を両眼前に液晶シャッタ12a、12bが配置されるように装着したユーザは、右目用画像及び左目用画像から立体視認(立体観察)が可能となる。
ステップS45に示すように3Dミキサ9の制御部47は、音声による切替指示の有無を監視する。術者は、3Dモードにする必要性が少ないと思うような場合には、マイク81aに対して3Dモードから2Dモードの切替指示の音声入力を行う。音声入力が行われると、ステップS46に示すように音声信号が入力された無線送信部12eは、音声信号を無線送信する。
As shown in step S44, the control unit 12c of the liquid crystal glasses 12 uses the shutter signal received by the wireless reception unit 12d to switch the right eye liquid crystal shutter 12a and the left eye liquid crystal shutter 12b of the liquid crystal glasses 12 to the right image. The signal is alternately transmitted and shaded (ON / OFF) in synchronization with the display of the signal and the left video signal.
In this manner, a user who wears the liquid crystal glasses 12 so that the liquid crystal shutters 12a and 12b are disposed in front of both eyes can perform stereoscopic viewing (stereoscopic observation) from the right eye image and the left eye image.
As shown in step S45, the control unit 47 of the 3D mixer 9 monitors the presence / absence of a voice switching instruction. When the surgeon thinks that there is little need to switch to the 3D mode, the operator inputs a voice for switching instructions from the 3D mode to the 2D mode to the microphone 81a. When voice input is performed, the wireless transmission unit 12e to which the voice signal has been input wirelessly transmits the voice signal as shown in step S46.

ステップS47に示すように無線受信部83は、音声信号を受信し、制御部47に送り、制御部47の音声認識部47dは音声認識を行う。そして、ステップS48に示すように音声認識部47dは、コマンド格納部47eに格納された登録された3Dモードから2Dモードの切替指示のコマンドに該当するか否かの音声認識を行う。このコマンドに該当しない認識結果の場合には、ステップS45の処理に戻る。
これに対して切替指示のコマンドに該当する認識結果の場合には、ステップS49の処理に進み、このステップS49において制御部47は、3次元画像システム1Dを2Dモードとしてのスタンドアローンモードに切り替える制御を行う。例えば制御部47は、3Dミキサ9における無線受信部42bを、無線を受信する動作を休止する省電力の状態に設定する。そして、3Dミキサ9は、2Dの映像信号を第1モニタ10Aに出力する。
As shown in step S47, the wireless reception unit 83 receives the voice signal and sends it to the control unit 47, and the voice recognition unit 47d of the control unit 47 performs voice recognition. Then, as shown in step S48, the voice recognition unit 47d performs voice recognition as to whether the command corresponds to a command for switching from the registered 3D mode to the 2D mode stored in the command storage unit 47e. If the recognition result does not correspond to this command, the process returns to step S45.
On the other hand, in the case of a recognition result corresponding to the switch instruction command, the process proceeds to step S49, and in this step S49, the control unit 47 controls to switch the 3D image system 1D to the stand-alone mode as the 2D mode. I do. For example, the control unit 47 sets the radio reception unit 42b in the 3D mixer 9 to a power saving state in which the operation of receiving radio is suspended. Then, the 3D mixer 9 outputs a 2D video signal to the first monitor 10A.

また、ステップS50に示すように制御部47は、液晶メガネ12に対して両液晶シャッタ12a,12bが常時、透過状態とするための制御信号を無線で送信する。そして、ユーザは、2D画像を両眼で観察することができる状態になる。
また、2Dモードになると、ステップS51に示すように3Dミキサ9の制御部47は、音声による切替指示の有無を監視する。ユーザは、例えば患部等を立体的に観察するために2Dモードから3Dモードへの切替指示を音声入力により行う。音声入力が行われると、ステップS52に示すように音声信号が入力された無線送信部12eは、音声信号を無線送信する。
ステップS53に示すように無線受信部83は、音声信号を受信し、制御部47に送り、制御部47の音声認識部47dは音声認識を行う。そして、ステップS54に示すように音声認識部47dは、コマンド格納部47eに格納された登録された2Dモードから3Dモードの切替指示のコマンドに該当するか否かの音声認識を行う。このコマンドに該当しない認識結果の場合には、ステップS51の処理に戻る。
Further, as shown in step S50, the control unit 47 wirelessly transmits a control signal for making both the liquid crystal shutters 12a and 12b always transmit to the liquid crystal glasses 12. And a user will be in the state which can observe a 2D image with both eyes.
In the 2D mode, as shown in step S51, the control unit 47 of the 3D mixer 9 monitors the presence / absence of a voice switching instruction. For example, the user gives an instruction to switch from the 2D mode to the 3D mode by voice input in order to stereoscopically observe the affected area. When the voice input is performed, the wireless transmission unit 12e to which the voice signal is input as illustrated in step S52 wirelessly transmits the voice signal.
As shown in step S53, the wireless reception unit 83 receives a voice signal and sends it to the control unit 47, and the voice recognition unit 47d of the control unit 47 performs voice recognition. Then, as shown in step S54, the voice recognition unit 47d performs voice recognition as to whether the command corresponds to a command for switching from the registered 2D mode to the 3D mode stored in the command storage unit 47e. If the recognition result does not correspond to this command, the process returns to step S51.

これに対して切替指示のコマンドに該当する認識結果の場合には、ステップS41の処理に戻り、このステップS41において制御部47は、3次元画像システム1Dをリンクモードに設定(切替)し、ステップS42に示すように3Dモードで動作する。さらに、上述したステップS43等の処理を行い、術者は3Dモードで患部等を立体視することができる。
このように動作する本変形例によれば、術者等のユーザはモードの切替を音声で行うことができるので、医療分野における利便性が向上する。医療分野においては、ユーザとなる術者は、内視鏡を把持したり、手術を行う処置具などを操作するために、簡単にモードの切替が行えることが望まれる。
本変形例によれば、ユーザによる音声指示により、簡単に3Dモードと2Dモード間の切替及び切替に対応した動作状態に設定することができる。その他、第1の実施形態と同様に効果を有する。
なお、上述した変形例の場合を含む実施形態を部分的に組み合わせて構成される実施形態も本発明に属する。
On the other hand, in the case of the recognition result corresponding to the switch instruction command, the process returns to step S41. In step S41, the control unit 47 sets (switches) the 3D image system 1D to the link mode, and step As shown in S42, it operates in the 3D mode. Furthermore, by performing the processing in step S43 and the like described above, the surgeon can stereoscopically view the affected area in the 3D mode.
According to this modified example that operates in this manner, a user such as an operator can perform mode switching by voice, which improves convenience in the medical field. In the medical field, it is desirable that an operator who is a user can easily switch modes in order to hold an endoscope or operate a treatment instrument for performing an operation.
According to this modification, it is possible to easily set the operation state corresponding to the switching between the 3D mode and the 2D mode and the switching by the voice instruction from the user. The other effects are the same as in the first embodiment.
Note that embodiments configured by partially combining embodiments including the above-described modification examples also belong to the present invention.

1…3次元画像システム、2…3D内視鏡、3…第1プロセッサシステム、4…第2プロセッサシステム、5,6…カート、7A,7B…光源装置、8A…第1プロセッサ、8B…第2プロセッサ、9…3Dミキサ、10A…第1モニタ、10B…第2モニタ、11…記録装置、14…挿入部、15…把持部、16…ケーブル、18A,18B…コネクタ、19A,19B…コネクタ受け、20A,20B…ケーブル、21…ライトガイド、27a,27b…撮像部、31a,31b…映像信号生成部、33a,33b,46…同期信号生成部、34a,34b,45…通信制御部、35a,35b…モード切替部、38b…無線送信部、42b…無線受信部、43…2D/3D変換部、47…制御部、47a…映像検出部、47b…同期制御部、47c…記録制御部、57a,57b…倍速変換器、76…HDD DESCRIPTION OF SYMBOLS 1 ... Three-dimensional imaging system, 2 ... 3D endoscope, 3 ... 1st processor system, 4 ... 2nd processor system, 5,6 ... Cart, 7A, 7B ... Light source device, 8A ... 1st processor, 8B ... 1st 2 processors, 9 ... 3D mixer, 10A ... first monitor, 10B ... second monitor, 11 ... recording device, 14 ... insertion unit, 15 ... gripping part, 16 ... cable, 18A, 18B ... connector, 19A, 19B ... connector 20A, 20B ... cable, 21 ... light guide, 27a, 27b ... imaging unit, 31a, 31b ... video signal generation unit, 33a, 33b, 46 ... synchronization signal generation unit, 34a, 34b, 45 ... communication control unit, 35a, 35b ... mode switching unit, 38b ... wireless transmission unit, 42b ... wireless reception unit, 43 ... 2D / 3D conversion unit, 47 ... control unit, 47a ... video detection unit, 47b ... synchronous control Department, 47c ... recording control unit, 57a, 57b ... speed transducer, 76 ... HDD

Claims (10)

同一の被写体を視差を持って撮像する第1の撮像部及び第2の撮像部を有し、前記第1の撮像部及び第2の撮像部を用いてそれぞれ生成された第1の信号及び第2の信号を出力する立体内視鏡と、
前記第1の信号に対して第1の映像信号を生成する処理を行う第1の映像信号処理手段と、
第1の映像信号処理手段と異なる筐体に設けられ、前記第2の信号に対して第2の映像信号を生成する処理を行う第2の映像信号処理手段と、
前記第1及び第2の映像信号処理手段における少なくとも一方の映像信号処理手段としての前記第2の映像信号処理手段に設けられ、少なくとも前記第2の映像信号を無線送信する無線映像送信手段と、
前記無線映像送信手段により無線送信された映像信号を受信する無線映像受信手段と、
前記無線映像受信手段を備え、前記第1の映像信号及び前記第2の映像信号が入力された場合には、前記第1の映像信号及び前記第2の映像信号を合成して3次元画像の映像信号を生成する3次元画像合成手段と、
前記3次元画像合成手段に設けられ、前記第1の映像信号及び前記第2の映像信号の2つの映像信号を検出した場合には前記3次元画像合成手段が前記3次元画像の映像信号を生成して出力するように制御し、
更に、1つの映像信号のみを検出した場合には検出した前記1つの映像信号のみを前記3次元画像合成手段が出力するように制御する制御手段と、
前記3次元画像合成手段から出力される映像信号が入力され、当該映像信号に対応する2次元画像又は3次元画像を表示する第1のモニタと、
を備えることを特徴とする3次元画像システム。
A first imaging unit and a second imaging unit that image the same subject with parallax, and a first signal and a second signal generated by using the first imaging unit and the second imaging unit, respectively. A stereoscopic endoscope that outputs a signal of 2;
First video signal processing means for performing processing for generating a first video signal on the first signal;
A second video signal processing unit that is provided in a different housing from the first video signal processing unit and that performs a process of generating a second video signal for the second signal;
Wireless video transmission means provided in the second video signal processing means as at least one video signal processing means in the first and second video signal processing means for wirelessly transmitting at least the second video signal;
Wireless video receiving means for receiving a video signal wirelessly transmitted by the wireless video transmitting means;
The wireless video receiving means, and when the first video signal and the second video signal are input, the first video signal and the second video signal are combined to generate a three-dimensional image; Three-dimensional image synthesis means for generating a video signal;
Provided in the three-dimensional image synthesis means, and when the two video signals of the first video signal and the second video signal are detected, the three-dimensional image synthesis means generates a video signal of the three-dimensional image. Control to output,
Furthermore, when only one video signal is detected, control means for controlling the three-dimensional image synthesis means to output only the detected one video signal;
A first monitor that receives a video signal output from the three-dimensional image synthesis means and displays a two-dimensional image or a three-dimensional image corresponding to the video signal;
A three-dimensional image system comprising:
前記第1の映像信号処理手段は、前記第1の映像信号を前記3次元画像合成手段に有線で入力するように配置され、
前記無線映像送信手段は、前記第2の映像信号を無線送信するように配置され、
前記制御手段は、前記第1の映像信号を検出し、かつ前記第2の映像信号を検出した場合には、前記3次元画像合成手段が前記3次元画像の映像信号を生成して前記第1のモニタに出力するように制御し、
更に、前記第1の映像信号を検出し、かつ前記第2の映像信号を検出しない場合には、前記3次元画像合成手段が前記第1の映像信号を前記第1のモニタに出力するように制御することを特徴とする請求項1に記載の3次元画像システム。
The first video signal processing means is arranged to input the first video signal to the three-dimensional image synthesis means by wire,
The wireless video transmission means is arranged to wirelessly transmit the second video signal,
When the control means detects the first video signal and detects the second video signal, the three-dimensional image composition means generates a video signal of the three-dimensional image to generate the first video signal. Control to output to the monitor,
Further, when the first video signal is detected and the second video signal is not detected, the three-dimensional image synthesis means outputs the first video signal to the first monitor. The three-dimensional image system according to claim 1, wherein the three-dimensional image system is controlled.
前記3次元画像合成手段は、前記第1の映像信号処理手段により生成される前記第1の映像信号と前記第2の映像信号処理手段により生成される前記第2の映像信号とを同期させるための同期信号を生成する同期信号生成手段と、
前記3次元画像の映像信号を生成する場合には、前記同期信号を前記第1の映像信号処理手段と前記第2の映像信号処理手段に送信して、前記第1の映像信号と前記第2の映像信号とを同期させる制御を行う同期制御手段と、
を有することを特徴とする請求項1に記載の3次元画像システム。
The three-dimensional image synthesis means synchronizes the first video signal generated by the first video signal processing means and the second video signal generated by the second video signal processing means. Synchronization signal generating means for generating a synchronization signal of
When generating the video signal of the three-dimensional image, the synchronization signal is transmitted to the first video signal processing means and the second video signal processing means, and the first video signal and the second video signal are transmitted. Synchronization control means for controlling to synchronize with the video signal,
The three-dimensional image system according to claim 1, comprising:
前記3次元画像合成手段は、該3次元画像合成手段における2つの映像信号入力端に入力される映像信号の信号レベルが閾値以上であるか否かを判定することにより前記2つの映像信号の有無を検出する映像検出部を有することを特徴とする請求項1に記載の3次元画像システム。   The three-dimensional image composition means determines whether the two video signals are present by determining whether or not the signal level of the video signals input to the two video signal input terminals in the three-dimensional image composition means is equal to or higher than a threshold value. The three-dimensional image system according to claim 1, further comprising a video detection unit that detects the image. 更に、前記3次元画像合成手段の出力信号が入力され、該3次元画像合成手段から出力される前記3次元画像の映像信号又は前記2次元画像の映像信号を記録可能な画像記録装置を有し、
前記画像記録装置は、前記3次元画像合成手段が前記3次元画像の映像信号を出力する場合には、前記3次元画像の映像信号と、当該3次元画像の映像信号に対応する2次元画像の映像信号とを同時に画像記録部に記録するように制御する記録制御手段を有することを特徴とする請求項1に記載の3次元画像システム。
And an image recording device capable of recording the video signal of the three-dimensional image or the video signal of the two-dimensional image output from the three-dimensional image synthesis unit. ,
When the 3D image synthesizing unit outputs the video signal of the 3D image, the image recording apparatus includes a video signal of the 3D image and a 2D image corresponding to the video signal of the 3D image. 2. The three-dimensional image system according to claim 1, further comprising recording control means for controlling the video signal to be recorded in the image recording unit at the same time.
前記画像記録装置は、更に前記3次元画像の映像信号から該3次元画像の映像信号を形成する2次元画像の映像信号を生成する映像分離手段を有することを特徴とする請求項5に記載の3次元画像システム。   6. The image recording apparatus according to claim 5, further comprising: a video separation unit that generates a video signal of a two-dimensional image that forms the video signal of the three-dimensional image from the video signal of the three-dimensional image. 3D image system. 前記3次元画像合成手段は、該3次元画像合成手段に入力されるそれぞれ1フレーム分の前記第1の映像信号及び前記第2の映像信号を倍速変換回路によりそれぞれ奇数フィールドの映像信号と偶数フィールドの映像信号に変換して前記3次元の映像信号を生成し、
更に、ユーザの左右の眼前に装着され、前記第1のモニタに出力される前記奇数フィールドの映像信号と偶数フィールドの映像信号に同期して、遮光、透過する左右の液晶シャッタを備えた液晶メガネを有し、
前記制御手段は、前記液晶メガネにおける前記左右の液晶シャッタを無線で前記奇数フィールドの映像信号と偶数フィールドの映像信号に同期して、遮光、透過の状態にする制御を行うことを特徴とする請求項1に記載の3次元画像システム。
The three-dimensional image synthesizing unit converts the first video signal and the second video signal for one frame input to the three-dimensional image synthesizing unit into an odd field video signal and an even field respectively by a double speed conversion circuit. To generate the three-dimensional video signal
Further, liquid crystal glasses equipped with left and right liquid crystal shutters that are mounted in front of the left and right eyes of the user and are shielded and transmitted in synchronization with the odd field video signal and the even field video signal output to the first monitor. Have
The control means performs control to wirelessly synchronize the left and right liquid crystal shutters in the liquid crystal glasses with the odd-field video signal and the even-field video signal in a light shielding and transmission state. Item 3. The three-dimensional image system according to item 1.
前記制御手段は、前記3次元画像合成手段が前記3次元画像の映像信号を生成する場合には、前記液晶メガネにおける左右の液晶シャッタを前記奇数フィールド及び偶数フィールドに同期して遮光、透過の状態にする制御を行い、
前記3次元画像合成手段が前記2次元画像の映像信号を生成する場合には、前記液晶メガネにおける左右の液晶シャッタを常時透過の状態にする制御を行うことを特徴とする請求項7に記載の3次元画像システム。
When the three-dimensional image synthesizing unit generates the video signal of the three-dimensional image, the control unit is configured to block the left and right liquid crystal shutters in the liquid crystal glasses in a light-shielded and transmissive state in synchronization with the odd field and the even field. Control to
8. The control according to claim 7, wherein when the three-dimensional image synthesizing unit generates a video signal of the two-dimensional image, the left and right liquid crystal shutters in the liquid crystal glasses are controlled to be in a constantly transmissive state. 3D image system.
更に、前記3次元画像合成手段に前記第1の映像信号及び前記第2の映像信号の2つの映像信号が入力可能な状態において、ユーザからの音声を入力する音声入力部と、入力された音声を無線で前記次元画像生成手段に設けた無線受信部に送信する送信部とを備え、
前記制御手段は、前記ユーザからの音声により切替指示に応じて、前記3次元画像合成手段が前記3次元画像の映像信号を出力する3次元モードと、前記2次元画像となる1つの映像信号との一方の映像信号を出力する2次元モードとの切替を行うことを特徴とする請求項7に記載の3次元画像システム。
Furthermore, in a state where the two video signals of the first video signal and the second video signal can be input to the three-dimensional image synthesis means, an audio input unit for inputting audio from the user, and the input audio And a transmission unit that wirelessly transmits to a wireless reception unit provided in the dimensional image generation unit,
The control means includes a three-dimensional mode in which the three-dimensional image synthesis means outputs a video signal of the three-dimensional image in response to a switching instruction by voice from the user, and one video signal to be the two-dimensional image; The three-dimensional image system according to claim 7, wherein switching to a two-dimensional mode for outputting one of the video signals is performed.
さらに前記第2の映像信号処理手段からの前記第2の映像信号が入力され、該第2の映像信号の2次元画像を表示する第2のモニタを有し、
前記第1の映像信号処理手段と、前記無線映像受信手段を備えた前記3次元画像合成手段と、前記第1のモニタとが配置される第1の載置手段とは別体で、移動可能な第2の載置手段に前記第2の映像信号処理手段と、前記第2のモニタとが配置されることを特徴とする請求項1に記載の3次元画像システム。
Furthermore, the second video signal from the second video signal processing means is input, and has a second monitor for displaying a two-dimensional image of the second video signal,
The first video signal processing means, the three-dimensional image synthesizing means provided with the wireless video receiving means, and the first mounting means on which the first monitor is arranged are separate and movable. The three-dimensional image system according to claim 1, wherein the second video signal processing means and the second monitor are arranged on the second mounting means.
JP2013168211A 2013-08-13 2013-08-13 3D image system Active JP6223056B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013168211A JP6223056B2 (en) 2013-08-13 2013-08-13 3D image system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013168211A JP6223056B2 (en) 2013-08-13 2013-08-13 3D image system

Publications (2)

Publication Number Publication Date
JP2015036060A true JP2015036060A (en) 2015-02-23
JP6223056B2 JP6223056B2 (en) 2017-11-01

Family

ID=52686777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013168211A Active JP6223056B2 (en) 2013-08-13 2013-08-13 3D image system

Country Status (1)

Country Link
JP (1) JP6223056B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017176318A (en) * 2016-03-29 2017-10-05 ソニー・オリンパスメディカルソリューションズ株式会社 Medical three-dimensional observation device, medical three-dimensional observation method, program and medical three-dimensional observation system
JP2018152657A (en) * 2017-03-10 2018-09-27 ソニー・オリンパスメディカルソリューションズ株式会社 Medical image display device, medical information processing system, and medical image display control method
WO2019003556A1 (en) * 2017-06-30 2019-01-03 オリンパス株式会社 Image processing device, image processing system, and image processing method
JP2019097890A (en) * 2017-12-01 2019-06-24 ソニー・オリンパスメディカルソリューションズ株式会社 Medical imaging device

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06261341A (en) * 1993-03-05 1994-09-16 Olympus Optical Co Ltd Video display device
JPH06265796A (en) * 1993-03-15 1994-09-22 Olympus Optical Co Ltd Video display device for endoscope
JPH07336729A (en) * 1994-06-10 1995-12-22 Canon Inc Image display device
JPH09266879A (en) * 1995-11-20 1997-10-14 Wilson Greatbatch Ltd Endoscope
JP2000270347A (en) * 1999-03-17 2000-09-29 Sharp Corp Recorder and monitor system using the recorder
JP2003225198A (en) * 2002-02-06 2003-08-12 Olympus Optical Co Ltd Image display device for endoscope
JP2003250758A (en) * 2002-03-06 2003-09-09 Olympus Optical Co Ltd Electronic type endoscope unit
JP2004233480A (en) * 2003-01-29 2004-08-19 Pentax Corp Stereoscopic endoscope system
WO2013031512A1 (en) * 2011-08-26 2013-03-07 オリンパスメディカルシステムズ株式会社 Medical equipment system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06261341A (en) * 1993-03-05 1994-09-16 Olympus Optical Co Ltd Video display device
JPH06265796A (en) * 1993-03-15 1994-09-22 Olympus Optical Co Ltd Video display device for endoscope
JPH07336729A (en) * 1994-06-10 1995-12-22 Canon Inc Image display device
JPH09266879A (en) * 1995-11-20 1997-10-14 Wilson Greatbatch Ltd Endoscope
JP2000270347A (en) * 1999-03-17 2000-09-29 Sharp Corp Recorder and monitor system using the recorder
JP2003225198A (en) * 2002-02-06 2003-08-12 Olympus Optical Co Ltd Image display device for endoscope
JP2003250758A (en) * 2002-03-06 2003-09-09 Olympus Optical Co Ltd Electronic type endoscope unit
JP2004233480A (en) * 2003-01-29 2004-08-19 Pentax Corp Stereoscopic endoscope system
WO2013031512A1 (en) * 2011-08-26 2013-03-07 オリンパスメディカルシステムズ株式会社 Medical equipment system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017176318A (en) * 2016-03-29 2017-10-05 ソニー・オリンパスメディカルソリューションズ株式会社 Medical three-dimensional observation device, medical three-dimensional observation method, program and medical three-dimensional observation system
US10924724B2 (en) 2016-03-29 2021-02-16 Sony Olympus Medical Solutions Inc. Medical stereoscopic observation device, medical stereoscopic observation method, program, and medical stereoscopic observation system
JP2018152657A (en) * 2017-03-10 2018-09-27 ソニー・オリンパスメディカルソリューションズ株式会社 Medical image display device, medical information processing system, and medical image display control method
WO2019003556A1 (en) * 2017-06-30 2019-01-03 オリンパス株式会社 Image processing device, image processing system, and image processing method
JP6503522B1 (en) * 2017-06-30 2019-04-17 オリンパス株式会社 Image processing apparatus, image processing system and image processing method
JP2019097890A (en) * 2017-12-01 2019-06-24 ソニー・オリンパスメディカルソリューションズ株式会社 Medical imaging device
JP7055624B2 (en) 2017-12-01 2022-04-18 ソニー・オリンパスメディカルソリューションズ株式会社 Medical imaging device

Also Published As

Publication number Publication date
JP6223056B2 (en) 2017-11-01

Similar Documents

Publication Publication Date Title
JP5331948B2 (en) Endoscope system
US9584795B2 (en) Wireless transfer system
TWI533662B (en) Display device and associated eyeglasses
WO2010122711A1 (en) 3d image display apparatus, 3d image playback apparatus, and 3d image viewing system
JPWO2018211781A1 (en) Imaging device and imaging method
CN109565563B (en) Multi-camera system, information processing apparatus, and non-transitory computer-readable medium
JP6223056B2 (en) 3D image system
JP2015149633A (en) Imaging apparatus and method
WO2023045703A1 (en) Medical endoscope system displaying 3d image
CN108353144B (en) Multi-camera system, camera processing method, confirmation device, and confirmation device processing method
JPWO2015056701A1 (en) Image signal output apparatus and image signal transmission / reception system
WO2018230510A1 (en) Image processing device, image processing method, and image capture system
JP2016046780A (en) Image recording apparatus
US10924724B2 (en) Medical stereoscopic observation device, medical stereoscopic observation method, program, and medical stereoscopic observation system
JP2013223666A (en) Electronic endoscope, image processor, electronic endoscope system, and image generation method for stereoscopic vision
CN113647098A (en) Image processing apparatus, image processing method, and program
US20190394454A1 (en) Medical-image display control device, medical-image display device, medical-information processing system, and medical-image display control method
JP2010193411A (en) Stereoscopic image display device and stereovision training method
JP2014022947A (en) Stereoscopic video transmission apparatus, stereoscopic video transmission method, and stereoscopic video processing apparatus
JP7081597B2 (en) Communication system and transmitter
JP3766598B2 (en) Observation system
JP6021215B2 (en) Stereoscopic video recording apparatus, stereoscopic video display apparatus, and stereoscopic video recording system using them
CN215383853U (en) Polarized light endoscope device
CN110771102B (en) Communication system and control device
JPH07313448A (en) Stereoscopic endoscope image pickup device

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150422

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20150525

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171003

R151 Written notification of patent or utility model registration

Ref document number: 6223056

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250