JP2011206435A - Imaging device, imaging method, imaging program and endoscope - Google Patents
Imaging device, imaging method, imaging program and endoscope Download PDFInfo
- Publication number
- JP2011206435A JP2011206435A JP2010079511A JP2010079511A JP2011206435A JP 2011206435 A JP2011206435 A JP 2011206435A JP 2010079511 A JP2010079511 A JP 2010079511A JP 2010079511 A JP2010079511 A JP 2010079511A JP 2011206435 A JP2011206435 A JP 2011206435A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- wire frame
- distance
- feature point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Abstract
Description
本発明は、撮像装置、撮像方法、撮像プログラム、及び内視鏡に係り、特に、撮像された画像の奥行方向の距離感を把握することができる撮像装置、撮像方法、撮像プログラム、及び内視鏡に関する。 The present invention relates to an imaging device, an imaging method, an imaging program, and an endoscope, and in particular, an imaging device, an imaging method, an imaging program, and an endoscope that can grasp a sense of distance in the depth direction of a captured image. Regarding mirrors.
従来、複数の撮像手段で得られた撮像信号から、所定の画素の対応点を検出する対応点検出手段と、対応点検出手段で得られた対応点の情報に基づき対応点の3次元位置を算出する3次元位置算出手段と、算出された3次元位置の情報に基づき所定の画素間の距離を算出する距離算出手段と、算出された距離の情報に基づき画素間の距離に対応する目盛を表示する目盛表示手段とを有する目盛表示装置が提案されている(特許文献1参照)。特許文献1に記載の目盛表示装置では、対応点について、撮像平面に対して垂直方向における距離と予め定めた閾値とを比較し、その比較結果に応じて、目盛表示の方法を変更している。
Conventionally, a corresponding point detection unit that detects a corresponding point of a predetermined pixel from imaging signals obtained by a plurality of imaging units, and a three-dimensional position of the corresponding point based on information on the corresponding point obtained by the corresponding point detection unit. A three-dimensional position calculating means for calculating; a distance calculating means for calculating a distance between predetermined pixels based on the calculated three-dimensional position information; and a scale corresponding to the distance between the pixels based on the calculated distance information. A scale display device having scale display means for displaying has been proposed (see Patent Document 1). In the scale display device described in
また、超音波プローブと、超音波プローブを駆動して被検体内の3次元領域を超音波で走査する送受信ユニットと、送受信ユニットによる走査によって得られる受信信号に基づいて3次元領域内の対象臓器の形態を表す3次元の形態画像データを生成し、受信信号に基づいて対象臓器の機能を表す3次元の機能画像データを生成すると共に3次元の機能画像データに3次元の形態画像データを合成して表示する信号処理ユニットとを具備する超音波診断装置が提案されている(特許文献2参照)。特許文献2に記載の超音波診断装置では、3次元の形態画像データを、対象臓器のワイヤフレームモデルで表示している。
Also, an ultrasonic probe, a transmission / reception unit that drives the ultrasonic probe to scan a three-dimensional region in the subject with ultrasonic waves, and a target organ in the three-dimensional region based on a reception signal obtained by scanning by the transmission / reception unit Generating three-dimensional morphological image data representing the morphology of the object, generating three-dimensional functional image data representing the function of the target organ based on the received signal, and combining the three-dimensional functional image data with the three-dimensional functional image data An ultrasonic diagnostic apparatus including a signal processing unit that displays the image is proposed (see Patent Document 2). In the ultrasonic diagnostic apparatus described in
また、オブジェクトの属する種類の典型的な原型であり、その種類の特定の要求に適合するようにモディファイできる汎用のワイヤフレームによる、三次元オブジェクトのワイヤフレーム表現の高速作成する方法と装置が提案されている(特許文献3参照)。特許文献3に記載の方法及び装置では、汎用のワイヤフレームの組合せが、ワイヤフレームを編集するためのソフトウェアと共にツールキットとして纏められており、原型ステレオレンダードワイヤフレームから目標ステレオレンダードワイヤフレームまでモーフィングする方法が開示されており、更に明確なカメラビューポイントはモーフィング中も変えられる。 In addition, a method and apparatus for creating a wireframe representation of a three-dimensional object at high speed using a general-purpose wireframe that is a typical prototype of a type to which an object belongs and can be modified to meet the specific requirements of that type has been proposed. (See Patent Document 3). In the method and apparatus described in Patent Document 3, a combination of general-purpose wire frames is collected as a tool kit together with software for editing the wire frame, from the original stereo rendered wire frame to the target stereo rendered wire frame. A method for morphing is disclosed, and the clearer camera viewpoint can be changed during morphing.
しかしながら、特許文献1に記載の発明では、画像上で選択された2点間の奥行方向の距離が閾値より小さいか否かにより目盛の表示方法を変更しているが、撮像装置から選択された点に対応する位置までの距離感を直感的に把握し難い、という問題がある。
However, in the invention described in
また、特許文献2に記載の発明では、3次元の形態画像データを得るために超音波プローブが必要であり、また、3次元の形態画像をワイヤフレームモデルで表示しているものの、その相対的な位置や距離感が把握し難い、という問題がある。
Moreover, in the invention described in
また、特許文献3に記載の発明では、汎用のワイヤフレームを用いるため、専用のデータベース及びそれを基に編集を行う機能を備えた装置が必要となり、構成及び処理が煩雑になる、という問題がある。 Further, in the invention described in Patent Document 3, since a general-purpose wire frame is used, a dedicated database and a device having a function for editing based on the database are required, and the configuration and processing become complicated. is there.
本発明は上記問題点を解決するためになされたものであり、簡易な構成及び処理で奥行方向の距離感を直感的に把握することができる撮像装置、撮像方法、撮像プログラム、及び内視鏡を提供することを目的とする。 The present invention has been made to solve the above-described problems, and an imaging apparatus, an imaging method, an imaging program, and an endoscope that can intuitively grasp the sense of distance in the depth direction with a simple configuration and processing. The purpose is to provide.
上記目的を達成するために、第1の発明の撮像装置は、対象範囲を撮像する撮像手段と、前記撮像手段により撮像された画像から特徴点を抽出する抽出手段と、前記抽出手段により抽出された特徴点に対応する位置と前記撮像手段との奥行方向の距離を計測する計測手段と、前記抽出手段により抽出された特徴点に対応する位置及び前記計測手段により計測された距離に基づいて、前記奥行方向の距離に対応したワイヤフレームを構築する構築手段と、前記対象範囲にワイヤフレームを描画する描画手段と、前記構築手段により構築されたワイヤフレームが前記対象範囲に描画されるように前記描画手段を制御する制御手段と、を含んで構成されている。 In order to achieve the above object, an imaging apparatus according to a first aspect of the invention is extracted by an imaging unit that images a target range, an extraction unit that extracts a feature point from an image captured by the imaging unit, and the extraction unit. Based on the measurement unit that measures the distance in the depth direction between the position corresponding to the feature point and the imaging unit, the position corresponding to the feature point extracted by the extraction unit, and the distance measured by the measurement unit, Construction means for constructing a wire frame corresponding to the distance in the depth direction, rendering means for rendering a wire frame in the target range, and the wire frame constructed by the construction means is rendered in the target range Control means for controlling the drawing means.
第1の発明の撮像装置によれば、撮像手段が、対象範囲を撮像し、抽出手段が、撮像手段により撮像された画像から特徴点を抽出し、計測手段が、抽出手段により抽出された特徴点に対応する位置と撮像手段との奥行方向の距離を計測する。そして、構築手段が、抽出手段により抽出された特徴点に対応する位置及び計測手段により計測された距離に基づいて、奥行方向の距離に対応したワイヤフレームを構築する。そして、制御手段が、構築手段により構築されたワイヤフレームが対象範囲に描画されるように対象範囲にワイヤフレームを描画する描画手段を制御する。 According to the imaging apparatus of the first invention, the imaging unit images the target range, the extraction unit extracts the feature point from the image captured by the imaging unit, and the measurement unit extracts the feature extracted by the extraction unit. The distance in the depth direction between the position corresponding to the point and the imaging means is measured. Then, the construction unit constructs a wire frame corresponding to the distance in the depth direction based on the position corresponding to the feature point extracted by the extraction unit and the distance measured by the measurement unit. Then, the control means controls the drawing means for drawing the wire frame in the target range so that the wire frame constructed by the construction means is drawn in the target range.
このように、奥行方向に対応したワイヤフレームを構築し、そのワイヤフレームを対象範囲に描画するため、簡易な構成及び処理で奥行方向の距離感を直感的に把握することができる。 Thus, since the wire frame corresponding to the depth direction is constructed and the wire frame is drawn in the target range, the sense of distance in the depth direction can be intuitively grasped with a simple configuration and processing.
また、第1の発明の撮像装置は、前記計測手段により計測された距離、及び前記撮像手段により撮像される画像の画角に基づいて、前記描画手段によりワイヤフレームを描画する範囲を設定する設定手段をさらに含んで構成することができ、前記制御手段は、前記設定手段により設定された範囲に前記ワイヤフレームが描画されるように前記描画手段を制御することができる。これにより、必要な範囲のみにワイヤフレームが描画されるため、無駄な処理を削減できる。 Further, the imaging apparatus of the first invention is a setting for setting a range for drawing the wire frame by the drawing unit based on the distance measured by the measuring unit and the angle of view of the image captured by the imaging unit. The control means can control the drawing means so that the wire frame is drawn in a range set by the setting means. Thereby, since a wire frame is drawn only in a necessary range, useless processing can be reduced.
また、第1の発明において、前記描画手段を、可動レーザ光源を用いたレーザ照射装置、または固定レーザ光源及び可動ミラーで構成されたレーザ照射装置で構成することができる。このように、描画手段としてレーザ照射装置を用いる場合には、フォーカス系の構成が不要であるため、簡易な構成で適切にワイヤフレームを描画することができる。 Further, in the first invention, the drawing means can be constituted by a laser irradiation apparatus using a movable laser light source or a laser irradiation apparatus constituted by a fixed laser light source and a movable mirror. As described above, when the laser irradiation apparatus is used as the drawing unit, the configuration of the focus system is unnecessary, and therefore, the wire frame can be appropriately drawn with a simple configuration.
また、第2の発明の撮像装置は、対象範囲を撮像する撮像手段と、前記撮像手段により撮像された画像から特徴点を抽出する抽出手段と、前記抽出手段により抽出された特徴点に対応する位置と前記撮像手段との距離を計測する計測手段と、前記抽出手段により抽出された特徴点に対応する位置及び前記計測手段により計測された距離に基づいて、前記奥行方向の距離に対応したワイヤフレームを構築する構築手段と、前記構築手段により構築されたワイヤフレームを、前記撮像手段の撮像方向に対して垂直な面に投影した画像に変換し、変換された画像と前記撮像手段により撮像された画像とを合成する合成手段と、を含んで構成されている。 The imaging device of the second invention corresponds to the imaging means for imaging the target range, the extracting means for extracting feature points from the image captured by the imaging means, and the feature points extracted by the extracting means. Measuring means for measuring the distance between the position and the imaging means; and a wire corresponding to the distance in the depth direction based on the position corresponding to the feature point extracted by the extracting means and the distance measured by the measuring means A construction means for constructing a frame, and a wire frame constructed by the construction means are converted into an image projected on a plane perpendicular to the imaging direction of the imaging means, and the converted image and the imaging means are captured. Synthesizing means for synthesizing the images.
第2の発明の撮像装置によれば、撮像手段が、対象範囲を撮像し、抽出手段が、撮像手段により撮像された画像から特徴点を抽出し、計測手段が、抽出手段により抽出された特徴点に対応する位置と撮像手段との距離を計測する。そして、構築手段が、抽出手段により抽出された特徴点に対応する位置及び計測手段により計測された距離に基づいて、奥行方向の距離に対応したワイヤフレームを構築する。そして、合成手段が、構築手段により構築されたワイヤフレームを、撮像手段の撮像方向に対して垂直な面に投影した画像に変換し、変換された画像と撮像手段により撮像された画像とを合成する。 According to the imaging apparatus of the second invention, the imaging unit images the target range, the extraction unit extracts the feature point from the image captured by the imaging unit, and the measurement unit extracts the feature extracted by the extraction unit. The distance between the position corresponding to the point and the imaging means is measured. Then, the construction unit constructs a wire frame corresponding to the distance in the depth direction based on the position corresponding to the feature point extracted by the extraction unit and the distance measured by the measurement unit. The synthesizing unit converts the wire frame constructed by the constructing unit into an image projected on a plane perpendicular to the imaging direction of the imaging unit, and synthesizes the converted image and the image captured by the imaging unit. To do.
このように、奥行方向に対応したワイヤフレームを構築し、そのワイヤフレームを撮像された画像に合成するため、簡易な構成及び処理で奥行方向の距離感を直感的に把握することができる。 Thus, since the wire frame corresponding to the depth direction is constructed and the wire frame is combined with the captured image, the sense of distance in the depth direction can be intuitively grasped with a simple configuration and processing.
また、前記ワイヤフレームを、前記奥行方向に等間隔に配置された前記特徴点を囲む複数の円弧状の線と、前記特徴点を基準に水平方向に等間隔に配置された前記奥行方向に伸びる直線とで構成するようにすることができる。これにより、奥行方向の距離感を直感的に把握することが容易になる。 Further, the wire frame extends in the depth direction arranged at equal intervals in the horizontal direction with reference to the feature points and a plurality of arc-shaped lines surrounding the feature points arranged at equal intervals in the depth direction. It can be constituted by a straight line. Thereby, it becomes easy to intuitively grasp the sense of distance in the depth direction.
また、第3の発明の撮像方法は、対象範囲を撮像する撮像手段により撮像された画像を取得し、取得された画像から特徴点を抽出し、抽出された特徴点に対応する位置と前記撮像手段との距離を計測し、抽出された特徴点に対応する位置及び計測された距離に基づいて、前記撮像手段から前記特徴点に対応する位置までの奥行方向の距離に対応したワイヤフレームを構築し、構築されたワイヤフレームが前記対象範囲に描画されるように、前記対象範囲にワイヤフレームを描画する描画手段を制御する方法である。 According to a third aspect of the present invention, there is provided an imaging method of acquiring an image captured by an imaging unit that captures a target range, extracting a feature point from the acquired image, a position corresponding to the extracted feature point, and the imaging Measure the distance to the means, and construct a wire frame corresponding to the distance in the depth direction from the imaging means to the position corresponding to the feature point based on the position corresponding to the extracted feature point and the measured distance Then, the drawing means for drawing the wire frame in the target range is controlled so that the constructed wire frame is drawn in the target range.
また、第4の発明の撮像方法は、対象範囲を撮像する撮像手段により撮像された画像を取得し、取得された画像から特徴点を抽出し、抽出された特徴点に対応する位置と前記撮像手段との距離を計測し、抽出された特徴点に対応する位置及び計測された距離に基づいて、前記撮像手段から前記特徴点に対応する位置までの奥行方向の距離に対応したワイヤフレームを構築し、構築されたワイヤフレームを、前記撮像手段の撮像方向に対して垂直な面に投影した画像に変換し、変換された画像と前記撮像手段により撮像された画像とを合成する方法である。 According to a fourth aspect of the present invention, there is provided an imaging method of acquiring an image captured by an imaging unit that captures a target range, extracting a feature point from the acquired image, a position corresponding to the extracted feature point, and the imaging Measure the distance to the means, and construct a wire frame corresponding to the distance in the depth direction from the imaging means to the position corresponding to the feature point based on the position corresponding to the extracted feature point and the measured distance Then, the constructed wire frame is converted into an image projected on a plane perpendicular to the imaging direction of the imaging unit, and the converted image and the image captured by the imaging unit are synthesized.
また、第5の発明の撮像プログラムは、コンピュータを、対象範囲を撮像する撮像手段により撮像された画像から特徴点を抽出する抽出手段、前記抽出手段により抽出された特徴点に対応する位置と前記撮像手段との奥行方向の距離を計測する計測手段、前記抽出手段により抽出された特徴点に対応する位置及び前記計測手段により計測された距離に基づいて、前記奥行方向の距離に対応したワイヤフレームを構築する構築手段、及び前記構築手段により構築されたワイヤフレームが前記対象範囲に描画されるように、前記対象範囲にワイヤフレームを描画する描画手段を制御する制御手段として機能させるためのプログラムである。 According to a fifth aspect of the present invention, there is provided an imaging program for causing a computer to extract a feature point from an image captured by an imaging unit that captures a target range, a position corresponding to the feature point extracted by the extraction unit, and the Measuring means for measuring a distance in the depth direction with the imaging means, a position corresponding to the feature point extracted by the extracting means, and a wire frame corresponding to the distance in the depth direction based on the distance measured by the measuring means And a program for functioning as control means for controlling the drawing means for drawing the wire frame in the target range so that the wire frame constructed by the construction means is drawn in the target range. is there.
また、第6の発明の撮像プログラムは、コンピュータを、対象範囲を撮像する撮像手段により撮像された画像から特徴点を抽出する抽出手段、前記抽出手段により抽出された特徴点に対応する位置と前記撮像手段との奥行方向の距離を計測する計測手段、前記抽出手段により抽出された特徴点に対応する位置及び前記計測手段により計測された距離に基づいて、前記奥行方向の距離に対応したワイヤフレームを構築する構築手段、及び前記構築手段により構築されたワイヤフレームを、前記撮像手段の撮像方向に対して垂直な面に投影した画像に変換し、変換された画像と前記撮像手段により撮像された画像とを合成する合成手段として機能させるためのプログラムである。 According to a sixth aspect of the present invention, there is provided an imaging program for extracting a feature point from an image captured by an imaging unit that images a target range, a position corresponding to the feature point extracted by the extraction unit, and the position Measuring means for measuring a distance in the depth direction with the imaging means, a position corresponding to the feature point extracted by the extracting means, and a wire frame corresponding to the distance in the depth direction based on the distance measured by the measuring means And a wire frame constructed by the construction unit is converted into an image projected on a plane perpendicular to the imaging direction of the imaging unit, and the converted image and the imaging unit are captured. This is a program for functioning as a combining means for combining with an image.
また、第7の発明の内視鏡は、上記第1及び第2の発明の撮像装置を備えて構成されている。また、第7の発明の内視鏡は、前記撮像手段を、第1の視点から前記対象範囲を撮像する第1の撮像手段と、前記第1の視点とは異なる第2の視点から前記対象範囲を撮像する第2の撮像手段とで構成することができる。異なる2視点からの画像を用いて立体視を行う内視鏡においては、特に画像上での奥行方向の距離感が把握し難いという問題があるため、本発明を適用する意義が高い。 An endoscope according to a seventh aspect of the invention includes the imaging device according to the first and second aspects of the invention. The endoscope according to a seventh aspect of the present invention is the endoscope, wherein the imaging unit includes the first imaging unit that captures the target range from a first viewpoint and the target from a second viewpoint different from the first viewpoint. It can comprise with the 2nd imaging means which images a range. In an endoscope that performs stereoscopic viewing using images from two different viewpoints, there is a problem that it is difficult to grasp the sense of distance in the depth direction on the image, and therefore it is highly meaningful to apply the present invention.
本発明によれば、奥行方向に対応したワイヤフレームを構築し、そのワイヤフレームを対象範囲に描画するか、または画像に合成するため、簡易な構成及び処理で奥行方向の距離感を直感的に把握することができる、という効果が得られる。 According to the present invention, a wire frame corresponding to the depth direction is constructed, and the wire frame is drawn in the target range or synthesized with an image. Therefore, the sense of distance in the depth direction can be intuitively achieved with a simple configuration and processing. The effect that it can grasp is acquired.
以下、図面を参照して、本発明の実施の形態について詳細に説明する。本実施の形態では、本発明の撮像装置を立体視内視鏡に適用した場合について説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In this embodiment, a case where the imaging device of the present invention is applied to a stereoscopic endoscope will be described.
図1に示すように、第1の実施の形態に係る立体視内視鏡10は、患者の体腔内に挿入される長尺状の挿入部12を備えており、挿入部12の基端部には、本体操作部14が連設されている。この本体操作部14には制御部20に着脱可能に接続される長尺状のライトガイド16が連結されている。また、本体操作部14には、挿入部12を操作するための操作ノブ18が設けられている。また、制御部20には、各種表示を行うためのディスプレイ50、及び各種入力操作等を行うための制御操作部60が接続されている。
As shown in FIG. 1, the
また、挿入部12の先端部には、対象範囲を撮像する撮像部40が設けられている。図2(A)に撮像部40の側面概略図、同図(B)に正面概略図を示す。図2に示すように、撮像部40は、各々共通の対象範囲を撮像するための複数(ここでは、2つ)のカメラ41A及びカメラ41Bと、後述するワイヤフレームを対象範囲に描画する可動レーザ光源を用いたレーザ照射装置42と、対象範囲に照明を照射する照明装置43と、制御部20の制御に従ってカメラ41A及びカメラ41Bを駆動するカメラ駆動部44A及び44Bと、制御部20の制御に従ってレーザ照射装置42を駆動するレーザ駆動部45と、を備えている。カメラ41A及びカメラ41Bは、撮像素子46A及び撮像素子46Bと、撮像素子46Aの撮像領域に被写体像を結像させる結像光学系47Aと、撮像素子46Bの撮像領域に被写体像を結像させる結像光学系47Bと、を備えている。撮像素子46A及び46Bは、例えばCCDエリアセンサやCMOSイメージセンサ等を用いることができる。また、結像光学系47A及び47Bは、例えば各々単一の結像レンズのみで構成してもよいし、結像レンズに加えて、焦点調整用の機構やズーミング用の機構等を設けて、焦点調整やズーミング等の機能を有する構成としてもよい。
In addition, an
図3は、立体視内視鏡10の構成を示す概略ブロック図である。図3に示すように、立体視内視鏡10の制御部20は、撮像制御部21、画像処理部22、画像記憶部23、内部メモリ24、表示制御部25、特徴点抽出部26、距離計測部27、ワイヤフレーム構築部28、レーザ制御部29、及びCPU30を備えている。
FIG. 3 is a schematic block diagram showing the configuration of the
撮像制御部21は、制御操作部60を操作することにより撮像が指示されると、カメラ41A及び41Bにより対象範囲を撮像し、画像データが出力されるようにカメラ駆動部44A及び44B(図3では図示省略)に指示信号を出力する。
When imaging is instructed by operating the
画像処理部22は、カメラ41A及び41Bから出力された左画像及び右画像の画像データに対して、アナログ/デジタル変換処理、ホワイトバランス調整、階調補正、シャープネス補正、及び色補正等の画像処理を施す。また、画像処理部22は、所定の画像処理が施された左画像及び右画像を表す画像データに対して、例えば、JPEG等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルを生成する。また、左画像及び右画像をディスプレイ50に立体視表示するために、立体視用の画像ファイルに3次元処理を行って立体視用画像を生成する。
The
画像記憶部23は、画像処理部22で所定の画像処理が施された右画像及び左画像を表す画像データ、立体視用の画像ファイル等の画像データを記憶する。
The
内部メモリ24は、立体視内視鏡10において設定される各種定数、及びCPU30が実行するプログラム等を記憶する。
The
表示制御部25は、画像記憶部23に記憶された左画像及び右画像から生成された立体視用画像がディスプレイ50に表示されるように制御する。
The
特徴点抽出部26は、左画像、右画像、または立体視用画像から特徴点Pを抽出する。例えば、診断及び治療の対象となる患部が特徴点として抽出されるように、予め定めたパターンと一致する画素や所定の条件を満たす画素値の画素等を抽出する。また、ユーザがディスプレイ50に表示された画像を確認して、制御操作部60を操作することにより設定した特徴点を抽出するようにしてもよい。
The feature
距離計測部27は、左画像及び右画像を用いたステレオ計測により、カメラ41Aの中心とカメラ41Bの中心との中点(以下、カメラ位置Pcという)と、画像上から抽出された特徴点Pに対応する実際の位置(以下、特徴点位置P’という)との距離を計測する。なお、本実施の形態では、ステレオ計測により距離を計測する場合について説明するが、単眼の撮像装置の場合には、焦点距離を用いて特徴点までの距離を計測するようにしてもよい。
The
ワイヤフレーム構築部28は、図4に示すように、対象範囲に設定した水平方向をX軸、垂直方向をY軸、カメラの中心を通る撮像方向をZ軸とする座標系において、奥行方向の距離に対応したワイヤフレームを構築する。具体的には、X軸と特徴点位置P’とで定まる平面Sにおいて、Z軸方向に等間隔に配置された特徴点位置P’を囲む複数の円弧状の線と、同平面Sにおいて等間隔に配置された直線Pc−P’に平行な直線とで構成されたワイヤフレームを構築する。
As shown in FIG. 4, the wire
なお、図4では、簡略的に1つのカメラのみを示し、カメラの撮像方向をZ軸として説明したが、実際には、カメラ41Aの中心を通るカメラ41Aの撮像方向を示す直線とカメラ41Bの中心を通るカメラ41Bの撮像方向を示す直線との交点と、カメラ位置Pcとを通る直線をZ軸とし、カメラ41Aの中心とカメラ41Bの中心とを通る直線をX軸、X軸及びZ軸に直交する方向をY軸とする。また、カメラ41Aの撮像方向とカメラ41Bの撮像方向とが平行の場合には、カメラ位置Pcを通り、撮像方向に平行な直線をZ軸とすればよい。
In FIG. 4, only one camera is shown in a simplified manner, and the imaging direction of the camera is described as the Z axis. However, in practice, a straight line indicating the imaging direction of the
レーザ制御部29は、レーザ照射装置42により、ワイヤフレーム構築部28で構築されたワイヤフレームが対象範囲に描画されるようにレーザ駆動部45(図3では図示省略)に制御信号を出力する。
The
次に、図5を参照して、第1の実施の形態の立体視内視鏡10において実行される撮像処理ルーチンについて説明する。
Next, an imaging processing routine executed in the
ステップ100で、カメラ41A及び41Bから出力された左画像及び右画像を示す画像データを取得し、所定の画像処理及び3次元処理を施して、ディスプレイ50に立体視画像を表示する。
In
次に、ステップ102で、予め定めたパターンと一致する画素や所定の条件を満たす画素値の画素が特徴点として抽出されたか、または制御操作部60から入力される情報を取得して、ユーザによりディスプレイ50に表示された画像から患部位置を示す特徴点が設定されたか否かを判定する。特徴点が抽出または設定された場合には、ステップ104へ移行し、特徴点が抽出または設定されない場合には、抽出または設定されるまで待機状態となる。
Next, in
ステップ104では、上記ステップ102で抽出または設定された特徴点を特徴点Pとして、カメラ位置Pcと特徴点位置P’との奥行方向の距離Dをステレオ計測により計測する。
In
次に、ステップ106で、距離Dが予め定めた閾値Dthより大きいか否かを判定する。閾値Dthは、奥行方向の距離を把握しやすくするためのワイヤフレームを描画する必要がない程度の距離を予め定めておく。D>Dthの場合には、ステップ108へ移行し、D≦Dthの場合には、処理を終了する。
Next, in
ステップ108では、特徴点Pの近傍から2つの特徴点A及びBを抽出する。この特徴点A及びBは、画像上での患部の範囲を特定するためのものである。例えば、図6に示すように、こぶ上の患部の頂点部が特徴点Pとして抽出または設定されている場合には、患部の裾部を特徴点A及びBとして抽出する。特徴点A及びBは、例えばエッジ抽出処理等により抽出することができる。
In
次に、ステップ110で、上記ステップ108で特徴点A及びBが抽出されたか否かを判定する。画像が不鮮明な場合や、患部自体の形状等によっては、適切な特徴点A及びBを抽出できない場合もある。特徴点A及びBが抽出できなかった場合には、ステップ112へ移行し、抽出された場合には、ステップ114へ移行する。
Next, in
ステップ112では、制御操作部60から入力される情報を取得して、ユーザによりディスプレイ50に表示された画像から特徴点A及びBが設定されたか否かを判定する。特徴点A及びBが設定された場合には、ステップ114へ移行し、特徴点A及びBが設定されない場合には、設定されるまで待機状態となる。
In
ステップ114では、ワイヤフレーム構築処理を実行する。ここで、図7を参照して、第1の実施の形態の立体視内視鏡10において実行されるワイヤフレーム構築処理ルーチンについて説明する。
In
ステップ150で、X軸と特徴点位置P’とで定まる平面Sを設定し、カメラ位置Pc及び特徴点Aに対応する位置を通る直線と平面Sとの交点を特徴点位置A’、カメラ位置Pc及び特徴点Bに対応する位置を通る直線と平面Sとの交点を特徴点位置B’として設定する。そして、図8に示すように、特徴点位置P’、A’及びB’を通り、中心が直線Pc−P’上にある円弧の半径rを算出する。
In
次に、ステップ152で、特徴点位置A’及びB’を通る半径r×tの中心が直線Pc−P’上にある円弧C0を、平面S上に特徴点位置P’を囲むように設定する。tは1より大きな値とする。また、距離Dに応じて変更してもよい。
Next, in
次に、ステップ154で、円弧の描画本数nが設定されているか否かを判定する。設定されていない場合には、設定されるまで待機状態となる。なお、初期値として予め定めた値を設定しておいてもよい。円弧の描画本数nが設定されている場合には、ステップ156へ移行し、平面S上に、円弧C0と平行な半径r×tの円弧C1〜Cn−1をD/n間隔で設定する。
Next, in
次に、ステップ158で、図9に示すように、平面Sに、特徴点位置P’とカメラ位置Pcとを通る直線L0(=直線Pc−P’)を設定する。 Next, in step 158, as shown in FIG. 9, a straight line L 0 (= straight line Pc−P ′) passing through the feature point position P ′ and the camera position Pc is set on the plane S.
次に、ステップ160で、直線描画間隔Δxが設定されているか否かを判定する。設定されていない場合には、設定されるまで待機状態となる。なお、初期値として予め定めた値を設定しておいてもよい。直線描画間隔Δxが設定されている場合には、ステップ162へ移行する。
Next, in
ステップ162では、平面S上に、直線L0と平行な直線L−m〜LmをΔx間隔で設定する。mは、ワイヤフレームを描画する対象範囲やΔxの値に応じて予め任意の正数を設定しておく。これにより、奥行方向に等間隔に配置された特徴点位置P’を囲む複数の円弧と、X軸方向に対して等間隔に配置された奥行方向に伸びる直線とで構成されたワイヤフレームが、平面S上に構築される。
In
次に、図5のステップ116に戻って、ワイヤフレームを描画する描画範囲を設定する。描画範囲は、例えば、図10に示すような特徴点Pを含む画像上での範囲hx,hyを、図11に示すような距離−描画範囲データベースを参照して、図12に示すように、カメラの焦点距離と画角との関係、及び距離Dに基づいて、X軸方向及びY軸方向に対応させた範囲Hx、Hyとして設定する。 Next, returning to step 116 in FIG. 5, a drawing range for drawing the wire frame is set. For example, as shown in FIG. 12, the drawing range refers to the range hx, hy on the image including the feature point P as shown in FIG. 10 with reference to the distance-drawing range database as shown in FIG. Based on the relationship between the focal length of the camera and the angle of view and the distance D, ranges Hx and Hy corresponding to the X-axis direction and the Y-axis direction are set.
次に、ステップ118で、上記ステップ116で設定された描画範囲Hx,Hyを平面Sに対応させる。具体的には、図13に示すように、カメラ位置Pcと特徴点位置P’を含む範囲Hx,HyのXY平面とで囲まれた領域に含まれる平面Sの範囲S’(同図中斜線の範囲)が、描画範囲Hx,Hyに対応する平面S上の範囲となる。そして、上記ステップ114で構築されたワイヤフレームが、平面Sの範囲S’にレーザ照射装置42によって描画されるように制御する。なお、レーザの照射は特徴点位置P’よりY座標が大きく、特徴点位置P’に対してカメラ位置Pcの後方となる位置から照射する。これにより、図10に示すように、描画範囲にワイヤフレームが描画された状態の対象範囲がカメラにより撮像される。
Next, in
なお、図8及び9に示すように、ワイヤフレームを構成する円弧は等間隔に配置されているため、Y軸視においては等間隔に見えるが、Z軸視(撮像方向)で見た場合、すなわち画像上では不等間隔となる。また、ワイヤフレームを構成する直線は等間隔に配置されているため、Y軸視においては等間隔に見えるが、Z軸視で見た場合、すなわち画像上では奥行方向奥側に対して手前側が開いた配置となる。 As shown in FIGS. 8 and 9, since the arcs constituting the wire frame are arranged at equal intervals, the Y-axis view appears to be equal intervals, but when viewed in the Z-axis view (imaging direction), That is, the intervals are unequal on the image. In addition, since the straight lines constituting the wire frame are arranged at equal intervals, they appear to be equally spaced in the Y-axis view, but when viewed in the Z-axis view, that is, on the image, the front side is closer to the depth side in the depth direction. Open arrangement.
以上説明したように、第1の実施の形態の立体視内視鏡によれば、奥行方向に等間隔に配置された特徴点位置P’を囲む複数の円弧と、奥行方向に伸びる直線とで構成されたワイヤフレームを構築し、構築されたワイヤフレームをレーザ照射装置により描画するため、奥行方向の間隔を示すワイヤフレームが描画された画像が取得されることになり、簡易な構成及び処理で奥行方向の距離感を直感的に把握することができる。 As described above, according to the stereoscopic endoscope of the first embodiment, the plurality of arcs surrounding the feature point positions P ′ arranged at equal intervals in the depth direction and the straight line extending in the depth direction. Since the constructed wire frame is constructed, and the constructed wire frame is drawn by the laser irradiation apparatus, an image in which the wire frame indicating the depth direction interval is drawn is acquired, and the simple configuration and processing are performed. A sense of distance in the depth direction can be intuitively grasped.
なお、第1の実施の形態では、ワイヤフレームを可動式レーザ光源を用いたレーザ照射装置により描画する場合について説明したが、固定式のレーザ光源と可動式ミラーとで構成されたレーザ照射装置を用いてもよい。また、構築されたワイヤフレームをXY平面の液晶パネル上に対応させ、この液晶パネルにバックライトを照射して透過した光を対象範囲に投影するようにしてもよい。また、個別に駆動される多数の微小鏡面(マイクロミラー)を平面に配列したDMD(デジタル・マイクロミラー・デバイス:Digital Micro mirror Device)上にワイヤフレームを対応させ、このDMDに光源を照射して反射した光を対象範囲に投影するようにしてもよい。このような透過型または反射型の照射装置の場合には、フォーカス系の構成も合わせて用い、ワイヤフレームが対象範囲に適切に描画されるようにする。 In the first embodiment, the case where the wire frame is drawn by the laser irradiation device using the movable laser light source has been described. However, the laser irradiation device including the fixed laser light source and the movable mirror is used. It may be used. Further, the constructed wire frame may correspond to the liquid crystal panel on the XY plane, and the light transmitted through the backlight applied to the liquid crystal panel may be projected onto the target range. In addition, a wire frame is made to correspond to a DMD (Digital Micromirror Device) in which a large number of individually driven micromirror surfaces (micromirrors) are arranged in a plane, and a light source is irradiated to the DMD. The reflected light may be projected onto the target range. In the case of such a transmission type or reflection type irradiation device, the configuration of the focus system is also used so that the wire frame is appropriately drawn in the target range.
また、第1の実施の形態では、ワイヤフレームを構築してから、描画範囲を設定し、設定された描画範囲にワイヤフレームを描画する場合について説明したが、先に描画範囲を設定し、設定された範囲にワイヤフレームを構築するようにしてもよい。 In the first embodiment, the case where the drawing range is set after the wire frame is constructed and the wire frame is drawn in the set drawing range has been described. However, the drawing range is set and set first. You may make it construct | assemble a wire frame in the set range.
次に、第2の実施の形態について説明する。なお、第2の実施の形態の立体視内視鏡210の構成について、第1の実施の形態の立体視内視鏡10と同一の構成については、同一の符号を付して説明を省略する。
Next, a second embodiment will be described. In addition, about the structure of the
図14は、立体視内視鏡210の構成を示す概略ブロック図である。図14に示すように、立体視内視鏡210の制御部220は、撮像制御部21、画像処理部22、画像記憶部23、内部メモリ24、表示制御部25、特徴点抽出部26、距離計測部27、ワイヤフレーム構築部28、画像合成部31、及びCPU30を備えている。
FIG. 14 is a schematic block diagram showing the configuration of the
画像合成部31は、カメラ41A及び41Bにより撮像された画像に、ワイヤフレーム構築部28で構築されたワイヤフレームを表す画像を合成する。
The
次に、図15を参照して、第2の実施の形態の立体視内視鏡210において実行される撮像処理ルーチンについて説明する。なお、第1の実施の形態の撮像処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。
Next, an imaging processing routine executed in the
ステップ100〜114を経て、ステップ200で、特徴点位置P’と同じY座標位置からのZ軸視となるように、構築されたワイヤフレームを、特徴点位置P’を含むXY平面に投影することによりZ軸視に変換する。例えば、図16に示すように、直線PC−P’と円弧C1〜C3との交点c1〜c3についてみると、c1〜c3は各々XY平面上のc1’〜c3’に投影される。このようにZ軸視に変換することで、平面S上に等間隔で配置された円弧は不等間隔になる。
Through
次に、ステップ202で、XY平面に投影されたワイヤフレームを撮像画像に合成する。例えば、図16に示すように、XY平面上の点c1’〜c3’は、各々画像上でCI1〜CI3に対応する。このように、ワイヤフレーム上の各点に対応する画像上の点を得て、ワイヤフレーム画像を生成し、特徴点P等に基づいて位置合せを行って撮像画像と合成する。
Next, in
以上説明したように、第2の実施の形態の立体視内視鏡によれば、奥行方向に等間隔に配置された特徴点位置P’を囲む複数の円弧と、奥行方向に伸びる直線とで構成されたワイヤフレームを構築し、構築されたワイヤフレームを撮像画像に合成するため、奥行方向の間隔を示すワイヤフレームが描画された画像が表示されることになり、簡易な構成及び処理で奥行方向の距離感を直感的に把握することができる。 As described above, according to the stereoscopic endoscope of the second embodiment, the plurality of arcs surrounding the feature point positions P ′ arranged at equal intervals in the depth direction and the straight line extending in the depth direction. Since the constructed wire frame is constructed and the constructed wire frame is combined with the captured image, an image on which the wire frame indicating the depth direction interval is drawn is displayed. You can intuitively grasp the sense of distance in the direction.
10、210 立体視内視鏡
20、220 制御部
26 特徴点抽出部
27 距離計測部
28 ワイヤフレーム構築部
29 レーザ制御部
31 画像合成部
40 撮像部
41A カメラ
41B カメラ
42 レーザ照射装置
DESCRIPTION OF SYMBOLS 10,210 Stereoscopic endoscope 20,220
Claims (11)
前記撮像手段により撮像された画像から特徴点を抽出する抽出手段と、
前記抽出手段により抽出された特徴点に対応する位置と前記撮像手段との奥行方向の距離を計測する計測手段と、
前記抽出手段により抽出された特徴点に対応する位置及び前記計測手段により計測された距離に基づいて、前記奥行方向の距離に対応したワイヤフレームを構築する構築手段と、
前記対象範囲にワイヤフレームを描画する描画手段と、
前記構築手段により構築されたワイヤフレームが前記対象範囲に描画されるように前記描画手段を制御する制御手段と、
を含む撮像装置。 Imaging means for imaging a target range;
Extraction means for extracting feature points from the image captured by the imaging means;
A measuring means for measuring a distance in a depth direction between the position corresponding to the feature point extracted by the extracting means and the imaging means;
Construction means for constructing a wire frame corresponding to the distance in the depth direction based on the position corresponding to the feature point extracted by the extraction means and the distance measured by the measurement means;
Drawing means for drawing a wire frame in the target range;
Control means for controlling the drawing means so that the wire frame constructed by the construction means is drawn in the target range;
An imaging apparatus including:
前記制御手段は、前記設定手段により設定された範囲に前記ワイヤフレームが描画されるように前記描画手段を制御する
請求項1記載の撮像装置。 Setting means for setting a range for drawing the wire frame by the drawing means based on the distance measured by the measuring means and the angle of view of the image taken by the imaging means;
The imaging apparatus according to claim 1, wherein the control unit controls the drawing unit such that the wire frame is drawn in a range set by the setting unit.
前記撮像手段により撮像された画像から特徴点を抽出する抽出手段と、
前記抽出手段により抽出された特徴点に対応する位置と前記撮像手段との距離を計測する計測手段と、
前記抽出手段により抽出された特徴点に対応する位置及び前記計測手段により計測された距離に基づいて、前記奥行方向の距離に対応したワイヤフレームを構築する構築手段と、
前記構築手段により構築されたワイヤフレームを、前記撮像手段の撮像方向に対して垂直な面に投影した画像に変換し、変換された画像と前記撮像手段により撮像された画像とを合成する合成手段と、
を含む撮像装置。 Imaging means for imaging a target range;
Extraction means for extracting feature points from the image captured by the imaging means;
Measuring means for measuring a distance between a position corresponding to the feature point extracted by the extracting means and the imaging means;
Construction means for constructing a wire frame corresponding to the distance in the depth direction based on the position corresponding to the feature point extracted by the extraction means and the distance measured by the measurement means;
Combining means for converting the wire frame constructed by the constructing means into an image projected on a plane perpendicular to the imaging direction of the imaging means and synthesizing the converted image and the image taken by the imaging means When,
An imaging apparatus including:
取得された画像から特徴点を抽出し、
抽出された特徴点に対応する位置と前記撮像手段との距離を計測し、
抽出された特徴点に対応する位置及び計測された距離に基づいて、前記撮像手段から前記特徴点に対応する位置までの奥行方向の距離に対応したワイヤフレームを構築し、
構築されたワイヤフレームが前記対象範囲に描画されるように、前記対象範囲にワイヤフレームを描画する描画手段を制御する
撮像方法。 Obtain an image captured by an imaging means that captures the target range,
Extract feature points from the acquired image,
Measure the distance between the position corresponding to the extracted feature point and the imaging means,
Based on the position corresponding to the extracted feature point and the measured distance, a wire frame corresponding to the distance in the depth direction from the imaging unit to the position corresponding to the feature point is constructed,
An imaging method for controlling drawing means for drawing a wire frame in the target range so that the constructed wire frame is drawn in the target range.
取得された画像から特徴点を抽出し、
抽出された特徴点に対応する位置と前記撮像手段との距離を計測し、
抽出された特徴点に対応する位置及び計測された距離に基づいて、前記撮像手段から前記特徴点に対応する位置までの奥行方向の距離に対応したワイヤフレームを構築し、
構築されたワイヤフレームを、前記撮像手段の撮像方向に対して垂直な面に投影した画像に変換し、変換された画像と前記撮像手段により撮像された画像とを合成する
撮像方法。 Obtain an image captured by an imaging means that captures the target range,
Extract feature points from the acquired image,
Measure the distance between the position corresponding to the extracted feature point and the imaging means,
Based on the position corresponding to the extracted feature point and the measured distance, a wire frame corresponding to the distance in the depth direction from the imaging unit to the position corresponding to the feature point is constructed,
An imaging method in which the constructed wire frame is converted into an image projected on a plane perpendicular to the imaging direction of the imaging unit, and the converted image and the image captured by the imaging unit are combined.
対象範囲を撮像する撮像手段により撮像された画像から特徴点を抽出する抽出手段、
前記抽出手段により抽出された特徴点に対応する位置と前記撮像手段との奥行方向の距離を計測する計測手段、
前記抽出手段により抽出された特徴点に対応する位置及び前記計測手段により計測された距離に基づいて、前記奥行方向の距離に対応したワイヤフレームを構築する構築手段、及び
前記構築手段により構築されたワイヤフレームが前記対象範囲に描画されるように、前記対象範囲にワイヤフレームを描画する描画手段を制御する制御手段
として機能させるための撮像プログラム。 Computer
Extraction means for extracting feature points from the image captured by the imaging means for capturing the target range;
Measuring means for measuring a distance in a depth direction between the position corresponding to the feature point extracted by the extracting means and the imaging means;
Based on the position corresponding to the feature point extracted by the extraction means and the distance measured by the measurement means, the construction means for constructing a wire frame corresponding to the distance in the depth direction, and the construction means An imaging program for functioning as a control unit that controls a drawing unit that draws a wire frame in the target range such that a wire frame is drawn in the target range.
対象範囲を撮像する撮像手段により撮像された画像から特徴点を抽出する抽出手段、
前記抽出手段により抽出された特徴点に対応する位置と前記撮像手段との奥行方向の距離を計測する計測手段、
前記抽出手段により抽出された特徴点に対応する位置及び前記計測手段により計測された距離に基づいて、前記奥行方向の距離に対応したワイヤフレームを構築する構築手段、及び
前記構築手段により構築されたワイヤフレームを、前記撮像手段の撮像方向に対して垂直な面に投影した画像に変換し、変換された画像と前記撮像手段により撮像された画像とを合成する合成手段
として機能させるための撮像プログラム。 Computer
Extraction means for extracting feature points from the image captured by the imaging means for capturing the target range;
Measuring means for measuring a distance in a depth direction between the position corresponding to the feature point extracted by the extracting means and the imaging means;
Based on the position corresponding to the feature point extracted by the extraction means and the distance measured by the measurement means, the construction means for constructing a wire frame corresponding to the distance in the depth direction, and the construction means An imaging program for converting a wire frame into an image projected on a plane perpendicular to the imaging direction of the imaging unit, and causing the converted image and an image captured by the imaging unit to function as a combining unit .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010079511A JP2011206435A (en) | 2010-03-30 | 2010-03-30 | Imaging device, imaging method, imaging program and endoscope |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010079511A JP2011206435A (en) | 2010-03-30 | 2010-03-30 | Imaging device, imaging method, imaging program and endoscope |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011206435A true JP2011206435A (en) | 2011-10-20 |
Family
ID=44938200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010079511A Pending JP2011206435A (en) | 2010-03-30 | 2010-03-30 | Imaging device, imaging method, imaging program and endoscope |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011206435A (en) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013220254A (en) * | 2012-04-18 | 2013-10-28 | Sony Corp | Image processing apparatus and image processing method |
JP2015531271A (en) * | 2012-09-14 | 2015-11-02 | ソニー株式会社 | Surgical image processing system, surgical image processing method, program, computer-readable recording medium, medical image processing apparatus, and image processing inspection apparatus |
JP2017119146A (en) * | 2017-02-07 | 2017-07-06 | ソニー株式会社 | Image processing device, operation method of image processing device, and imaging device |
KR101859717B1 (en) * | 2016-12-22 | 2018-06-01 | 테라셈 주식회사 | Endoscope apparatus and control method thereof |
CN111526775A (en) * | 2017-12-27 | 2020-08-11 | 爱惜康有限责任公司 | Hyperspectral imaging with tool tracking in low light environments |
US11924535B2 (en) | 2019-06-20 | 2024-03-05 | Cila GmbH International | Controlling integral energy of a laser pulse in a laser mapping imaging system |
US11974860B2 (en) | 2019-06-20 | 2024-05-07 | Cilag Gmbh International | Offset illumination of a scene using multiple emitters in a hyperspectral, fluorescence, and laser mapping imaging system |
US12007550B2 (en) | 2019-06-20 | 2024-06-11 | Cilag Gmbh International | Driving light emissions according to a jitter specification in a spectral imaging system |
US12013496B2 (en) | 2019-06-20 | 2024-06-18 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed laser mapping imaging system |
US12025559B2 (en) | 2019-06-20 | 2024-07-02 | Cilag Gmbh International | Minimizing image sensor input/output in a pulsed laser mapping imaging system |
US12058431B2 (en) | 2019-06-20 | 2024-08-06 | Cilag Gmbh International | Hyperspectral imaging in a light deficient environment |
US12064211B2 (en) | 2019-06-20 | 2024-08-20 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system |
-
2010
- 2010-03-30 JP JP2010079511A patent/JP2011206435A/en active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013220254A (en) * | 2012-04-18 | 2013-10-28 | Sony Corp | Image processing apparatus and image processing method |
JP2015531271A (en) * | 2012-09-14 | 2015-11-02 | ソニー株式会社 | Surgical image processing system, surgical image processing method, program, computer-readable recording medium, medical image processing apparatus, and image processing inspection apparatus |
KR101859717B1 (en) * | 2016-12-22 | 2018-06-01 | 테라셈 주식회사 | Endoscope apparatus and control method thereof |
JP2017119146A (en) * | 2017-02-07 | 2017-07-06 | ソニー株式会社 | Image processing device, operation method of image processing device, and imaging device |
CN111526775A (en) * | 2017-12-27 | 2020-08-11 | 爱惜康有限责任公司 | Hyperspectral imaging with tool tracking in low light environments |
JP2021509337A (en) * | 2017-12-27 | 2021-03-25 | エシコン エルエルシーEthicon LLC | Hyperspectral imaging with tool tracking in a light-deficient environment |
US12026900B2 (en) | 2017-12-27 | 2024-07-02 | Cllag GmbH International | Hyperspectral imaging in a light deficient environment |
US12020450B2 (en) | 2017-12-27 | 2024-06-25 | Cilag Gmbh International | Fluorescence imaging in a light deficient environment |
US11974860B2 (en) | 2019-06-20 | 2024-05-07 | Cilag Gmbh International | Offset illumination of a scene using multiple emitters in a hyperspectral, fluorescence, and laser mapping imaging system |
US12007550B2 (en) | 2019-06-20 | 2024-06-11 | Cilag Gmbh International | Driving light emissions according to a jitter specification in a spectral imaging system |
US12013496B2 (en) | 2019-06-20 | 2024-06-18 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed laser mapping imaging system |
US11949974B2 (en) | 2019-06-20 | 2024-04-02 | Cilag Gmbh International | Controlling integral energy of a laser pulse in a fluorescence imaging system |
US12025559B2 (en) | 2019-06-20 | 2024-07-02 | Cilag Gmbh International | Minimizing image sensor input/output in a pulsed laser mapping imaging system |
US11924535B2 (en) | 2019-06-20 | 2024-03-05 | Cila GmbH International | Controlling integral energy of a laser pulse in a laser mapping imaging system |
US12058431B2 (en) | 2019-06-20 | 2024-08-06 | Cilag Gmbh International | Hyperspectral imaging in a light deficient environment |
US12064211B2 (en) | 2019-06-20 | 2024-08-20 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011206435A (en) | Imaging device, imaging method, imaging program and endoscope | |
US11246689B2 (en) | Intraoral scanning system with registration warnings | |
AU2016290620B2 (en) | System and method for scanning anatomical structures and for displaying a scanning result | |
JP6323183B2 (en) | Image processing apparatus and image processing method | |
TWI520576B (en) | Method and system for converting 2d images to 3d images and computer-readable medium | |
US20160295194A1 (en) | Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images | |
CN106456292B (en) | Systems, methods, devices for collecting color information related to an object undergoing a 3D scan | |
JPH05108819A (en) | Picture processor | |
KR101772187B1 (en) | Method and device for stereoscopic depiction of image data | |
JP6323184B2 (en) | Image processing apparatus, image processing method, and program | |
JPWO2016208246A1 (en) | Medical stereoscopic observation apparatus, medical stereoscopic observation method, and program | |
JP4764959B1 (en) | Imaging apparatus and control method thereof | |
JP2008232776A (en) | Three-dimensional shape measuring device and method, and program | |
WO2019073814A1 (en) | Focal point detection device, method therefor, and program | |
CN105342561B (en) | The wearable molecular image navigation system of Wireless sound control | |
KR101595962B1 (en) | Colnoscopy surgery simulation system | |
JP2002263053A (en) | Medical image display device and method | |
JP2005312605A (en) | Gaze position display device | |
JP2015220643A (en) | Stereoscopic observation device | |
CN113925441B (en) | Imaging method and imaging system based on endoscope | |
JP5354494B2 (en) | 3D image generation apparatus, 3D image generation method, and program | |
JP2006061274A (en) | Program and endoscope system | |
JP2009258005A (en) | Three-dimensional measuring device and three-dimensional measuring method | |
JP4674093B2 (en) | Endoscope apparatus and program | |
JP4221808B2 (en) | Three-dimensional data input method and apparatus |