JP2006524097A - Apparatus and method for controlling light in an in vivo imaging device - Google Patents
Apparatus and method for controlling light in an in vivo imaging device Download PDFInfo
- Publication number
- JP2006524097A JP2006524097A JP2006507587A JP2006507587A JP2006524097A JP 2006524097 A JP2006524097 A JP 2006524097A JP 2006507587 A JP2006507587 A JP 2006507587A JP 2006507587 A JP2006507587 A JP 2006507587A JP 2006524097 A JP2006524097 A JP 2006524097A
- Authority
- JP
- Japan
- Prior art keywords
- light
- imaging device
- imager
- illumination
- saturation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0607—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for annular illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14539—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring pH
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Studio Devices (AREA)
Abstract
生体内撮像装置を作動させるための装置および方法であって、たとえば、装置により生じて装置に反射される照明の量に応じて、装置により生じた照明の強度および/または持続時間を変更することができ、および/または利得レベルまたは他のパラメータを変更することができる。加えて、撮像装置内で問題のある画素を検出するための方法を提供する。この方法は、たとえば、問題のある画素に関してのみしきい飽和レベルへの到達を可能にする初期の短い露出に基づき、機能しない画素を規定および除外することができる。さらに、暗いフレームの光飽和しきい値に基づき、たとえば暗いフレームの進度を計算することにより、生体内装置が体内にいつ進入したかを求めるための方法を記載する。An apparatus and method for operating an in-vivo imaging device, for example, changing the intensity and / or duration of illumination produced by the device depending on the amount of illumination produced by the device and reflected by the device And / or gain level or other parameters can be changed. In addition, a method is provided for detecting problematic pixels in an imaging device. This method can define and exclude non-functioning pixels based on, for example, an initial short exposure that allows a threshold saturation level to be reached only for problematic pixels. Further described is a method for determining when an in-vivo device has entered the body, for example by calculating the progress of the dark frame based on the light saturation threshold of the dark frame.
Description
発明の背景
体内の通路または空洞を生体内で撮像するための装置および方法が、当該技術において公知である。このような装置は、特に、さまざまな内部の体腔において撮像を行なうためのさまざまな内視鏡的撮像システムおよび装置を含み得る。
Background of the Invention Devices and methods for in vivo imaging of passages or cavities in the body are known in the art. Such devices can include a variety of endoscopic imaging systems and devices for imaging in various internal body cavities, among others.
次に、図1を参照する。図1は、自律型生体内撮像装置の一実施例を示す概略図である。装置10Aは、一般に、光学ウィンドウ21と、GI管等の体腔または内腔の内側から画像を得るための撮像システムとを含む。撮像システムは、照明装置23を含む。照明装置23は、1つ以上の個別の光源23Aを含むことができ、または、1つの光源23Aのみを含むことができる。1つ以上の光源23Aは、白色発光ダイオード(LED)、または当該技術で公知の他の任意の適切な光源であり得る。装置10Aは、画像を捕捉するCMOS撮像センサ24と、CMOS撮像センサ24上にこれらの画像を集束させる光学系22とを含む。照明装置23は、光学ウィンドウ21を介して体内腔の内側の部分を照明する。装置10Aは、送信機26と、CMOS撮像センサ24の映像信号を送信するためのアンテナ27と、1つ以上の電源25とをさらに含む。電源25は、酸化銀電池、リチウム電池、または高エネルギ密度を有する他の電気化学セル等の任意の適切な電源であり得るが、これらに限定されない。電源25は、装置10Aの電気素子に電力を供給することができる。
Reference is now made to FIG. FIG. 1 is a schematic view showing an embodiment of an autonomous in-vivo imaging device. The
一般に、胃腸の適用例では、装置10Aが胃腸(GI)管を通って運ばれると、装置10Aの多画素のCMOSセンサ24等であるがこれに限定されない撮像器が、画像(フレーム)を捕捉する。これらの画像は処理されて、記録または記憶用に患者が携帯する外部受信機/レコーダ(図示せず)に送信される。次に、記録されたデータを、表示および分析用に受信機/レコーダからコンピュータまたはワークステーション(図示せず)にダウンロードすることができる。他のシステムおよび方法もまた適切であり得る。
In general, for gastrointestinal applications, when the
GI管を通って装置10Aが移動する間に、撮像器は、一定のまたは可変のフレーム捕捉速度でフレームを捕捉することができる。たとえば、撮像器(図1のCMOSセンサ24等であるが、これに限定されない)は、1秒間に2つのフレームという一定速度(2Hz)で画像を捕捉することができる。しかしながら、特に、用いられる特定の撮像器、カメラまたはセンサアレイの実現例の種類および特性と、送信機26の利用可能な伝送帯域幅とに依存して、他の異なるフレーム速度を用いることもできる。ダウンロードされた画像は、それらを所望のフレーム速度で再生することによって、ワークステーションによる表示が可能である。この実現例によると、データを調査する専門家または医師に対して映画のような映像の再生を行なうことができ、これにより、医師は、GI管を介した装置の経過を検討することができる。
While the
電気的撮像センサの限界の1つは、それらのダイナミックレンジが制限され得ることである。既存のほとんどの電気的撮像センサのダイナミックレンジは、人間の目のダイナミックレンジよりも著しく低い。したがって、撮像された視野が、暗い部分および明るい部分の両方、または撮像された物体を含む場合、撮像センサのダイナミックレンジが制限されていることにより、その視野の暗い部分の露出不足もしくはその視野の明るい部分の露出過多、またはその両方が生じるおそれがある。 One of the limitations of electrical imaging sensors is that their dynamic range can be limited. The dynamic range of most existing electrical imaging sensors is significantly lower than the dynamic range of the human eye. Therefore, if the imaged field of view includes both dark and bright parts, or an imaged object, the imaging sensor's dynamic range is limited, resulting in underexposure of the dark part of the field of view or of the field of view. Overexposure of bright areas or both may occur.
撮像器のダイナミックレンジを拡大するために、さまざまな方法を用いることができる。このような方法は、たとえば、撮像装置に含まれる絞りまたは絞り装置の直径を変更して撮像センサに到達する光の量を増大または減少させること等による、撮像センサに到達する光の量を変化させること、露出時間を変更するための方法、撮像器の利得を変更するための方法、または照明の強度を変更するための方法を含み得る。たとえば、スチルカメラでは、フィルムの露出中にフラッシュ装置の強度を変更することができる。 Various methods can be used to increase the dynamic range of the imager. Such a method changes the amount of light reaching the imaging sensor, for example, by changing the aperture included in the imaging device or the diameter of the aperture device to increase or decrease the amount of light reaching the imaging sensor. A method for changing the exposure time, a method for changing the gain of the imager, or a method for changing the intensity of the illumination. For example, in a still camera, the intensity of the flash device can be changed during film exposure.
ビデオカメラ等において一連の連続フレームが撮像されるときに、現時点で撮像されるフレーム内における、撮像される視野の照明強度を、以前の1つ以上のフレームで行なわれた光の強度の測定結果に基づいて変更することができる。この方法は、照明の状態が、1つのフレームから連続するフレームへと突然変化しないという仮定に基づく。 When a series of continuous frames are imaged by a video camera or the like, the illumination intensity of the field of view to be imaged in the currently imaged frame is measured as a result of the light intensity measurement performed in one or more previous frames. Can be changed based on This method is based on the assumption that the lighting conditions do not suddenly change from one frame to the next.
しかしながら、たとえばGI管を撮像するための生体内撮像装置において、この撮像装置は低いフレーム速度で作動することが考えられ、体内腔を通って移動する(たとえば、腸壁の蠕動運動によって推進される)ため、或るフレームから次のフレームへと照明の状態が著しく変化することが考えられる。したがって、以前のフレームの測定結果またはデータの分析に基づいて照明を制御する方法は、特に低いフレーム速度では必ずしも常に実施できるものではないことが考えられる。 However, for example, in an in-vivo imaging device for imaging a GI tract, the imaging device is considered to operate at a low frame rate and moves through a body lumen (e.g., driven by peristaltic motion of the intestinal wall). Therefore, it is conceivable that the lighting state changes significantly from one frame to the next. Thus, it is conceivable that a method for controlling illumination based on previous frame measurements or data analysis is not always feasible, especially at low frame rates.
したがって、特定の生体内照明要件または環境条件に調整されることが考えられる、より高精度の照明を提供する撮像装置が必要とされる。 Accordingly, there is a need for an imaging device that provides more accurate illumination that can be tailored to specific in-vivo lighting requirements or environmental conditions.
発明の概要
この発明のいくつかの実施例は、生体内撮像装置を作動させるための装置および方法を含み、この装置が生成する照明は、たとえば、装置が生成して、装置に再び反射された照明の量に従って、強度および/または持続時間を変化させることができる。このような態様で照明を制御して、効率を一層高めることができる。
SUMMARY OF THE INVENTION Some embodiments of the present invention include an apparatus and method for operating an in-vivo imaging device, wherein the illumination generated by the device is, for example, generated by the device and reflected back to the device. Depending on the amount of illumination, the intensity and / or duration can be varied. The illumination can be controlled in this manner to further increase the efficiency.
この発明のいくつかの実施例に従い、生体内装置において光の制御を実施するための方法を提供する。したがって、露出時間および/または利得係数等のパラメータ、または記録された光を伝えるための他のパラメータを変更することができる。たとえば、フレーム露出期間内の少なくとも1つの間隔で測定された光飽和レベルの関数として、利得係数を変更することができる。このような態様で、生体内装置は、十分な露出が得られてから露出が終了するように補助することに加え、露出過多および露出不足の場合を防止することができる。 In accordance with some embodiments of the present invention, a method is provided for performing light control in an in vivo device. Thus, parameters such as exposure time and / or gain factor, or other parameters for conveying recorded light can be changed. For example, the gain factor can be changed as a function of the light saturation level measured at at least one interval within the frame exposure period. In this manner, the in-vivo device can prevent overexposure and underexposure in addition to assisting the exposure to end after sufficient exposure is obtained.
この発明のいくつかの実施例に従い、撮像装置内で問題のある画素を検出するための方法を提供する。この方法は、たとえば、問題のある画素に関してのみしきい飽和レベルへの到達を可能にする初期の短い露出に基づき、問題のある画素または機能しない画素を規定および/または除外することができる。 In accordance with some embodiments of the present invention, a method is provided for detecting problematic pixels in an imaging device. This method can define and / or exclude problematic or non-functional pixels, for example, based on an initial short exposure that allows reaching a threshold saturation level only for the problematic pixels.
この発明のいくつかの実施例に従い、生体内撮像装置が体の特定の部分にいつ進入したかを判断するための方法を提供する。したがって、環境測定装置を用いて、環境パラメータ、たとえばpHレベルおよび温度レベル等を検出することができる。これらの測定装置から記録された結果を用いて、生体内装置の位置が特定されていると考えられるか、または特定されていたと考えられる場所、領域、器官等を規定することができる。この装置のモードは、結果的に得られる解像度に応じて変更することができる。 In accordance with some embodiments of the present invention, a method is provided for determining when an in-vivo imaging device has entered a particular part of the body. Therefore, environmental parameters such as pH level and temperature level can be detected using the environmental measuring device. Using the results recorded from these measuring devices, it is possible to define the location, region, organ, etc., where the position of the in-vivo device is thought to have been identified or thought to have been identified. The mode of this device can be changed according to the resulting resolution.
この発明のいくつかの実施例に従い、生体内撮像装置がいつ体内に進入したかを暗いフレームを用いて判定するための方法を提供する。たとえば、暗いフレームが、完全な露出を得るためにかなりの利得係数を必要とする場合、この装置は、体内(暗い環境)に存在するものと規定され得る。この装置のモードは、結果的に得られる解像度に応じて変更することができる。 In accordance with some embodiments of the present invention, a method is provided for determining when an in-vivo imaging device has entered the body using a dark frame. For example, if a dark frame requires a significant gain factor to obtain full exposure, the device can be defined as being in the body (dark environment). The mode of this device can be changed according to the resulting resolution.
この発明は、同様の構成要素が同様の参照番号で示された添付の図面を参照することにより、例示の目的のためだけに、この明細書において説明される。これらの図面が例示のためだけに提示されており、限定を意味しないことが理解されるであろう。 The present invention is described herein for purposes of illustration only by reference to the accompanying drawings, in which like components are designated with like reference numerals. It will be understood that these drawings are presented for purposes of illustration only and are not meant to be limiting.
発明の詳細な説明
この明細書において、この発明のさまざまな局面を説明する。説明のために特定の構成および詳細を明示して、この発明が完全に理解されるようにする。しかしながら、この明細書に提示された特定の詳細がなくてもこの発明を実施し得ることも、当業者には明らかであろう。さらに、この発明を不明瞭にしないように、周知の特徴は省略または簡略化され得る。
DETAILED DESCRIPTION OF THE INVENTION In this specification, various aspects of the present invention will be described. For purposes of explanation, specific configurations and details are set forth in order to provide a thorough understanding of the present invention. However, it will be apparent to those skilled in the art that the present invention may be practiced without the specific details presented in this specification. Furthermore, well-known features may be omitted or simplified in order not to obscure the present invention.
この発明のいくつかの実施例は、特に、1つのフレーム捕捉時間またはその一部の持続時間内に行なわれる光の測定に基づいた、生体内撮像装置によってもたらされる照明の制御に基づく。 Some embodiments of the invention are based on the control of the illumination provided by the in-vivo imaging device, in particular based on light measurements made within one frame capture time or part of its duration.
以下に示されるこの発明の実施例は、胃腸(GI)管の撮像用に適合されているが、この明細書に開示する装置および方法を、体の他の空洞または空間を撮像するように適合させてよいことに注目されたい。 The embodiments of the invention shown below are adapted for imaging of the gastrointestinal (GI) tract, but the devices and methods disclosed herein are adapted to image other cavities or spaces in the body. Note that you can let it.
次に、図2を参照する。図2は、この発明の一実施例に従った、自動照明制御システムを有する生体内撮像装置の一部を示す概略ブロック図である。装置30は、図1の装置10Aに関して開示されたか、または、いずれもこの明細書においてその全体が引用により援用される、イダン(Iddan)他への米国特許第5,604,531号もしくはグルコフスキー(Glukhovsky)他への同時係属中のPCT特許出願公開番号第WO01/65995号において開示された、嚥下可能な映像カプセルとして構成することができる。しかしながら、この発明のシステムおよび方法は、他の生体内撮像装置とともに用いられてよい。
Reference is now made to FIG. FIG. 2 is a schematic block diagram showing a part of an in-vivo imaging device having an automatic illumination control system according to an embodiment of the present invention.
装置30は、GI管を撮像するように適合された撮像装置32を含み得る。撮像装置32は、図1のCMOS撮像センサ24等であるが、これに限定されない撮像センサ(詳細は図示せず)を含み得る。しかしながら、撮像装置32は、当該技術で公知の他の適切な任意の種類の撮像センサを含んでよい。また、撮像装置32は、1つ以上のレンズ(図示せず)、1つ以上の複合レンズアセンブリ(図示せず)、1つ以上の適切な光学フィルタ(図示せず)、または当該技術で公知であって図1の光学装置22に関して上で開示されたような、GI管の画像を撮像センサ上に集束するように適合された他の任意の適切な光学素子(図示せず)等の1つ以上の光学素子(図示せず)を含む光学装置32Aも含み得る。
The
光学装置32Aは、当該技術で公知の撮像器の光感応画素(図示せず)に取付けられるか、固定されるか、その上に形成されるか、またはそれに隣接するレンズ(図示せず)等の、撮像装置32Aと一体化される1つ以上の光学素子(図示せず)を含むことができる。
The
イダン他への米国特許第5,604,531号、またはグルコフスキー他への同時係属中のPCT特許出願公開番号第WO01/65995号に開示された受信機/レコーダ等であるがこれに限定されない外部受信装置(図示せず)に対し、撮像装置32が捕捉した画像を遠隔測定の態様で送信するために、装置30は、撮像装置32に適切な態様で接続された遠隔測定装置34も含み得る。
Such as, but not limited to, a receiver / recorder disclosed in US Pat. No. 5,604,531 to Idan et al. Or PCT Patent Application Publication No. WO 01/65995, co-pending to Gurkovsky et al. In order to transmit the image captured by the
装置30は、撮像装置32の動作を制御するために、撮像装置32に適切な態様で接続されたコントローラ/プロセッサ装置36も含み得る。コントローラ/プロセッサ装置36は、任意の適切な種類のコントローラ、たとえばアナログコントローラか、またはデータプロセッサ、マイクロプロセッサ、マイクロコントローラ、もしくはデジタル信号プロセッサ(DSP)等のデジタルコントローラを含み得るが、これらに限定されない。コントローラ/プロセッサ装置36は、当該技術で公知のハイブリッドアナログ/デジタル回路も含み得る。コントローラ/プロセッサ装置36は、遠隔測定装置34による画像フレームの送信を制御するために、遠隔測定装置34に適切な態様で接続され得る。
The
コントローラ/プロセッサ装置36は、撮像装置32に(任意に)適切な態様で接続されて、撮像装置32に制御信号を送信することができる。したがって、コントローラ/プロセッサ装置36は、撮像装置32から遠隔測定装置34への画像データの送信を(任意に)制御することができる。
The controller /
装置30は、GI管を照明するための照明装置38も含み得る。照明装置38は、1つ以上の別個の光源38A、38B〜38Nを含んでよく、または、1つの光源のみを含んでよい。このような光源は、たとえば、図1の光源23Aであり得るが、これに限定されない。照明装置38の光源38A、38B〜38Nは、グルコフスキー他への同時係属中のPCT特許出願公開番号第WO01/65995号に開示された光源等の白色発光ダイオードであってよい。しかしながら、照明装置38の光源38A、38B〜38Nは、これらに限定されないが当該技術で公知の白熱灯、閃光灯、ガス放電灯、または他の適切な任意の光源等であってもよい。
The
この発明の別の実施例に従い、生体内撮像装置が単一の光源(図示せず)を含み得ることに注目されたい。 Note that, in accordance with another embodiment of the present invention, the in-vivo imaging device may include a single light source (not shown).
装置30は、照明装置38の光源38A、38B〜38Nに適切な態様で接続されて照明装置38の光源38A、38B〜38Nへの通電を制御するための照明制御装置40も含み得る。照明制御装置40は、後に詳細に開示するように、1つ以上の光源38A、38B〜38Nをオンもしくはオフに切換えるために、および/または1つ以上の光源38A、38B〜38Nによって生じた光の強度を制御するために、用いることができる。
The
コントローラ/プロセッサ装置36は、照明制御装置40に適切な態様で接続されて、照明制御装置40に制御信号を(任意に)送信することができる。このような制御信号は、撮像装置32の撮像の周期または期間を基準として照明装置38内の光源38A、38B、38Nへの通電の同期またはタイミングを取るために用いることができる。照明制御装置40は、コントローラ/プロセッサ装置36内に(任意に)一体化されてよく、または、別個のコントローラであり得る。いくつかの実施例では、照明制御装置40および/またはコントローラ/プロセッサ装置36が、遠隔測定装置34の一部であり得る。
The controller /
装置30は、照明装置38によって生じてGI管の壁から反射する光を検知するための光検知装置42をさらに含み得る。光検知装置42は、フォトダイオード、フォトトランジスタ等であるがこれらに限定されない、1つの光感応装置もしくは光センサ、または複数の個別の光感応装置もしくは光センサを含み得る。この発明の実施例の光検知装置を実
現するために、当該技術で公知の適切な特性を有する他の種類の光センサを用いることもできる。
The
光検知装置42は、照明制御装置40に適切な態様で接続されており、胃腸管(または撮像装置32の視野内の他の任意の物体)の壁から反射した光の強度を表す信号を、照明制御装置40に与えることができる。作動時に、照明制御装置40は、光検知装置42から受信した信号を処理することができ、これまでにおよび以下に詳細に開示するように、処理した信号に基づいて光源38A、38B〜38Nの動作を制御することができる。
The
装置30は、装置30のさまざまな構成要素に電力を供給するための電源44も含み得る。説明を明らかにするために、電源44と、電源44から電力を受ける装置30の回路または構成要素との間の接続を、詳細に示さないことに注意されたい。電源44は、たとえば電池または他の電源等の、装置10Aの電源25と同様の内部電源であってよい。しかしながら、装置30が挿入可能な装置(たとえば、内視鏡様の装置、カテーテル様の装置、または当該技術で公知の他の任意の種類の生体内撮像装置)として構成されている場合、電源44は、装置30の外に配置することのできる外部電源であってもよい(このような外部の構成は、説明を明瞭にするために、図2には示さない)。外部電源(図示せず)を有するこのような実施例において、外部電源(図示せず)は、絶縁ワイヤ等の適切な電気導体(図示せず)を介して、撮像装置で電力を必要とするさまざまな構成要素に接続され得る。
The
装置10A等の自律型のまたは嚥下可能な生体内撮像装置に関し、電源25は好ましくは(必ずしもそうではないが)直流(DC)を供給するためのコンパクト電源であるが、外部電源は、交流(AC)もしくは直流を供給する電源を含むがこれらに限定されない、当該技術で公知の任意の適切な電源であってよく、または、当該技術で公知のように、本線に結合する電源であってもよいことに注目されたい。
For an autonomous or swallowable in-vivo imaging device such as
嚥下可能な生体内撮像装置により実施されるさまざまな機能およびプロセスは、たとえば、プロセッサ装置(図2の装置36等)により実行され得る。これらの機能およびプロセスは、プロセッサ装置36のみによって実施されてよく、および/または代替的な装置、たとえば照明制御装置40、遠隔測定装置34、光検知装置42、撮像装置32等、またはこれらの装置の任意の組合せによって実施されてよい。さまざまな装置は、プロセッサ装置36内において任意に一体化され得、プロセッサ装置がこの明細書に記載されているどのような機能およびプロセスをも実施すると言えるようにする。ここに記載される方法およびプロセスは、他の構造および他の構成要素を有する他の検知装置においても実施され得る。
Various functions and processes performed by the swallowable in-vivo imaging device may be performed, for example, by a processor device (such as
次に、図3および図4を参照する。図3は、この発明の一実施例に従った、自動照明制御システムおよび4つの光源を有する生体内撮像装置の一部の概略断面図である。図4は、図3に示した装置の概略正面図である。 Reference is now made to FIGS. FIG. 3 is a schematic cross-sectional view of a portion of an in-vivo imaging device having an automatic illumination control system and four light sources according to one embodiment of the present invention. FIG. 4 is a schematic front view of the apparatus shown in FIG.
装置60(その一部のみが図3に示される)は、撮像装置64を含む。撮像装置64は、図2の撮像装置32または図1の撮像装置24と同様であり得る。好ましくは、撮像装置64は、CMOS撮像装置であり得るが、他の異なる種類の撮像装置を用いてもよい。撮像装置64は、当該技術において公知であるように、CMOS撮像器回路を含み得るが、たとえばイダン他への米国特許第5,604,531号、またはグルコフスキー他への同時係属中のPCT特許出願公開番号第WO01/65995号に開示された、当該技術では公知の、他の種類のサポート回路および/または制御回路を中に含んでもよい。装置60は、図1の光学装置22および図2の光学装置32Aに対して上で開示したレンズまたは複数の光学素子を含み得る光学装置62も含む。
Device 60 (only a portion of which is shown in FIG. 3) includes an imaging device 64. The imaging device 64 may be similar to the
装置60は、図4に示された装置60内に配置され得る4つの光源63A、63B、63Cおよび63Dを含み得る照明装置63を含み得る。光源63A、63B、63Cおよび63Dは、たとえば、グルコフスキー他への同時係属中の米国特許出願、PCT特許出願、公開番号第WO01/65995号に開示されたもの、または白色LED光源であってよい。また、これらに限定されないが、当該技術で公知であるか、または上で開示した、帯域制限された光源、単色性光源、赤外線光源を含む他の適切な任意の種類の光源であってもよい。
The
この発明の一実施例に従って、光源63A、63B、63Cおよび63Dは同一であるように示されているが、同一ではないことが考えられる複数の光源で、この発明の他の実施例を実現できることに注目されたい。光源の中には、他の光源のスペクトル分布とは異なるスペクトル分布を有し得るものがある。たとえば、同一の装置内の光源のうち、光源の1つが赤色LEDであり得、別の光源が青色LEDであり得、別の光源が黄色LEDであり得る。光源の他の構成もまた可能である。
According to one embodiment of the present invention, the
装置60は、円錐形であり得るか、または、他の適切な任意の形状を有し得るバッフル70も含み得る。バッフル70は、中に開口部70Aを有し得る。バッフル70は、光源63A、63B、63Cおよび63Dと光学装置62との間に介在させることができ、光源63A、63B、63Cおよび63Dから直接入来して開口部70Aに入る光の量を減じることができる。装置60は、図1の光学ドーム21と同様の透明な光学ドーム61を含み得る。光学ドーム61は、適切な透明のプラスチック材料もしくはガラスで形成するか、または、光源63A、63B、63Cおよび63Dによって生じた光の波長の少なくとも一部に対して十分な透過性を有して適切な撮像を可能にする、他の適切な任意の材料で形成することができる。
The
装置60は、腸壁76から反射するか、または、腸壁76によって拡散した光を検知するための少なくとも1つの光検知装置67をさらに含み得る。光検知装置は、その光検知部67Aが光学ドーム61と対向するように、バッフル70に取付けられ得る。好ましくは、光検知装置67は、バッフル70の開口部70Aに入る光の量を表わすか、またはその光の量に比例する光の量を光検知装置67が検知し得る位置において、バッフル70の表面上に位置づけることができるが、必ずしもそうである必要はない。このことは、照明された物体が半拡散性であるとき(腸の表面がそうであることが考えられる)、および光検知装置67のサイズおよび撮像センサの軸75からの距離が、カプセル様の装置67の直径Dに比べて小さいときに該当すると考えられる。
装置60(図3)は、腸壁76に隣接しているように示される。作動時に、光源63A、63B、63Cおよび63Dによって生成された光線72は、光学ドーム61を貫通することができ、腸壁76から反射され得る。反射した光線74の一部は、光検知装置67に到達することができる。反射した光線の他の部分(図示せず)は、開口部70Aに到達して光学装置62を通過し、撮像装置64上に集束され得る。
Device 60 (FIG. 3) is shown adjacent to
光検知装置67によって測定された光の量は、開口部70Aに入る光の量に比例し得る。したがって、光検知装置67に到達する光の強度の測定値を用いて、以下に詳細に開示するように、光源63A、63B、63Cおよび63Dの光の出力を決定することができる。
The amount of light measured by the
装置60は、照明制御装置40Aも含む。照明制御装置40Aは、光検知装置67および照明装置63に適切な態様で結合される。照明制御装置40Aは、以下に詳細に開示するように、光検知装置67から受信した信号を処理して、光源63A、63B、63Cお
よび63Dを制御することができる。
The
装置60は、図1の送信機26およびアンテナ27等であるがこれらに限定されない無線送信機装置(図3では図示せず)およびアンテナ(図3では図示せず)も含むことができ、または、任意の適切な遠隔測定装置(図2の遠隔測定装置34等であるが、これに限定されない)を含み得る。遠隔測定装置は、上で詳細に開示したように、外部受信機/レコーダ(図3では図示せず)に(また、任意に外部受信機/レコーダから)データおよび制御信号を無線で送信する(また、任意に受信する)ための送信機また送受信機であり得る。装置60は、たとえば図1の電源25、または当該技術で公知の他の適切な任意の電源等の1つ以上の電源も含み得る。
The
次に、図5を参照する。図5は、一定の照明持続時間を有する生体内撮像装置において照明および画像捕捉のタイミングを取る方法を示す概略図である。タイミングを取るこの方法は、CMOS撮像器を有する撮像装置に特有のものであり得るが、他の種類の撮像器を有する装置で用いることもできる。 Reference is now made to FIG. FIG. 5 is a schematic diagram illustrating a method for timing illumination and image capture in an in-vivo imaging device having a certain illumination duration. This method of timing can be specific to an imaging device having a CMOS imager, but can also be used in devices having other types of imagers.
画像捕捉の周期または期間は、時刻Tに開始する。第1の画像捕捉の周期は、時刻T1に終了して、持続時間ΔT1を有する。第2の画像捕捉の周期は、時刻T1に開始して時刻T2に終了し、持続時間ΔT1を有する。撮像の周期または期間の各々は、2つの部分、すなわち、持続時間ΔT2を有する照明期間90と、持続時間ΔT3を有する暗い期間92とを含み得る。照明期間90は、図5の網掛け状の棒状部分で表わされる。各撮像周期の照明期間90の間に、照明装置(図2の照明装置38または図3の照明装置63等であるが、これらに限定されない)はオンにされて、腸壁を照明するための光を与える。各撮像周期の暗い期間92の間に、照明装置(図2の照明装置38または図3の照明装置63等であるが、これらに限定されない)はオフに切換えられて、光を与えない。
The period or period of image capture starts at time T. The first image capture cycle ends at time T1 and has a duration ΔT1. The second image capture cycle starts at time T1 and ends at time T2, and has a duration ΔT1. Each of the imaging cycles or periods may include two parts: a
暗い期間92またはその一部は、たとえば、上で開示したように、撮像器の画素を走査することによって撮像器から画像を捕捉するため、撮像器の出力信号を処理するため、および、出力信号または処理された出力信号を外部の受信機または受信機/レコーダ装置に送信するために、用いることができる。
The
図5の図は、簡素化のために、画像捕捉周期の持続時間が一定であって、かつ、撮像が一定のフレーム速度で行なわれる場合を示しているが、必ずしもそうである必要はないことに注意されたい。したがって、フレーム速度、すなわち画像捕捉周期の持続時間は、たとえば胃腸管内における撮像装置の速度等の測定されたパラメータに応じて撮像中に変化し得る。 For the sake of simplicity, the diagram of FIG. 5 shows a case where the duration of the image capture cycle is constant and the imaging is performed at a constant frame rate, but this is not necessarily the case. Please be careful. Thus, the frame rate, i.e. the duration of the image capture cycle, can change during imaging depending on the measured parameters, e.g.
一般に、適切な画像の捕捉を確実にするために、異なる種類の光制御の方法を用いることができる。 In general, different types of light control methods can be used to ensure proper image capture.
第1の方法では、照明装置63が標的組織を照明している間に、光検知装置67に当たる光の量を連続して測定および記録し、光検知装置67が検出した光子の累積的な総数を表わす累積値を提供することができる。この累積値が一定の値に到達すると、照明装置63は、照明装置63内に含まれる光源63A、63B、63Cおよび63Dをオフに切換えることによってオフにされ得る。このようにして、装置60は、測定された光の量が、適切に露出されたフレームを生じるのに(平均的に)十分なものになると、照明装置63が確実にオフにされ得るようにする。
In the first method, while the
第1の方法の利点の1つは、光源(光源63A、63B、63Cおよび63D等)がそれらの最大の光出力能力またはほぼ最大の光出力能力で作動している場合に、このように
してオフに切換えることにより、一定の持続時間の照明期間(図5の照明期間90等)内のエネルギの消費量と比べて、エネルギを節約できることである。
One advantage of the first method is that when the light sources (such as
第1の方法の別の利点は、一定の照明期間を用いるときに比べ、第1の方法により、撮像周期内の照明期間の持続時間を短縮できることである。装置60等の移動式の撮像装置では、理想的に、照明期間を実際にできる限り短くすることが望ましいと考えられる。なぜなら、このことにより、装置60がGI管内を移動することによる画像の不鮮明さを防止または低減するためである。したがって、一般に(照明装置によって十分な光が生成されて、適切な撮像器の露出が確保されると想定した場合)、移動式の撮像装置では、照明期間が短いほど、結果として得られる画像が鮮明になる。
Another advantage of the first method is that the duration of the illumination period within the imaging cycle can be reduced by the first method compared to using a fixed illumination period. In mobile imaging devices such as
これは、シャッタによって作動する通常のカメラにおいてシャッタ速度を高め、露光の持続時間を短縮して、動く物体または像の画像の不鮮明さを防止することと幾分似ていると考えられるが、この発明の実施例では一般にシャッタが存在せず、照明期間が制御可能な態様で短縮されて、装置がGI管内を移動することによる画像の不鮮明さを低減するという点が異なる。 This is thought to be somewhat similar to increasing the shutter speed and reducing the duration of exposure in a normal camera operated by a shutter to prevent blurring of moving objects or images. Embodiments of the invention differ in that there is generally no shutter and the illumination period is shortened in a controllable manner to reduce image smearing as the device moves through the GI tract.
次に、図6および図7を参照する。図6は、この発明の一実施例に従った、光検知フォトダイオードおよび発光ダイオードに結合された照明制御装置に対する1つの可能な構成を示す概略図である。図7は、この発明の一実施例に従った、図6の照明制御装置を詳細に示す概略図である。 Reference is now made to FIGS. FIG. 6 is a schematic diagram illustrating one possible configuration for a lighting control device coupled to a light sensing photodiode and a light emitting diode, in accordance with one embodiment of the present invention. FIG. 7 is a schematic diagram illustrating in detail the lighting control apparatus of FIG. 6 according to one embodiment of the present invention.
図6の照明制御装置40Bは、光検知装置として作動し得るフォトダイオード67Bに適切な態様で接続され得る。他の適切な任意の検知装置または光センサを用いてよい。照明制御装置40Bは、発光ダイオード(LED)63Eに適切な態様で接続され得る。LED63Eは、上に開示した白色LEDであってよく、または、撮像する標的(胃腸壁等)を照明するのに適切な他の任意の種類のLEDであってよい。照明制御装置40Bは、フォトダイオード67Bから電流信号を受信することができる。受信した信号は、フォトダイオード67Bに当たる光(矢印81によって概略的に示す)の強度に比例し得る。照明制御40Bは、受信した信号を処理して、光を測定する期間の持続時間中にフォトダイオード67Bを照明した光の量を求めることができる。照明制御40Bは、光を測定する期間の持続時間中にフォトダイオード67Bを照明した光の量に基づいて、LED63Eへの通電を制御することができる。処理と通電の制御との種類の例は、以下に詳細に開示する。照明制御装置40Bは、生体内撮像装置内に含まれる他の回路の構成要素から制御信号を受信することもできる。たとえば、制御信号は、タイミングおよび/または同期信号、オン/オフ切換信号、リセット信号等を含み得る。
The
光検知装置および光発生装置は、ダイオード以外の適切な任意の光発生装置または光検知装置であってよい。 The light detection device and light generation device may be any suitable light generation device or light detection device other than a diode.
図7は、照明制御装置40Bの1つの可能な実施例を示す。照明制御装置40Bは、たとえば積分器装置80、比較器装置82、およびLEDドライバ装置84を含み得る。積分器装置80は、フォトダイオード67Bに結合されて、フォトダイオード67Bから、フォトダイオード67Bに当たる光の強度を示す信号を受信して、フォトダイオード67Bに当たる光の量を記録して積分する。積分器装置80は、比較器装置82に適切な態様で接続され得る。
FIG. 7 shows one possible embodiment of the
積分器装置80は、フォトダイオード67Bに当たる光の量を記録して積分し、受信した信号を積分して、積分された信号を比較器装置82に出力することができる。積分された信号は、積分の期間にわたってフォトダイオード67Bに当たる光子の累積数に比例す
るか、または累積数を示し得る。比較器装置80は、LEDドライバ装置84に適切な態様で接続され得る。比較器装置80は、積分された信号の値と、予め設定されたしきい値とを連続して比較することができる。積分された信号の値がしきい値に等しいとき、比較器装置82は、LEDドライバ装置84を制御して、LED63Eへの電力をオフに切換えることにより、LED63Eの動作を停止する。
The
したがって、照明制御装置40Aは、図7および図8の照明制御装置40Bと同様に構成されて、作動することができる。
Therefore, the
図7に示される回路は、アナログ回路として実現することができるが、以下に(図11を参照して)詳細に開示するように、照明制御装置を実現する際に、デジタル回路および/またはハイブリッドアナログ/デジタル回路を用いてよいことに注目されたい。 The circuit shown in FIG. 7 can be implemented as an analog circuit, but as disclosed in detail below (with reference to FIG. 11), in implementing a lighting control device, a digital circuit and / or hybrid Note that analog / digital circuitry may be used.
次に、図8を参照する。図8は、一実施例に従った、制御された可変の照明持続時間を有する生体内撮像装置において、照明および画像捕捉のタイミングを取る方法を理解するのに有用な概略図である。 Reference is now made to FIG. FIG. 8 is a schematic diagram useful for understanding how to time illumination and image capture in an in-vivo imaging device having a controlled variable illumination duration, according to one embodiment.
画像捕捉の周期または期間は、時刻Tに開始する。第1の画像捕捉周期は、時刻T1に終了し、持続時間ΔT1を有する。第2の画像捕捉周期は、時刻T1に開始して時刻T2に終了し、持続時間ΔT1を有する。各撮像周期において、持続時間ΔT4を有する期間は、容認可能な最大照明期間を規定する。容認可能な最大照明期間ΔT4は一般に、GI管内を装置60が移動することによって画像の過剰な不鮮明さまたはかすみのない撮像を可能にするほどの、十分に短い期間であり得る。時刻TMは、第1の撮像周期の開始時刻に対する、容認可能な最大照明期間ΔT4の終了時刻である。
The period or period of image capture starts at time T. The first image capture period ends at time T1 and has a duration ΔT1. The second image capture period starts at time T1 and ends at time T2, and has a duration ΔT1. In each imaging cycle, the period having duration ΔT4 defines the maximum acceptable illumination period. The maximum acceptable illumination period ΔT4 may generally be short enough that the
容認可能な最大照明期間ΔT4は、特に、(異なる患者で用いられる複数の装置で経験的に求めることができるような)GI管内の撮像装置によって得られる一般的または平均的な(または最大の)速度と、撮像センサの種類(たとえば装置50のCMOセンサ64等)と、その走査時間の要件と、他の製造上およびタイミングの考慮事項とを考慮した、工場出荷時に予め設定されたものであり得る。この発明の1つの実現例によると、1秒当たり2つのフレームの撮像であるΔT1=0.5秒である場合、ΔT4の持続時間は、20〜30ミリ秒の範囲内の値を有するように設定することができる。しかしながら、この持続時間は、例示としてのみ示されたものであり、ΔT4は、他の異なる値を有してよい。一般に、30ミリ秒未満の容認可能な最大照明期間ΔT4を用いることにより、捕捉されたほとんどの画像フレームは、GI管内を撮像装置が移動することによって生じる画像のかすみによる過剰な劣化なく、容認可能な画像品質を生じることができる。 The maximum acceptable illumination period ΔT4 is in particular typical or average (or maximum) obtained by an imaging device in the GI tract (as can be determined empirically with multiple devices used in different patients). It is preset at the factory before considering the speed, the type of image sensor (for example, the CMO sensor 64 of the device 50), the scanning time requirement, and other manufacturing and timing considerations. obtain. According to one implementation of the present invention, when ΔT1 = 0.5 seconds, which is an imaging of two frames per second, the duration of ΔT4 has a value in the range of 20-30 milliseconds. Can be set. However, this duration is shown as an example only and ΔT4 may have other different values. In general, by using an acceptable maximum illumination period ΔT4 of less than 30 milliseconds, most captured image frames are acceptable without excessive degradation due to image haze as the imaging device moves through the GI tract. Image quality can be produced.
期間ΔT5は、撮像周期の全持続時間ΔT1と容認可能な最大照明期間ΔT4との差として規定される(ΔT5=ΔT1−ΔT4)。 The period ΔT5 is defined as the difference between the total duration ΔT1 of the imaging cycle and the maximum allowable illumination period ΔT4 (ΔT5 = ΔT1−ΔT4).
第1の撮像周期の開始時刻Tにおいて、照明装置(図3の照明装置63等であるが、これに限定されない)がオンにされて、腸壁を照明するための光を与える。光検知装置67は、腸壁76から反射および/または拡散された光を検知して、装置60の照明制御装置40Aに信号を与える。この信号は、開口部70Aに入る光の平均量に比例し得る。光検知装置67によって与えられた信号は、図7および図8の照明制御装置40Bに関して上で詳細に開示したように、照明制御装置40Aによって積分され得る。
At the start time T of the first imaging cycle, the illumination device (such as, but not limited to, the
積分された信号を、(たとえば図7の比較器装置82等の比較器によって)予め設定されたしきい値と比較することができる。積分された信号がしきい値に等しい場合、照明制御装置40Aは、照明装置63の光源63A、63B、63Cおよび63Dの動作を止め
る。時刻TE1は、照明制御装置が第1の撮像周期内において光源63A、63B、63Cおよび63Dをオフにする時刻である。時刻Tに開始して時刻TE1に終了する時間間隔が、第1の撮像周期に対する照明期間94(94が付されて網掛け状の棒状部分によって表わされる)である。照明期間94は、ΔT6の持続時間を有する。第1の撮像周期に対し、ΔT6<ΔT4であることが認識できる。
The integrated signal can be compared to a preset threshold (eg, by a comparator such as
時間TE1の後に、画素CMOSセンサ64の走査を開始することができ、画素データ(および可能性として他のデータ)は、装置60の送信機(図3では図示せず)または遠隔測定装置によって送信され得る。 After time TE 1 , scanning of the pixel CMOS sensor 64 can begin, and the pixel data (and possibly other data) is sent by the transmitter of device 60 (not shown in FIG. 3) or a telemetry device. Can be sent.
好ましくは、CMOSセンサ64の画素の走査(読出し)は、照明が終了する時刻TE1と同じぐらい早くに開始することが可能である。たとえば、照明制御装置40Aは、時刻TE1においてCMOSセンサに制御信号を送信して、CMOSセンサ64の画素の走査を開始することができる。しかしながら、画素の走査は、画素の走査およびデータ送信の動作のために十分な時間を利用することができる場合、容認可能な最大照明期間ΔT4の終了時刻である時刻TMの後の、予め設定された時間に開始されることも可能である。一実施例によると、読出し時間の最初をたとえばTMに固定しておくと、受信装置の一層簡単な実現が可能になり得る。
Preferably, the scanning (reading) of the pixels of the CMOS sensor 64 can be started as early as time TE 1 when the illumination ends. For example, the
第2の撮像周期の開始時刻T1において、照明装置63は、再びオンにされる。光検知装置67は、腸壁76から反射および/または拡散された光を検知して、装置60の照明制御装置40Aに信号を与える。この信号は、開口部70Aに入る光の平均量に比例し得る。
At the start time T1 of the second imaging cycle, the
光検知装置67によって与えられた信号は積分されて、第1の撮像周期に関して上で開示したように、しきい値と比較され得る。積分された信号がしきい値と等しいとき、照明制御装置40Aは、照明装置63の光源63A、63B、63Cおよび63Dをオフにする。しかしながら、図8に示される特定の概略的な例において、第2の撮像周期に光検知装置67に到達する光の強度は、第1の撮像周期に光検知装置67に到達する光の強度よりも低い。
The signal provided by the
異なる撮像周期間における照明強度または強度対時間のグラフのこのような差は、特に、腸壁76から離れる装置60の動きか、腸壁76に対する装置60の位置もしくは配向の変化か、または、装置60の視野内にある腸壁76の部分における光吸収、光反射、もしくは光拡散の特性の変化によることが考えられる。
Such differences in the illumination intensity or intensity versus time graphs between different imaging cycles are particularly the movement of the
したがって、積分器装置の、積分された信号出力がしきい値に到達するのに、一層長い時間がかかる。したがって、照明制御装置40Aは、時間TE2において照明装置63をオフにする(TE2>TE1であることに注目されたい)。
Therefore, it takes longer for the integrated signal output of the integrator device to reach the threshold. Therefore, the
時刻T1に開始して時刻TE2に終了する期間は、第2の撮像周期に対する照明期間96である。照明期間96(96が付されて網掛け状の棒状部分によって表わされる)は、持続時間ΔT7を有する。第2の撮像周期に関し、ΔT7<ΔT4であることが認識できる。
Periods ending time TE 2 beginning at time T1 is the
したがって、異なる撮像周期内における照明期間の持続時間は変化することが考えられ、特に、光検知装置67に到達する光の強度に依存し得る。
Accordingly, it is conceivable that the duration of the illumination period within different imaging cycles will vary, and in particular may depend on the intensity of light reaching the
時刻TE2の後に、CMOSセンサ64の画素の走査を開始することができ、画素データ(および可能性として他のデータ)は、図8の第1の撮像周期に関して上で詳細に開示
したように、送信され得る。
After time TE 2, it is possible to start scanning the pixels of the CMOS sensor 64, (other data and possibly) pixel data, as disclosed in detail above with respect to the first imaging cycle of Fig. 8 Can be sent.
簡単にするために、図8の図は、画像捕捉の周期の持続時間ΔT1が一定であり、かつ、撮像が一定のフレーム速度で行なわれる場合を示しているが、このことが必ずしも強制されないことに注目されたい。したがって、フレーム速度と、したがって画像捕捉周期の持続時間ΔT1とは、胃腸管内における撮像装置の速度等の測定されたパラメータに応じて、撮像中に変化し得る。このような場合、撮像周期の持続時間は、装置60の測定された速度に応答して短縮または延長されて、フレーム速度をそれぞれ上昇または下降させることができる。
For the sake of simplicity, the diagram of FIG. 8 shows the case where the duration ΔT1 of the image capture period is constant and the imaging is performed at a constant frame rate, but this is not necessarily enforced. Please pay attention to. Thus, the frame rate, and thus the duration of the image capture period ΔT1, may change during imaging depending on measured parameters such as the speed of the imaging device in the gastrointestinal tract. In such cases, the duration of the imaging cycle can be shortened or extended in response to the measured speed of the
たとえば、2000年5月15日に出願され、本願の譲受人に共通に譲渡され、この明細書においてそのすべてがあらゆる目的のために引用によって援用される同時係属中の米国特許出願連続番号第09/571,326号は、特に、生体内撮像装置のフレーム速度を制御するための装置および方法を開示している。 For example, co-pending US patent application Ser. No. 09 filed May 15, 2000, commonly assigned to the assignee of the present application, which is incorporated herein by reference in its entirety for all purposes. No./571,326 specifically discloses an apparatus and method for controlling the frame rate of an in-vivo imaging device.
上に開示した自動的な照明制御方法は、可変のフレーム速度を有する装置で用いるように適合され得る。このような適合は、撮像周期のさまざまな持続時間を考慮することができ、実現例は、特に、画素の走査およびデータの送信を完了するのに必要とされる時間の量、装置60が利用することのできるパワーの利用可能な量、および他の考慮事項に依存し得る。
The automatic lighting control method disclosed above can be adapted for use with devices having variable frame rates. Such adaptation can take into account the various durations of the imaging cycle, and implementations are particularly useful for the amount of time required to complete the scanning of the pixels and the transmission of data, which the
この方法を適合させる簡単な方法は、撮像装置の最大フレーム速度を制限して、最大フレーム速度が用いられているときでも、期間内において画素の走査およびデータの送信用に十分な時間が残っているようにすることであると考えられる。 A simple way to adapt this method is to limit the maximum frame rate of the imaging device, leaving enough time for pixel scanning and data transmission within the period even when the maximum frame rate is used. It is thought that it is to be.
次に、図9を参照する。図9は、可変のフレーム速度と、可変の制御された照明持続時間とを有する生体内撮像装置において照明および画像捕捉のタイミングを取る方法を理解するのに有用な概略図である。 Reference is now made to FIG. FIG. 9 is a schematic diagram useful for understanding how to time illumination and image capture in an in-vivo imaging device with variable frame rate and variable controlled illumination duration.
図9の第1の撮像周期は、図8の第1の撮像周期と同様であるが、図9の照明期間98の持続時間(98が付されて網掛け状の棒状部分によって示される)が、図8の照明期間94の持続時間よりも長い点が異なる。図9の第1の撮像周期は時刻Tに開始して時刻T1に終了し、持続時間ΔT1を有する。時刻TMは、容認可能な最大照明期間ΔT4の終了を示す。図9の第2の撮像周期は、時刻T1に開始して時刻T3に終了する。第2の撮像周期の持続時間ΔT8は、第1の撮像周期の持続時間ΔT1よりも短い(ΔT8<ΔT1)。第2の撮像周期の持続時間ΔT8は、撮像装置で利用することのできる最大フレーム速度に対応する。第2の撮像周期の照明期間100(図9の、100が付されて網掛け状の棒状部分によって表わされる)は、上で詳細に開示したように、光の強度に依存して、照明制御装置によってタイミングを取られる。期間102(102が付され、かつドットが付された棒状部分によって表わされる)は、撮像器の画素を走査して、走査したフレームデータを送信するのに必要とされる時間の量ΔT9を表わす。TMは、各撮像周期の開始時刻に対する、容認可能な最大照明期間の終了時刻を表わす。したがって、フレーム速度を上昇させた場合、可能な最大のフレーム速度においても、画素を走査してデータを送信するのに十分な時間が存在する。
The first imaging cycle in FIG. 9 is the same as the first imaging cycle in FIG. 8, but the duration of the
一般に、一定のフレーム速度を有する生体内撮像装置の一例において、約66,000個の画素を有するCMOSセンサ(256×256の画素アレイに配置されたCMOSセンサ等であるが、これに限定されない)の画素を走査して、外部の受信機レコーダにデジタル(シリアル)データ信号を送信するのに必要な時間は、約0.4秒であり得る(1画素当たり約6マイクロ秒の走査およびデータ送信時間と仮定する)ことに注目されたい。
したがって、約20〜30ミリ秒の最大照明期間と仮定すると、フレーム速度は、1秒間に2フレームよりも著しく高くなることはないと考えられる。たとえば異なる読出し速度を実現するために、代替的なフレーム速度を用いてもよい。
In general, in an example of an in-vivo imaging device having a constant frame rate, a CMOS sensor having about 66,000 pixels (such as, but not limited to, a CMOS sensor arranged in a 256 × 256 pixel array). The time required to scan a number of pixels and transmit a digital (serial) data signal to an external receiver recorder may be approximately 0.4 seconds (scanning and data transmission of approximately 6 microseconds per pixel) Note that time is assumed).
Thus, assuming a maximum illumination period of about 20-30 milliseconds, the frame rate is not expected to be significantly higher than 2 frames per second. For example, alternative frame rates may be used to achieve different read rates.
しかしながら、画素の走査およびデータの送信に必要とされる時間を実質的に短縮することが可能であり得る。たとえば、CMOSの画素アレイのクロック速度を高めることにより、個々のフレームを走査するのに必要とされる時間を3ミリ秒または3ミリ秒未満にまで減じることが可能であり得る。加えて、送信機26のデータ転送速度を高めて、アレイの画素を走査して画素データを外部受信機/レコーダに送信するのに必要とされる時間全体を、さらに短縮することもできる。
However, it may be possible to substantially reduce the time required for pixel scanning and data transmission. For example, by increasing the clock speed of a CMOS pixel array, it may be possible to reduce the time required to scan an individual frame to 3 milliseconds or less than 3 milliseconds. In addition, the data transfer rate of the
したがって、フレーム速度が一定の装置だけでなく、1秒当たり約4〜8フレーム、またはそれよりも高いフレーム速度も可能であり得る、フレーム速度が可変の生体内撮像装置も実現することができる。 Thus, in-vivo imaging devices with variable frame rates can be realized that may be possible not only for devices with a constant frame rate, but also frame rates of about 4-8 frames per second or higher.
光検知装置の、積分された出力が、良好で平均的な画像の品質を確保するように適合されたしきい値に到達したときに照明装置をオフにするための上で開示した方法を実現する際に、設計者は、利用可能な最大光出力能力の付近で照明装置(たとえば図3の照明装置63等)を作動させる傾向を有することが考えられる。このことは、有利であると考えられる。なぜなら、照明期間の持続時間の短縮を達成して、移動によって誘発される画像のかすみを減じることによって画像の鮮明度を高めることができるためである。
Realizes the method disclosed above for turning off the illuminator when the integrated output of the light detector reaches a threshold adapted to ensure good and average image quality In doing so, the designer may have a tendency to operate the lighting device (eg, the
可能な最大光出力能力の付近で照明装置を作動させることは、必ずしも常に可能ではなく、または、必ずしも常に所望されないことがあり得る。したがって、照明装置63の最大光出力よりも少ない所定の光出力で、照明装置63の作動を開始することが望まれることが考えられる。
It may not always be possible or always desirable to operate the lighting device near the maximum light output capability possible. Therefore, it may be desirable to start the operation of the
第2の照明制御方法において、図3の照明装置63は、各照明周期の最初に、第1の光出力レベルでまず作動することができる。光検知装置67を用いて、短い照明サンプリング期間中の光の量を測定することができる。
In the second lighting control method, the
次に、図10A、図10Bおよび図10Cを参照する。図10Aは、この発明の別の実施例に従った、自動照明制御方法を用いた生体内撮像装置の撮像周期を概略的に示すタイミング図である。図10Bは、図10Aで示した自動照明制御方法を用いた場合に可能な、時間の関数として光強度の一例を示す例示的かつ概略的なグラフである。図10Cは、図10Aで示した自動照明制御方法を用いた場合に可能な、時間の関数として光強度の別の例を示す概略的なグラフである。 Reference is now made to FIGS. 10A, 10B and 10C. FIG. 10A is a timing diagram schematically showing an imaging cycle of an in-vivo imaging device using an automatic illumination control method according to another embodiment of the present invention. FIG. 10B is an exemplary schematic diagram illustrating an example of light intensity as a function of time that is possible using the automatic lighting control method illustrated in FIG. 10A. FIG. 10C is a schematic graph illustrating another example of light intensity as a function of time that is possible when using the automatic illumination control method illustrated in FIG. 10A.
図10A、図10Bおよび図10Cにおいて、グラフの水平軸は、時間を任意の単位で表わす。図10Bおよび図10Cにおいて、垂直軸は、照明装置63(図3)によって出力された光の強度Iを表わす。 10A, 10B, and 10C, the horizontal axis of the graph represents time in arbitrary units. 10B and 10C, the vertical axis represents the intensity I of the light output by the illumination device 63 (FIG. 3).
図10Aに示された自動照明制御方法は、全照明期間108内に含まれる照明サンプリング期間104を用いることによって作用する。撮像周期110は、全照明期間108および暗い期間112を含む。照明装置63は、全照明期間108の持続時間内に腸壁76を照明することができる。暗い期間112は、上で詳細に開示したように、CMOS撮像器64の画素を走査して、画像データを処理および送信するために用いることができる。
The automatic lighting control method shown in FIG. 10A works by using a
撮像周期の全照明期間は時刻Tに開始して時刻TMに終了する。時刻TMは、撮像周期110の開始時刻Tを基準にして固定されており、容認可能な最大照明時間を表わす。実際
に、時刻TMは、上で説明したように、画像がかすむ可能性を減じるように選択することができる。たとえば、時間TMは、撮像周期110の開始時刻Tから20ミリ秒として選択することができる(すなわち、全照明期間108の持続時間を30ミリ秒に設定することができる)が、時間TMおよび全照明期間108の、より大きなまたはより小さな他の値を用いることもできる。
The entire illumination period of the imaging cycle starts at time T and ends at time T M. The time T M is fixed with reference to the start time T of the
全照明期間108は、照明サンプリング期間104と主照明期間106とを含み得る。照明サンプリング期間104は、時刻Tに開始して時刻TSに終了する。主照明期間106は、時刻TSに開始して時刻TMに終了する。
The
この方法の例示的な実施例において、照明サンプリング期間104の持続時間を、約2〜5ミリ秒に設定することができるが、特に、光検知装置67の種類および特性、光に対する感度、その信号対雑音比(S/N)、照明装置63が照明サンプリング期間104中に作動する強度I1、ならびに、他の実現例および製造上の考慮事項に依存して、より大きなまたはより短い他の持続時間の値を用いてもよい。
In an exemplary embodiment of this method, the duration of the
図10Bおよび図10Cに戻ると、照明サンプリング期間104の間に、照明装置63は、光の強度がI1であるように作動する。光検知67は、腸壁76から反射し、腸壁76によって拡散した光を検知することができる。照明制御装置40Aは、強度の信号を積分して、照明サンプリング周期104の持続時間内に光検知装置67に到達する光の量Qを求めることができる。照明制御装置40Aは次に、値Qと主照明期間106の既知の持続時間とから、CMOSセンサ64の適切かつ平均的な露出を行なうために、主照明期間106の持続時間中に照明装置63が作動することが求められる光の強度INを計算することができる。一実施例において、受取った光の概算された総量は、1組の撮像周期全体にわたって実質的に一定であるように保たれるか、または、特定の目標範囲内に保たれる。計算は、たとえば、受取られるか、または適用されることが望まれる一定の光の量から、サンプリング期間104中に記録された光の量を差し引き、主照明期間106に相当する一定期間でその結果を割ることによって行なうことができる。この計算を行なうための1つの可能な方法は、以下のように等式1を用いる。
Returning to FIGS. 10B and 10C, during the
IN=(QT−Q)/ΔTMAIN 等式1
ここで、
ΔTMAINは、主照明期間106の持続時間であり、QTは、CMOSセンサ64の適切かつ平均的な露出を確保するために撮像周期内で光検知装置67に到達しなければならない光の総量であり、Qは、撮像周期の照明サンプリング期間104の持続時間内に光検知装置67に到達する光の量である。
I N = (Q T −Q) / ΔT MAIN Equation 1
here,
ΔT MAIN is the duration of the
QTの値を経験的に求め得ることに注目されたい。 Note that the value of Q T can be determined empirically.
図10Bは、例示的な撮像周期に対する時間の関数として照明装置63によって生じた光の強度を示すグラフを概略的に示す。照明サンプリング期間104の間に、光の強度は値I1を有する。照明サンプリング期間104の終了後、光の強度IN=I2は、上の等式1で開示したように、または他の適切な任意の種類のアナログまたはデジタル計算を用いることによって、計算することができる。
FIG. 10B schematically shows a graph showing the intensity of light produced by the
たとえば、図2のコントローラ/プロセッサ36によって計算をデジタル式に行なう場合、INの値は、主照明期間106の持続時間に比べて極めて短時間で(たとえば1マイクロ秒未満等において)計算され得る。
For example, if the calculation is performed digitally by the controller /
図2の照明制御装置40か、図6の照明制御装置40Bか、または図3の照明制御装置
40Aに含まれ得るアナログ回路(図示せず)によってINの計算が行なわれる場合、計算時間は、主照明期間106の持続時間に比べて同じく短いことが考えられる。
If the calculation of I N is performed by the
図10Bに示される、撮像周期に対するI2の計算が完了した後に、照明制御装置40Aは、撮像装置の照明装置の光出力の強度をI2に変更することができる。このことは、たとえば、図7のLEDドライバ装置84から出力される電流の量を増大させることによって、または、光源63A、63B、63Cおよび63Dに電流を供給するために照明制御装置40A内に含まれ得る1つ以上のLEDドライバ装置(詳細には図示せず)から出力される電流の量を増大させることによって、行なうことができる。主照明期間108の終了時(時刻TM)において、照明制御装置40Aは、新規の撮像周期(図示せず)の開始時である時刻T1まで、照明装置63をオフに切換えることができる。新規の撮像周期の開始時に、光の強度は再び値I1に切換えられて、新規の照明サンプリング期間が開始する。
After the calculation of I 2 with respect to the imaging cycle shown in FIG. 10B is completed, the
図10Cは、別の異なる例示的な撮像周期に対する時間の関数として、照明装置63によって生じた光の強度を示すグラフを概略的に示す。照明の強度I1は、上で開示したように、照明サンプリング期間104の全体にわたって用いられる。しかしながら、この撮像周期において、照明サンプリング期間104に測定されたQの値は、図10Bの照明サンプリング期間に測定されたQの値よりも大きい。このことは、たとえば、腸壁76に対する撮像装置60の位置の移動によって生じ得る。したがって、計算された値であるI3は、図10Bに示された撮像周期のI2の値よりも小さい。また、I3の値は、I1の値よりも小さい。したがって、図10Cに示される主照明期間106の間に照明装置63が発する光の強度は、図10Cの照明サンプリング期間104の間に照明装置63が発する光の強度よりも低い。
FIG. 10C schematically shows a graph showing the intensity of light produced by the
I3の計算された値がI1の値に等しい場合(図10B〜図10Cでは図示していない場合)、照明の強度は、全照明期間108の持続時間中に、初期値であるI1に維持され得、照明強度の変更が、時刻TMにおいて行なわれないことに注目されたい。
If the calculated value of I 3 is equal to the value of I 1 (not shown in FIGS. 10B-10C), the intensity of illumination is the initial value I 1 during the duration of the
上で開示した第2の照明制御方法の利点は、この方法が、少なくとも最初に、照明装置63がその最大の光出力強度で作動することを防止し得ることである。このことは、たとえば図1の電源25等の電源の性能を高めるのに有用であることが考えられ、その有用な稼動寿命を延ばし得る。当該技術では、多くの電池および電気化学的セルが、その最大電流出力付近で作動すると最適な態様で機能しないことが公知である。第2の照明方法を用いると、光源(図3の光源63A、63B、63Cおよび63D等)は、それらの最大出力の光強度の僅か一部であり得る光強度I1で最初に作動する。したがって、最大の光出力強度が現時点でのフレーム捕捉に必要とされないことが決まっている場合において、光源は、第2の光強度のレベル(たとえば、光強度のレベルI1よりも低い光強度のレベルI3等)で作動することができる。したがって、第2の照明制御方法は、撮像装置の電池または他の電源から引かれて照明装置63を作動させるのに必要とされる電流を減じることができ、これにより、撮像装置で用いられる電池または他の電源の有用な稼動寿命を延ばすことができる。一実施例によると、両方の方法(可変の持続時間および可変の強度)を組み合せることが可能である。
An advantage of the second lighting control method disclosed above is that this method can prevent the
この発明の実施例が、1つの光検知素子および/または1つの光源を用いることに限定されないことが、当業者によって認識されるであろう。加えて、光検知素子が、撮像器と別個の、または撮像器の一部である光検出器を含み得ることが認識されるであろう。 It will be appreciated by those skilled in the art that embodiments of the present invention are not limited to using one light sensing element and / or one light source. In addition, it will be appreciated that the light sensing element may include a photodetector that is separate from or part of the imager.
次に、図11を参照する。図11は、この発明の一実施例に従った、複数の光源を制御するための照明制御装置を示す概略図である。 Reference is now made to FIG. FIG. 11 is a schematic diagram showing an illumination control apparatus for controlling a plurality of light sources according to one embodiment of the present invention.
照明制御装置120は、それぞれ複数のアナログ−デジタル(A/D)変換装置124A、124B、…124Nで適切にインターフェイスされた複数の光検知装置122A、122B、…122Nを含む。A/D変換装置は、処理装置126に適切な態様で接続される。処理装置126は、複数のLED光源130A、130B、…130Nに適切な態様で接続された複数のLEDドライバ128A、128B、…128Nに対し、適切な態様で接続される。
The
光検知装置122A、122B、…122Nによって検知された光の強度を表わす信号が、それぞれA/D変換装置124A、124B、…124Nに与えられ、これらの変換装置は、デジタル化された信号を出力する。デジタル化された信号は、信号を処理することのできる処理装置126によって受信され得る。たとえば、処理装置136は、信号の積分を行なって、光検知装置122A、122B、…122Nの1つ以上によって検知された光の量を計算することができる。計算された光の量は、光検知装置122A、122B、…122Nのすべてを合わせたものによって検知された光を全部合わせた量であり得、または、光検知装置122A、122B、…122Nの個々の光検知装置の各々に関して別個に計算された光の個々の量であり得る。
Signals representing the intensity of light detected by the
処理装置136は、計算された光の量をさらに処理して、LEDドライバ128A、128B、…128Nに制御信号を与えることができ、これらのLEDドライバは、次いで、個々にまたは組み合わさって、LED光源130A、130B、…130Nに適切な電流を与え得る。この発明の一実施例によると、各センサは、1つ以上の光源に直接関連付けられ得る。
The processing unit 136 can further process the calculated amount of light to provide control signals to the
この発明のいくつかの実施例によると、特別な制御画素を用いることにより、照明源の個々の制御が可能になり得る。これらの制御画素を高速読出に適合させることができ、このことは当該技術において周知である。高速読出手続は、画素値をリセットしないことが考えられる。 According to some embodiments of the invention, individual control of the illumination source may be possible by using special control pixels. These control pixels can be adapted for high speed readout, which is well known in the art. It is conceivable that the fast readout procedure does not reset the pixel value.
図11の照明制御装置120が、処理および制御の異なる方法を用いて作動し得ることに注目されたい。
Note that the
この発明の一実施例に従い、光検知装置122A、122B、…122Nのすべては、1つの光検知素子として用いられ得、光を全部合わせた量を用いて計算を行なって、LED光源130A、130B、…130Nのすべての動作を同時に制御する。この実施例において、照明制御装置120はたとえば、一定の照明強度を用いて照明の終了時刻を計算する、上で開示して図5、図8、および図9に示した第1の照明制御方法を用いて実現することができる。他の実施例によると、複数のA/D装置(124等)は含まれず、その代わりにアナログ処理が実施される。
In accordance with one embodiment of the present invention, all of the
代替的に、この発明の別の実施例に従い、照明制御装置120はたとえば、上で詳細に開示したように、照明サンプリング期間に第1の照明強度I1を用い、かつ、主照明期間で用いるために第2の光強度INを計算する、上で開示して図10A〜10Cに示した第2の照明制御方法を用いて実現することができる。このような場合、照明サンプリング期間104の全体にわたって用いられる照明強度I1(図10A〜10C参照)は、LED光源130A、130B、…130Nのすべてに対して等しいことが考えられ、主照明期間106(図10A〜10C)の全体にわたって用いられる照明強度INは、LED光源130A、130B、…130Nのすべてに対して等しいことが考えられる。
Alternatively, according to another embodiment of the present invention, the
この発明の別の実施例に従い、光検知装置122A、122B、…122Nの各々は、
別個の光検知装置として用いられ得、計算が、光検知装置122A、122B、…122Nの各々によって検知された光の個々の量を用いて行なわれて、それぞれまたは任意の組み合せのLED光源130A、130B、…130Nの少なくとも1つの動作を個別に制御することができる。この実施例において、照明制御装置120は、LED光源130A、130B、…130Nの各々に対して一定の照明強度を用いてLED光源130A、130B、…130Nの各々に対する照明の終了時刻を別個に計算することのできる、上で開示して図5、図8、および図9に示した第1の照明制御方法を用いて実現することができる。このような態様で、光源130A、130B、…130Nの組(1つの組が1つを含み得る)は、センサ122A、122B、…122Nの組と対にされ得る。
In accordance with another embodiment of the invention, each of the
Can be used as separate light detection devices, and the calculations are performed using the individual amounts of light detected by each of the
代替的に、この発明の別の実施例に従い、照明制御装置120は、上で詳細に開示したように、照明サンプリング期間に第1の照明強度I1を用い、かつ、主照明期間に用いるために第2の光強度INを計算する、上で開示して図10A〜10Cに示した第2の照明制御方法を用いて実現することができる。このような場合、照明強度I1は、LED光源130A、130B、…130Nのすべてに対して等しいことが考えられ、照明強度INは、LED光源130A、130B、…130Nのすべてに対して等しいことが考えられる。
Alternatively, according to another embodiment of the present invention, the
一般に、この実施例は、撮像装置内の光源130A、130B、…130Nおよび光検知装置122A、122B、…122Nの位置づけが次のように構成されている場合に、すなわち、適度に効果的な照明の「ローカル制御」が確実に可能になり、異なる光源間のクロストークが確実に十分低いレベルとなって、制御ループ内で1つ以上の光源に関連する1つ以上の光検知装置からの信号を処理することにより、1つ以上の光源130A、130B、…130Nによって生じる照明強度の適度なローカル制御を可能にするように構成されている場合に用いることができる。
In general, this embodiment is suitable when the positioning of the
次に、図12を参照する。図12は、この発明の一実施例に従った、4つの光検知装置および4つの光源を有する自律型撮像装置の正面図を示す概略図である。 Reference is now made to FIG. FIG. 12 is a schematic diagram showing a front view of an autonomous imaging device having four photodetecting devices and four light sources according to one embodiment of the present invention.
装置150は、4つの光源163A、163B、163Cおよび163D、ならびに4つの光検知装置167A、167B、167Cおよび167Dを含む。光源163A、163B、163Cおよび163Dは、上で開示したように白色LED光源であってよく、または、他の適切な光源であってよい。光検知装置167A、167B、167Cおよび167Dは、開口部62を取巻くバッフル70の表面上に取付けられる。装置150の正面部は、4つの四分円170A、170B、170Cおよび170Dを含み得る。装置150は、上で詳細に開示して図面に示したように(図1および図2参照)、照明制御装置(図12の正面図では図示せず)と、画像の処理および送信のためのすべての光学構成要素、撮像構成要素、電気回路、および電源とを含み得る。
The
四分円は、点線間の領域170A、170B、170Cおよび170Dによって概略的に示される。この発明の一実施例に従い、装置150は、4つの独立したローカル制御のループを含み得る。たとえば、四分円170A内に位置づけられた光源163Aおよび光検知装置167Aは、図2の照明制御装置40に光源38A〜38Nおよび光検知装置42が結合されるのと同様の態様で、照明制御装置(図示せず)に適切な態様で結合され得る。光検知装置167Aからの信号を用いて、上で開示した任意の照明制御方法を用い、光源163Aの照明パラメータを制御することができ、四分円170Aに対するローカル制御のループを形成する。
The quadrant is schematically indicated by the
同様に、光検知装置167Bからの信号を用いて、上で開示した任意の照明制御方法を用い、光源163Bの照明パラメータを制御することができ、四分円170Bに対するロ
ーカル制御のループを形成する。さらに、光検知装置167Cからの信号を用いて、上で開示した任意の照明制御方法を用い、光源163Cの照明パラメータを制御することができ、四分円170Cに対するローカル制御のループを形成する。光検知装置167Dからの信号を用いて、上で開示した任意の照明制御方法を用い、光源163Dの照明パラメータを制御することができ、四分円170Dに対するローカル制御のループを形成する。
Similarly, the signal from the light sensing device 167B can be used to control the illumination parameters of the
異なるローカル制御のループ間に何らかのクロストークまたは相互依存性が存在し得ることに注意されたい。なぜなら、実際に、光源163Aによって生じた光の一部が腸壁から反射するか、または腸壁によって拡散することが考えられ、他の四分円170B、170Cおよび170Dのそれぞれに対する他のローカル制御のループの一部を形成する光検知装置167B、167Cおよび167Dに到達し得るためである。
Note that some crosstalk or interdependencies may exist between different local control loops. Because, in practice, some of the light generated by the
装置150内の光検知装置167A、167B、167Cおよび167D、ならびに光源163A、163B、163Cおよび163Dの位置の構成は、このようなクロストークを減じるように設計することができる。
The configuration of the positions of the
この発明の他の実施例では、「ファジー論理」の方法またはニュートラルネットワークの実現例等の処理方法を用いて、異なるローカル制御のループの動作を共にリンクすることが可能であり得る。このような実現例において、光検知装置の1つからの情報が、他のローカル制御のループ内の光源の照明強度の制御に影響を及ぼし得るように、異なるローカル制御のループを共に結合することができる。 In other embodiments of the invention, it may be possible to link the operations of different local control loops together using a processing method such as a “fuzzy logic” method or a neutral network implementation. In such an implementation, combining different local control loops together so that information from one of the light sensing devices can affect the control of the illumination intensity of the light sources in the other local control loops. Can do.
図12に示された撮像装置150が4つの光源と4つの光検知装置とを含むものの、光源の数を変更してよく、異なる数の(4よりも多いか、または少ない)光源で、この発明の実施例の撮像装置を構成できることに注目されたい。同様に、光検知装置の数も変更してよく、適切なまたは実用的な任意の数の光検知装置を用いてよい。加えて、装置内の光検知装置の数が、装置内に含まれる光源の数と必ずしも一致する必要がないことに注目されたい。したがって、たとえば3個の光検知装置と6個の光源とを有する装置を構成することができる。または、別の例において、10個の光検知装置と9個の光源とを有する装置を構成することができる。
Although the
光源の数と光検知装置の数とを決定する要因には、特に、装置内の光源および光検知装置の幾何学的な(2次元および3次元の)配置、および互いに対しての配置、光源のサイズおよび利用可能なパワー、光検知装置のサイズおよび感度、ならびに製造上および配線上の考慮事項が含まれ得る。 Factors that determine the number of light sources and the number of light detection devices include, among other things, the geometrical (two-dimensional and three-dimensional) arrangement of light sources and light detection devices in the device, and the arrangement relative to each other, the light sources Size and available power, size and sensitivity of the light sensing device, and manufacturing and wiring considerations.
ローカル制御のループの数もまた、特に、所望の照明の均一性の程度、異なるローカル制御のループ間のクロストークの程度、利用可能な照明制御装置の処理パワー、および他の製造上の考慮事項によって決定され得る。 The number of local control loops may also include, among other things, the degree of desired illumination uniformity, the degree of crosstalk between different local control loops, the processing power of available lighting controllers, and other manufacturing considerations. Can be determined by
この発明の発明者は、撮像器の一部ではない専用の光検知装置を用いる代わりに、または、専用の光検知装置を用いることに加え、撮像器自体の1つ以上の光感応性画素を用いて照明制御を行なうことも可能であることを認識している。加えて、特別な光検知素子をCMOS撮像器のICの表面上の画素アレイに一体化することができる。 The inventor of the present invention can use one or more light sensitive pixels of the imager itself instead of or in addition to using a dedicated light detection device that is not part of the imager. Recognizing that it is possible to control lighting by using. In addition, special light sensing elements can be integrated into the pixel array on the surface of the CMOS imager IC.
たとえば、CMOSタイプの撮像器において、CMOS撮像器の画素のいくつかを照明の制御用に用いることができ、または代替的に、撮像器の画素アレイ内に、特別に製造された光検知素子(アナログフォトダイオード等)を形成することができる。 For example, in a CMOS type imager, some of the pixels of the CMOS imager can be used for illumination control, or alternatively, a specially manufactured light sensing element (in the imager pixel array ( An analog photodiode or the like).
次に、図13を参照する。図13は、この発明の一実施例に従った、照明制御のために
用いることのできる、CMOS撮像器の表面上における画素の配置を概略的に示す上面図である。図13の画素の配置が概略的な図にすぎず、撮像器上の回路における実際の物理的な配置は図示されていないことに注意されたい。
Reference is now made to FIG. FIG. 13 is a top view that schematically illustrates pixel placement on the surface of a CMOS imager that can be used for illumination control, in accordance with one embodiment of the present invention. Note that the pixel arrangement of FIG. 13 is only a schematic diagram and the actual physical arrangement in the circuit on the imager is not shown.
CMOS撮像器160の表面は、144個の正方形の画素を含む12×12のアレイによって概略的に示される。正規の画素160Pは、白色の正方形によって概略的に示される。CMOS撮像器は、網掛け状の正方形によって概略的に示される、16個の制御画素160Cも含む。
The surface of the CMOS imager 160 is schematically illustrated by a 12 × 12 array containing 144 square pixels. The
CMOS撮像器160内の画素の数が、説明を簡単かつ明瞭にするためだけに、任意に144として選択されているものの、所望であれば画素の数をそれよりも多くまたは少なくしてよいことに注意されたい。一般には、適切な画像解像度をもたらすために、より大きな数の画素を用いることができる。たとえば、GI管の撮像には、256×256の画素アレイが適切であり得る。 The number of pixels in the CMOS imager 160 is arbitrarily selected as 144 for simplicity and clarity only, but more or less pixels may be used if desired. Please be careful. In general, a larger number of pixels can be used to provide a suitable image resolution. For example, a 256 × 256 pixel array may be appropriate for GI tube imaging.
この発明の一実施例によると、制御画素160Cは、制御画素として作動するように割当てられたCMOS撮像器の正規の画素であり得る。この発明に従い、制御画素160Cは、正規の撮像画素160Pとは異なる時間に走査され得る。この実施例は、この実施例が正規のCMOS画素アレイの撮像器によって実現され得るという利点を有する。
According to one embodiment of the present invention, the
図10Aに戻り、一実施例によると、図10Aのタイミング図をここでも用いて、制御画素を用いた自動照明制御方法を示すことができる。この方法は、各撮像周期110の開始時に制御画素160Cの高速走査を用いることによって運用することができる。照明装置(図示せず)は、撮像周期110の開始時に(時刻T2に)オンにされ得る。制御画素160Cの走査は、正規の画素160Pの走査と同様に行なわれ得るが、すべての制御画素160Cの走査が照明サンプリング期間104内に生じる点が異なる。制御画素160Cは、照明サンプリング期間104の持続時間内に順次走査され得る。このことは、当該技術で公知のように、画素の読出線(図示せず)を適切な態様でアドレス指定することによってCMOS画素アレイ内の所望の任意の画素を無作為に走査する能力によって可能となる。
Returning to FIG. 10A, according to one embodiment, the timing diagram of FIG. 10A can also be used here to illustrate an automatic illumination control method using control pixels. This method can be operated by using high-speed scanning of the
制御画素160Cが順次(次々に)走査されるため、最初に走査される制御画素が、次に走査される制御画素よりも短い期間だけ露光されることに注目されたい。したがって、各制御画素は、それが異なる露出期間にわたって露光されてから、走査される。
Note that because the
腸壁から反射する光の強度が照明サンプリング期間104の持続時間内に著しく変化しないと仮定した場合、制御画素160Cのすべてに対して測定された平均の光強度、または、制御画素160Cのすべてに到達する光の計算された平均量を計算によって補正することにより、この漸増的な画素の露出時間を補償することが可能となり得る。たとえば、画素の強度の加重平均を計算することができる。
Assuming that the intensity of light reflected from the intestinal wall does not change significantly within the duration of the
代替的に、この発明の別の実施例に従い、照明装置63は、照明サンプリング期間104の終了後にオフにされ得る(このターンオフは、図10Aには図示していない)。このターンオフにより、制御画素160Cが露光されていない間における画素160Cの走査が可能になり得、したがって、上で述べた、制御画素の漸増的な露光を防ぐことができる。
Alternatively, according to another embodiment of the present invention, the
すべての制御画素160Cの走査(読出)が完了し、走査された制御画素の信号値が(アナログまたはデジタルの計算または処理によって)処理された後に、主照明期間で必要とされる照明強度の値が、たとえば照明制御装置40A(またはたとえば、図2の照明制
御装置40)によって計算され得る。
After all the
LEDドライバ装置84から必要とされる電流の計算または必要とされる照明強度の計算は、上で開示したように既知の値I1(図10B参照)を用いて行なうことができ、照明装置63がオフにされた期間の持続時間を考慮してもよく、または考慮しなくてもよい(この持続時間は、制御画素160Cを走査するのに必要とされる既知の時間から、および、データの処理および/または計算に必要とされる適切な時間から、適切な態様で求められ得る)。照明装置63は次に、計算された電流値を用いてオンにされ得(このターンオンは、説明を明瞭にするため、図10Aには図示していない)、主照明期間106の終了時の時刻TMまで必要とされる照明強度の値I2(図10B参照)を生じる。
The calculation of the required current or the required illumination intensity from the
制御画素160Cの数が少ない場合、制御画素160Cを走査するのに必要とされる時間が、全照明期間108の全持続時間に比べて短くなり得ることに注目されたい。たとえば、1つの制御画素を走査するための走査時間が約6マイクロ秒である場合、16個の制御画素を走査するには約96マイクロ秒が必要とされ得る。必要とされる光強度を計算するのに必要とされる時間もまた、短くなり得るため(数マイクロ秒または数十マイクロ秒が必要とされ得る)、照明サンプリング期間104の終了時に照明装置63がオフにされる期間は、一般に20〜30ミリ秒であり得る主照明期間108の僅か一部を構成し得る。
Note that if the number of
各画素に関して読出された強度が、画素アレイ160の全体内における特定の制御画素の位置に従って異なる態様で重み付けされ得る、加重平均を計算することもまた可能であり得る。このような重み付けの方法は、当該技術で公知の、中央に偏った強度の重み付けを得るためか、または、縁(もしくは周縁)に偏った重み付けを含むがこれに限定されない、当該技術で公知の他の任意の種類の偏った測定値を得るためか、または、当該技術で公知の他の適切な任意の種類の重み付けを得るために、用いることができる。このような補償または重み付けの計算は、撮像装置に含まれる照明制御装置(図示せず)によって、または、図13に示されたCMOS撮像器160を含む撮像装置に含まれる、任意の適切な処理装置(図示せず)もしくは制御装置(図示せず)によって、行なわれ得る。 It may also be possible to calculate a weighted average where the read intensity for each pixel may be weighted differently according to the position of a particular control pixel within the entire pixel array 160. Such weighting methods are known in the art, including, but not limited to, weights that are center-biased intensity weightings or include edge (or rim) weightings. It can be used to obtain any other type of biased measurement or any other suitable type of weighting known in the art. Such compensation or weighting calculations can be performed by any suitable process by an illumination control device (not shown) included in the imaging device or included in an imaging device including the CMOS imager 160 shown in FIG. This can be done by a device (not shown) or a control device (not shown).
したがって、平均化または重み付けの計算が用いられる場合、制御画素の読出および任意の種類の補償または重み付けの計算が完了した後に、照明制御装置(図示せず)は、制御画素160Cによって検知された光の重み付けされた(および/または補償された)量の値を計算して、この値をI2の値を計算するために用いることができる。
Thus, if averaging or weighting calculations are used, after the control pixel readout and any type of compensation or weighting calculations are complete, the illumination controller (not shown) can detect the light detected by the
制御画素160Cの数と正規の画素160Pとの比が小さな数であるべきことに注意されたい。示された16/144の比は、例示としてのみ(説明を明瞭にするために)与えられる。他の実現例において、この比は、特に、撮像器のCMOSアレイ内の画素の総数と、用いられる制御画素の数とに依存して異なり得る。たとえば、典型的な256×256のCMOS画素アレイにおいて、照明制御のために、照明制御画素として16〜128個の画素を用いることが実用的であり得る。しかしながら、256×256のCMOS画素アレイ内の制御画素の数は、16個の制御画素よりも少ないか、または、128個の制御画素よりも多くなってもよい。
Note that the ratio of the number of
一般に、制御画素の数および制御画素と正規の画素との比は、特に、撮像器の画素アレイ上で利用可能な画素の総数、特定の撮像器の画素走査速度、走査用に割当てられた時間内で実際に走査され得る制御画素の数、および照明サンプリング期間の持続時間に依存し得る。 In general, the number of control pixels and the ratio of control pixels to regular pixels is notably the total number of pixels available on the imager's pixel array, the pixel scan speed of a particular imager, and the time allocated for scanning. Depending on the number of control pixels that can actually be scanned within and the duration of the illumination sampling period.
CMOS撮像器の画素アレイの画素のいくつか(たとえば図13に示された例等)が用
いられる自動照明制御方法を用いる実施例の利点は、撮像器の表面の外側に配置され得る光感応センサ(たとえば図3の光検知装置67等)とは対照的に、制御画素160Cが、撮像器の表面上に配置された撮像画素でもあることから、撮像器の表面に到達する光の量を実際に検知することである。このことは、特に、光検知の精度が一層高いために有利となり得、また、光学系内の最適な場所に光検知装置を正確に配置する必要性もなくすことができ、加えて、制御画素は、撮像器の他の(非制御の)画素と同様の信号対雑音特性および温度依存特性を有し得る。
An advantage of an embodiment using an automatic illumination control method in which some of the pixels of a pixel array of a CMOS imager (such as the example shown in FIG. 13) is used is a photosensitive sensor that can be placed outside the surface of the imager. In contrast to (for example, the
制御画素を用いる別の利点は、外付けの光検知装置の必要がないことであり、これは、撮像装置のコストを下げて撮像装置の組立てを単純化することを可能にする。 Another advantage of using control pixels is that there is no need for an external light sensing device, which allows the imaging device cost to be reduced and the imaging device assembly to be simplified.
撮像器160等のCMOS撮像器において、一実施例によると、照明サンプリング期間104の後の制御画素160Cの走査が、画素をリセットしないことに注目されたい。したがって、制御画素160Cは、主照明期間106の間に光を引続き検知して積分し、撮像器160の他の正規の画素160Pのすべてとともに、時刻TMの後に走査される。したがって、捕捉された画像は、完全な画素の情報を含む。なぜなら、制御画素160Cおよび正規の画素160Pが同じ持続時間だけ露光されたからである。したがって、画像の品質または解像度は、制御画素160Cを用いて照明を制御することによって著しく影響を受けない。
Note that in a CMOS imager, such as imager 160, according to one embodiment, scanning of
また、撮像器160上の制御画素160Cの配置が、撮像器の中心に対して対称になっているが、他の適切な任意の画素の配置を用いてよいことに注目されたい。撮像器160上の制御画素の数および分布は、用いられる平均化の種類、および/または、たとえば捕捉された画像の種類に応じて変更または適合され得る。
It should be noted that although the arrangement of the
さらに、制御画素をグループにグループ化することができる。これらのグループを別個に処理して、別個に制御され得る複数の光源を用いる撮像器内のローカルな照明制御を可能にすることができる。 Furthermore, control pixels can be grouped into groups. These groups can be processed separately to allow local illumination control within the imager using multiple light sources that can be controlled separately.
次に、図14を参照する。図14は、この発明の一実施例に従った、撮像装置内のローカルな照明制御で用いられるのに適切な制御画素のグループの例示的な分布を示す、CMOS撮像器の画素の概略上面図である。 Reference is now made to FIG. FIG. 14 is a schematic top view of pixels of a CMOS imager showing an exemplary distribution of groups of control pixels suitable for use in local illumination control within an imaging device, according to one embodiment of the present invention. It is.
示された撮像器170は、400個の画素を有する20×20の画素アレイである。制御画素は、網掛け状の正方形170A、170B、170Cおよび170Cによって概略的に表わされ、残りの撮像器の画素は、網掛け状ではない正方形170Pによって概略的に表わされる。制御画素の4つのグループが、撮像器170上に示される。
The illustrated
第1の画素のグループは、撮像器170の表面の左上の象限内に配置された4つの制御画素170Aを含む。第2の画素のグループは、撮像器170の表面の右上の象限内に配置された4つの制御画素170Bを含む。第3の画素のグループは、撮像器170の表面の右下の象限内に配置された4つの制御画素170Cを含む。第4の画素のグループは、撮像器170の表面の上左下の象限内に配置された4つの制御画素170Dを含む。
The first group of pixels includes four
撮像器170が、複数の光源を有する自律型撮像装置(図12の装置150等であるが、これに限定されない)に配置される場合、制御画素170A、170B、170Cおよび170Dの4つのグループの各々は、上で開示したように走査されて処理され、撮像器170の4つの象限のそれぞれに到達する照明のレベルをローカル制御するためのデータを提供することができる。4つのグループの各々内の各画素に関する走査データは、撮像器のそれぞれの象限に対する照明強度の所望の値を計算するために処理され得る。別個の
ローカル制御のループを用いて照明を制御するための方法は、図12の装置150に関して上で開示した任意の方法と同様であり得るが、装置150では、光検知装置が撮像器の外部の装置であり、撮像器170では、検知用に用いられる制御画素が、撮像器170と一体化した部分である撮像器の画素である点が異なる。
When the
制御画素を用いる照明制御方法は、上で開示したように、積分されたセンサの信号がしきい値のレベルに到達したときに照明を中止する閉ループの方法を用いて実現され得、または、上で開示したように、照明サンプリング期間に最初の照明強度を用い、そして制御画素の走査から計算もしくは算出された値に従って(必要であれば)照明強度を適合させるか、もしくは変更することによって実現され得る。 The illumination control method using control pixels can be implemented using a closed loop method that stops illumination when the integrated sensor signal reaches a threshold level, as disclosed above, or As disclosed in, using the initial illumination intensity during the illumination sampling period and adapting or changing the illumination intensity (if necessary) according to the value calculated or calculated from the control pixel scan. obtain.
画素のグループの信号またはデータ(画素の変化を表わす)は、中央に偏るか、もしくは周縁に偏った平均化を行なうための平均化法または加重平均法を用いることにより、または、当該技術で公知の他の任意の平均化または処理の方法に従って、処理され得る。上で開示したように処理の結果を用いて、光源(たとえば、図12の4つの光源163A、163B、163Cおよび163Dの配置と同様の配置で撮像装置内に配置された4つの光源等)を制御することができる。
Signals or data for a group of pixels (representing a change in pixels) is known by using an averaging or weighted average method for averaging centered or marginally, or known in the art It can be processed according to any other averaging or processing method. Using the processing results as disclosed above, a light source (for example, four light sources arranged in the imaging device in an arrangement similar to the arrangement of the four
撮像器の表面上の制御画素の数および制御画素の分布が、特に、所望の種類の平均化、ローカルな照明制御グループの必要数、撮像装置内で利用可能な光源の数および位置、利用可能な処理装置が利用することのできる計算パワー、照明制御装置の速度、ならびに他の設計上の考慮事項に応じて変化し得ることを、当業者は認識するであろう。 The number of control pixels and the distribution of control pixels on the surface of the imager, in particular, the desired type of averaging, the required number of local lighting control groups, the number and position of light sources available in the imager, available Those skilled in the art will recognize that the processing power available to a particular processor may vary depending on the power available, the speed of the lighting controller, and other design considerations.
この発明の別の実施例によると、図13の制御画素160Cは、正規の画素160Pとは異なった態様で構成された、特別に作製された画素であり得る。この実施例によると、制御画素160Cは、当該技術で公知であるように、適切な読出回路またはサンプリング回路(図示せず)を有するアナログフォトダイオードとして作製され得る。この実現例は、制御画素160Cとして働くアナログフォトダイオードが同時に読出され得る、特別に作製されたカスタムCMOS撮像器を用い得、このことは、有利であることが考えられる。なぜなら、一様な画素の構成を有する正規のCMOS画素アレイにおいて実現される同数の制御画素を順次走査するのに必要とされる時間よりも、読出または走査の時間が短縮され得るためである。
According to another embodiment of the present invention, the
アナログフォトダイオードまたは他の公知の種類の専用のセンサが撮像装置のCMOS画素アレイ内に一体化される場合、アナログフォトダイオードが配置された領域が、正規のCMOSアレイの画素とともに走査されないため、捕捉された画像が、「欠落した」画像の画素を有することに注目されたい。したがって、画像データは、「欠落した画素」を有する。しかしながら、CMOS画素アレイ内に少数のアナログフォトダイオードまたは他の専用の制御画素が含まれている場合、欠落した画素が画像の品質を著しく劣化させないことが考えられる。加えて、このような専用のアナログフォトダイオードまたは他の制御画素を画素アレイ内に分散させることができ、互いに十分に離して配置することができるため、画像の品質は、欠落した画像の画素によって僅かに影響を受けるに過ぎないと考えられる。 When an analog photodiode or other known type of dedicated sensor is integrated into the CMOS pixel array of the imager, the area where the analog photodiode is located is not scanned with the pixels of the regular CMOS array, so capture Note that the rendered image has “missing” image pixels. Therefore, the image data has “missing pixels”. However, if the CMOS pixel array includes a small number of analog photodiodes or other dedicated control pixels, it is possible that the missing pixels will not significantly degrade the image quality. In addition, such dedicated analog photodiodes or other control pixels can be distributed within the pixel array and can be placed sufficiently far apart from each other, so the image quality depends on the pixels of the missing image. Only slightly affected.
照明制御方法が、図1の装置10A等の自律型撮像装置で用いるために開示されているが、これらの照明制御方法が、撮像器および照明装置を有する他の生体内撮像装置、たとえば撮像センサアレイを有する内視鏡もしくはカテーテル様の装置か、または内視鏡の動作経路を通じた挿入が可能な生体内撮像を行なうための装置等、への適合を伴ってまたは伴わずに用いられ得ることに注目されたい。
Illumination control methods have been disclosed for use in autonomous imaging devices such as the
加えて、この明細書に開示された照明制御方法を、CMOS撮像器等の適切な撮像器を含み、かつ、照明源を含むか、または作動する態様で照明源に接続される、スチルカメラおよびビデオカメラにおいて用いることができる。 In addition, the illumination control method disclosed herein includes a still camera, including a suitable imager, such as a CMOS imager, and connected to the illumination source in a manner that includes or operates the illumination source. It can be used in a video camera.
加えて、選択された正規の画素を制御画素として用いるか、またはアナログフォトダイオード等の特別に作製された制御画素を用いる、CMOS画素アレイの撮像器で実現される制御画素の使用を、カメラ内に一体化され得るか、または、カメラの外部に存在して、作動する態様でカメラに接続され得るフラッシュ装置または別の照明装置の照明を制御するために適用することができる。 In addition, the use of control pixels implemented in a CMOS pixel array imager, using selected regular pixels as control pixels, or using specially fabricated control pixels such as analog photodiodes, within the camera Or can be applied to control the illumination of a flash device or another illumination device that can be external to the camera and connected to the camera in an operative manner.
カメラのCMOS撮像器の一部である制御画素を用いる利点には、特に、上で詳細に開示したように、構成および操作が簡単であること、加重平均法およびバイアス方法を含む、制御可能な態様で互換性を有する複数の平均化法の実現および使用が可能であること、ならびに、照明制御の精度が上昇することが含まれ得る。 The advantages of using control pixels that are part of the camera's CMOS imager are particularly controllable, including simple construction and operation, weighted average and bias methods, as disclosed in detail above. It may include the ability to implement and use multiple averaging methods that are compatible in aspects and increase the accuracy of lighting control.
加えて、特に、カメラに含まれているか、または作動する態様でカメラに接続されている光源が、唯一の利用可能な照明源であるという条件下で作動するカメラにおいて(たとえば、海底で作動するカメラ、または、通常は暗く、接近しにくい領域で監視またはモニタを行なうように設計されているカメラにおいて)、上に開示した照明制御方法を用いることにより、シャッタのないカメラの使用が可能になり得る。このことは、有利にも、このような装置の信頼性を高め、それらのコストを下げ、それらの構成および動作を単純化することができる。 In addition, particularly in cameras that operate under the condition that a light source that is included in the camera or connected to the camera in an operating manner is the only available illumination source (e.g., operating at the sea floor). Using a lighting control method disclosed above allows the use of a camera without a shutter, in cameras or cameras that are designed to monitor or monitor in normally dark and inaccessible areas. obtain. This can advantageously increase the reliability of such devices, reduce their costs, and simplify their construction and operation.
上で開示したこの発明の実施例において、制御画素の数および配置は一定であったが、この発明の別の異なる実施例に従い、制御画素の数および/または幾何学的な構成(配置)をダイナミックに変更または制御できることに注目されたい。たとえば、一時的に図2に戻ると、光検知装置42は、CMOS画素アレイの1つ以上の制御画素を表わし得、照明制御装置40および/またはコントローラ/プロセッサ装置36は、画像捕捉周期で用いられる制御画素の数を変更するように、および/または、撮像装置32の画素アレイ上における制御画素の配置を変更するように、構成することができる。
In the embodiment of the invention disclosed above, the number and arrangement of control pixels was constant, but according to another different embodiment of the invention, the number and / or geometric configuration (arrangement) of control pixels is Note that it can be changed or controlled dynamically. For example, temporarily returning to FIG. 2, the
制御画素の数および/または配置のこのような変更は、照明サンプリング期間104(図10A)の間に制御画素として走査されるように選択された画素の数および/または配置を変更することによって、非限定的な例において行なうことができる。このような変更により、さまざまな平均化のための構成および方法の使用が可能となり得、さまざまな撮像周期に対する、さまざまなバイアス方法の変更が可能になり得る。 Such a change in the number and / or arrangement of control pixels can be achieved by changing the number and / or arrangement of pixels selected to be scanned as control pixels during the illumination sampling period 104 (FIG. 10A). This can be done in a non-limiting example. Such changes may allow the use of different averaging configurations and methods and may allow for different biasing methods for different imaging periods.
加えて、ダイナミックに制御可能な制御画素の構成を用いることにより、1つの撮像周期内に2つ以上の照明サンプリング期間を実現すること、および、これらの2つ以上の照明サンプリング期間の各々に対して異なる画素の数または構成を用いることが可能となり得る。 In addition, by using a dynamically controllable control pixel configuration to achieve two or more illumination sampling periods within one imaging period, and for each of these two or more illumination sampling periods It may be possible to use different numbers or configurations of pixels.
また、遠隔測定装置、たとえば遠隔装置34(図2)に無線で送信される命令により、制御画素の数および/または構成を遠隔で制御することも可能となり得、この場合、遠隔測定装置は、データの送信と、外部の送信機装置(図2には図示せず)によって遠隔測定装置に送信される制御データの受信とが可能な送受信機装置として構成することができる。 It may also be possible to remotely control the number and / or configuration of control pixels by instructions transmitted wirelessly to a telemetry device, eg, remote device 34 (FIG. 2), in which case the telemetry device is It can be configured as a transceiver device capable of transmitting data and receiving control data transmitted to the telemetry device by an external transmitter device (not shown in FIG. 2).
上で開示した実施例が、光検知素子(たとえば図3の光検知装置67、図2の光検知装置42、または図13の制御画素160C等)に到達する光の量の測定および処理に基づ
いて照明装置(たとえば図3の照明装置63等)から出力される光を変更することに基づいていたが、別の手法を用いてもよいことに注目されたい。
The embodiments disclosed above are based on the measurement and processing of the amount of light reaching a light sensing element (eg, the
この発明のいくつかの実施例によると、撮像器(図2の撮像装置32等)の画素増幅器の利得および/または他のパラメータを変更することができる。パラメータを変更する決定は、たとえば、光検知装置(たとえば図2の光検知装置42、図13の制御画素160C等)に到達する光の量の測定結果に基づき得る。このような実施例において、撮像装置の照明装置(たとえば図3の照明装置63Aまたは図2の照明装置38等)は、一定の期間または可変の期間にわたり、一定の照明強度または可変の照明強度で作動させることができる。サンプリング期間(1フレーム内の露出期間の一部等)中に撮像装置の光検知装置または制御画素に到達する光は、サンプリングの段階または時点において測定され得る。サンプリングの段階または時点は、時間内の不連続な時点であり得、または、或る一定の時間量にわたって広がり得る。パラメータ、たとえば撮像器の画素増幅器の利得レベルまたは感度、光の強度、照明の持続時間、または他のパラメータを、たとえば選択した画素の相対的な光飽和の測定値に関して、個々にまたは任意の組合せで変更して、適切なまたは適正な撮像を行なうことができる。
According to some embodiments of the present invention, the gain and / or other parameters of the pixel amplifier of the imager (such as the
たとえば、少なくとも1つの選択されたサンプリングの段階(期間)において測定された、照明サンプリング期間中に光検知装置に到達する光の量が、(たとえば定められた数の画素に関する期待しきい値を基準として)画像の適正な露出を確保するのにほぼ十分なものになった場合、露光を終了することができる。この場合、完全な露出が得られたので、さらに露出を行なう必要はない。この場合、画像を送信する際に、現時点での画像の利得レベルの変更は必要とされないはずである。加えて、露出が比較的短時間であることから、長時間の露光を用いて記録された画像に伴い得る、かすみの問題がなくなるはずである。 For example, the amount of light that reaches the light sensing device during the illumination sampling period, measured in at least one selected sampling stage (period), is referenced to an expected threshold value (eg, for a defined number of pixels). The exposure can be terminated when it is nearly sufficient to ensure proper exposure of the image. In this case, since complete exposure has been obtained, no further exposure is required. In this case, it should not be necessary to change the current gain level of the image when transmitting the image. In addition, since the exposure is relatively short, there should be no haze problems that can accompany images recorded using long exposures.
サンプリングの段階における測定により、照明のサンプリング期間中に(しきい値を基準として)あまりにも少ない飽和しか得ることができなかったと判断された場合、露出を継続して、画像に対する十分な照明を可能にすべきである。しかしながら、過剰な露出はかすみを生じ得るため、飽和しきい値を下げてより短時間の露出を行なうように撮像器に指令を与えることができる。短時間の露出を補償するために、撮像器に対し、飽和しきい値を下げることに加え、画像の送信用により高い利得レベルを提供するように指令を与え、短い露出時間でも十分な露出を行なうことができる。たとえば、飽和しきい値を半分にして露出を十分に短くした場合は、それに応じて利得レベルを2倍にし、適切な露出が行なわれ得るようにしなければならない。 If the measurement at the sampling stage determines that too little saturation could be achieved (based on the threshold) during the illumination sampling period, exposure can continue to allow sufficient illumination of the image Should be. However, overexposure can cause haze, so the imager can be commanded to lower the saturation threshold and perform a shorter exposure. In order to compensate for short exposures, in addition to lowering the saturation threshold, the imager is commanded to provide a higher gain level for image transmission, providing adequate exposure even with short exposure times. Can be done. For example, if the saturation threshold is halved and the exposure is short enough, the gain level must be doubled accordingly to ensure that proper exposure can be performed.
照明のサンプリング期間中に、可能性として期待しきい値を基準とした場合に、あまりにも多くの光が光検知装置に到達した場合、露出を終了することができ、画素増幅器の利得(または他のパラメータ)を下げて露出過多を防止することができる。選択した段階においてさらに別のサンプリング期間を設定し、画像の利得および露出時間等の変数をさらに微調整することができる。 If too much light reaches the light detector during the illumination sampling period, possibly with reference to the expected threshold, the exposure can be terminated and the pixel amplifier gain (or other Parameter) can be reduced to prevent overexposure. Additional sampling periods can be set at selected stages to further fine tune variables such as image gain and exposure time.
露出期間の初期の局面における、選択された数の画素のアナログ出力を連続走査することに基づき得るアナログ利得の変更に加え、露出は、完全な(たとえば適切な)飽和に到達した任意のステージで終了させることができる。このようにして、たとえば、利得レベルを画像に追加することにより、低露出の多くの場合にも画像の完全な露出を提供することができる。加えて、たとえば飽和が得られたときに露出を終了することにより、高露出である多くの場合において露出過多を防止することができる。これらの変更は、画像品質の向上、エネルギ節約、および/または他の利点を生じ得る。 In addition to changing the analog gain that can be based on continuously scanning the analog output of a selected number of pixels in the initial aspects of the exposure period, the exposure is at any stage that reaches full (eg, proper) saturation. Can be terminated. In this way, for example, adding a gain level to the image can provide full exposure of the image in many cases of low exposure. In addition, overexposure can be prevented in many cases of high exposure, for example by terminating exposure when saturation is obtained. These changes can result in improved image quality, energy savings, and / or other benefits.
さまざまな実施例はさまざまな時間、飽和、および電圧レベルを使用することができ、以下の規定されたレベルに限定されない。この発明の特定の用途によると、予め選択されたすべての画素に対して飽和を達成するのに必要とされる最大読出時間を規定する、必要とされる時間解像度は、たとえば0.25sであり得る。他の値または範囲を使用してよい。 Various embodiments can use various time, saturation, and voltage levels and are not limited to the following defined levels. According to a particular application of the invention, the required time resolution defining the maximum readout time required to achieve saturation for all preselected pixels is, for example, 0.25 s. obtain. Other values or ranges may be used.
この発明のいくつかの実施例に従い、総露出時間(たとえば適切なおよび/または適正な露出に必要とされる予測時間)を規定することができ(T1)、この時間内において、露出測定時間(サンプリング時間、たとえばT1の一部であるT1/4または他の時間)を規定することができる。基準レベルの変更が生じ得、かつ、利得の決定が行なわれ得る不連続な時間段階を、T1により求めることができる。この値を間接的に用いて、T1/2およびT1/4等の時間間隔、または他の間隔を設定することができ、これらは、画素の飽和を測定するためのサンプリングの時間間隔となり得る。最大露出時間もまた規定することができる(TM)。一般に、T1およびTMはいずれもプログラム可能である。一般に、TMは、露出のしきい値を超えたか否かに関係なく露出を終了することのできる最大露出時間を設定すること以外の計算に影響を与えない。一方でT1は、目標とする露出時間として用いることができる。たとえばT1は、適切なまたは完全な飽和等を得るために期待される露出と呼ぶことができる。いくつかの実施例に従った現時点でのシステムまたは方法は、たとえば間隔T1/4およびT1/2において、T1以前に超えることが期待される飽和しきいレベルを設定する。 In accordance with some embodiments of the present invention, a total exposure time (eg, an estimated time required for proper and / or proper exposure) can be defined (T1), within which time the exposure measurement time ( A sampling time, eg, T1 / 4 or some other time that is part of T1, can be defined. A discrete time step in which a change in the reference level can occur and a gain determination can be made can be determined by T1. This value can be used indirectly to set time intervals such as T1 / 2 and T1 / 4 , or other intervals, which can be sampling time intervals to measure pixel saturation. A maximum exposure time can also be defined (T M ). In general, both T1 and T M are programmable. In general, T M does not affect the computation other than setting the maximum exposure time that can be terminated exposed regardless of whether exceeds the threshold of exposure. On the other hand, T1 can be used as a target exposure time. For example, T1 can be referred to as the expected exposure to obtain proper or complete saturation and the like. A current system or method according to some embodiments sets a saturation threshold level that is expected to exceed before T1, for example at intervals T1 / 4 and T1 / 2 .
一般に、装置30は、不連続な部分として画像情報を送信する。各部分は一般に、1つの画像またはフレームに対応する。他の送信方法も可能である。たとえば、装置30は2分の1秒ごとに1度画像を捕捉することができ、このような画像を捕捉した後に、この画像を受信アンテナに送信する。他の捕捉速度も可能である。一般に、記録および送信される画像データはデジタルカラー画像データであるが、代替的な実施例において、他の画像フォーマット(白黒画像データ等)を用いてもよい。一実施例において、画像データの各フレームは、各々が256個の画素からなる256本の行を含み、各画素は、公知の方法に従い、色および輝度に関するデータを含む。たとえば各画素において、色は、各々が赤、緑、または青等の原色に対応する4個のサブ画素(1つの原色が2度表される)のモザイクによって表され得る。画素全体の輝度は、たとえば、1バイト(すなわち0〜255)の輝度の値で記録することができる。他のデータフォーマットを使用してよい。
In general, the
一実施例によると、信頼性の高い露出の測定は、n番目(たとえば4番目)ごとの画素を含むことを必要とし得る(この画素は、たとえば2番目ごとの赤色画素であると考えられる。なぜなら、一実施例によると、m行(たとえば一般に約66,000個の画素フレーム(256×256画素等)内の256行のうちの10行)ごとに、一般にはより多くの赤色画素が存在するためである)。このことは、一般的な1フレーム内における約640個の画素に等しい。一実施例において、信頼性の高い露出の測定は、飽和しきい値を超えるために、選択された画素の約1.5%(たとえば640個の画素のうちの11個等)が飽和に達することを必要とすることが考えられ、この飽和しきい値に応じて利得の決定が行なわれ得る。他のフレームのサイズ、割合、およびサンプリング速度を適宜使用してよい。たとえば9、11、15、24、および他の任意の数の画素を1フレームごとに、またはサンプリングされた1つのサブセットごとに使用して、飽和しきい値を決定することができる。他の個々の画素、たとえば赤色ではない画素をサンプリングしてよく、サンプリングは色に基づいて行なわれる必要はない。 According to one embodiment, reliable exposure measurements may require that every nth (eg, 4th) pixel is included (this pixel is considered to be every 2nd red pixel, for example). Because, according to one embodiment, there are typically more red pixels for every m rows (eg, typically 10 rows out of 256 rows in about 66,000 pixel frames (such as 256 × 256 pixels)). To do that). This is equivalent to about 640 pixels in a typical frame. In one example, reliable exposure measurements exceed the saturation threshold, so about 1.5% of the selected pixels (eg, 11 out of 640 pixels, etc.) reach saturation. This may be necessary, and the gain may be determined according to the saturation threshold. Other frame sizes, ratios, and sampling rates may be used as appropriate. For example, 9, 11, 15, 24, and any other number of pixels can be used per frame or per sampled subset to determine the saturation threshold. Other individual pixels, such as non-red pixels, may be sampled and the sampling need not be based on color.
一実施例によると、露出時間は、たとえば5msから40msの8ステップにおいて決定され得る。他の数のステップおよび間隔を使用してよく、間隔を使用しなくてもよい。すなわち、たとえば連続して露出時間を決定することができる。さらに、T1をたとえば
1msから100msまでの対数目盛を有する8ステップでデジタル式にプログラムすることができる。一実施例において、検出レベルの精度は、たとえば5%未満に規定され得る。他の精度レベルを適宜使用してよい。
According to one embodiment, the exposure time can be determined in 8 steps, for example from 5 ms to 40 ms. Other numbers of steps and intervals may be used and intervals may not be used. That is, for example, the exposure time can be determined continuously. Furthermore, T1 can be digitally programmed in 8 steps, for example with a logarithmic scale from 1 ms to 100 ms. In one example, the accuracy of the detection level may be defined as less than 5%, for example. Other accuracy levels may be used as appropriate.
一実施例に従った露出の測定は、センサアレイまたは撮像器内の画素のサブセットに対して実施することができる。露出の利得の変化が適切であるか否かに関する判断は、たとえば、1個以上の画素についての飽和しきい値を基準とした、光により飽和に達し、かつ、選択された画素の割合に基づくことが考えられる。利得または他のパラメータを設定する判断は、不連続な1つ以上の時間間隔に基づき得る。この時間間隔内において、選択された数の画素のうち公称数の画素(たとえば一実施例によると11個)からの出力が、或る一定の飽和レベル(基準レベル等)またはしきい値に到達する。このようにして、公称数の画素からの画素の出力が新規の飽和レベルに到達したと判断されるまで露出を継続することができ、新規の飽和レベルに到達した時点で利得(または他のパラメータ)のレベルを変更することができる。一実施例によると、たとえば、完全な飽和または最大露出時間(Tm)に到達するまで露出を継続することができる。完全な飽和の判断が、さまざまな利得(または他のパラメータ)のレベルに応じて異なり得ることに注意されたい。たとえば、利得1において予測される飽和はV1であり得、利得4において予測される飽和はV1/4であり得る。利得および/または露出を変更すべきか否かを判断するための基準電圧(Vref)、またはしきい電圧は、T1に対する時間の割合を基準とした、連続しない任意の時間間隔で規定することができる。たとえば、光の反射が最初に測定され得るとき、Vrefは、時刻T1/4においてVfs/4に等しいことが考えられる。同様に、光の反射がそれ以降に測定され得るとき、Vrefは、時刻T1/2においてVfs/2に等しいことが考えられる。
Exposure measurements according to one embodiment can be performed on a subset of pixels in a sensor array or imager. The determination as to whether the change in exposure gain is appropriate is based on, for example, the percentage of pixels that are saturated with light and selected with respect to the saturation threshold for one or more pixels. It is possible. The decision to set the gain or other parameter may be based on one or more discrete time intervals. Within this time interval, the output from a nominal number of selected pixels (eg, 11 according to one embodiment) reaches a certain saturation level (such as a reference level) or threshold. To do. In this way, exposure can continue until it is determined that the pixel output from the nominal number of pixels has reached a new saturation level, at which point the gain (or other parameter) is reached. ) Level can be changed. According to one embodiment, for example, exposure can continue until full saturation or maximum exposure time (T m ) is reached. Note that the determination of full saturation can vary depending on the level of various gains (or other parameters). For example, the saturation expected at
この発明のいくつかの実施例によると、1つ以上の間隔において、選択された画素(たとえば現在の例では640個)に対する総合的なグレースケールを測定することができる。この平均値を飽和しきい値と比較することができ、行なわれた利得の決定は、グレースケール測定値の平均およびそれに関連する飽和しきい値に関連付けられ得る。 According to some embodiments of the present invention, the overall gray scale for a selected pixel (eg, 640 in the current example) can be measured at one or more intervals. This average value can be compared to a saturation threshold, and the gain determination made can be related to the average of the grayscale measurements and the associated saturation threshold.
この発明のいくつかの実施例によると、信号飽和レベルは、低い画素電圧を表わす電圧飽和またはVsatとして規定され得、グラウンドと称される画素の飽和として規定され得る。画素のリセットレベルは、最高画素電圧を表わすVrstとして規定され得る。最後に、Vfsは、定められた間隔での実際の飽和または電圧レベルを表わすA/Dフルスケール電圧として規定され得る。したがって、Vsat=Vrst−Vsat=Vfsである。すなわち、画素の信号レベルは、画素のリセットレベルと瞬間的な画素電圧との差として規定され得、露出中に0から増大する正の電圧であり得る。この「デルタ電圧」は、たとえばT1/4におけるVfs/4等の比較器の基準電圧と比較され得る。 According to some embodiments of the present invention, the signal saturation level can be defined as voltage saturation representing low pixel voltage or Vsat, and can be defined as pixel saturation referred to as ground. The pixel reset level may be defined as Vrst representing the highest pixel voltage. Finally, Vfs can be defined as an A / D full-scale voltage that represents the actual saturation or voltage level at defined intervals. Therefore, Vsat = Vrst−Vsat = Vfs. That is, the pixel signal level can be defined as the difference between the pixel reset level and the instantaneous pixel voltage, and can be a positive voltage that increases from zero during exposure. This “delta voltage” can be compared to a reference voltage of a comparator such as, for example, Vfs / 4 at T1 / 4 .
次に図15を参照する。図15は、この発明の一実施例に従い、露出期間中に画素の出力(光飽和)対時間の関数として行なわれ得る利得設定の決定を示す。図15で認識できるように、用いられ得る3つの利得の設定値は、利得1、利得2、および利得4である。太い方の線161、163および165は、利得の限度またはしきい値を表わす。図15の設定値は、例示としてのみ提示されており、限定するように意図されていない。他の数の利得の設定値を使用してよい。
Reference is now made to FIG. FIG. 15 illustrates a gain setting determination that may be made as a function of pixel output (light saturation) versus time during an exposure period, according to one embodiment of the present invention. As can be seen in FIG. 15, the three gain settings that can be used are gain 1, gain 2, and gain 4. The
T1/4等の間隔において、選択された画素についての飽和しきい値(レベル)が測定され得る。飽和しきい値は、期待しきい値161に等しいか、それに満たないか、またはそれを上回ることが考えられる。画素の出力(選択された画素の平均飽和)が期待しきい値161を上回る「b」の場合、完全な露出がたとえばT1内に完了することが予測できる。したがって、利得または感度を上げる必要がなく、完全な飽和(Vfs)に到達する
まで露出を継続し、完全な飽和に到達した時点で露出を終了する。
At intervals such as T1 / 4 , the saturation threshold (level) for the selected pixel can be measured. It is conceivable that the saturation threshold is equal to, below, or above the expected
画素の出力が期待しきい値161に満たないものの、中間しきい値163を上回る「c」の場合、露出がT1内に完了しないことが予測できる。結果的に飽和を得ることができても、露出は必然的にT1よりも長くなり、これによってかすむ作用が生じ得る。したがって、利得レベルを利得1から利得2に上げるように撮像器に指令を与えることができる。したがって、飽和しきい値は、たとえば半分だけ減少させてVfs/2にすることができ、このVfs/2とたとえば利得2の増幅とにより、画像の完全な露出を提供することができる。次にこの露出を、飽和レベルVfs/2に到達するまで継続することができ、飽和レベルVfs/2に到達した時点で露出を終了することができる。Vfs/2は、この場合完全な飽和を表わす。なぜなら、利得レベル2が適用されたためである。他の利得レベルを使用してもよい。
If the output of the pixel is less than the expected
画素の出力が中間しきい値163に満たないものの、低い方のしきい値165を上回る「d」の場合、露出がT1内で完了しないことが予測できる。したがって、露出を継続することに加え、利得レベルをより一段と上げることが必要であると考えられる。利得レベルをたとえば利得4まで上げるように撮像器に指令を与えることができ、対応する飽和レベルVfs/4に到達するまで露出をその後継続することができ、対応する飽和レベルVfs/4に到達した時点で露出を終了することができる。
If the pixel output is less than the
画素の出力が低い方のしきい値164に満たない「a」の場合、露出がT1内に完了せず、またはTM内でも完了しないことが予測できる。したがって、たとえば利得レベルを利得4に上げることが必要であると考えられ、露出はT1まで継続し得る。この例では、完全な露出がT1においても達成され得ないため、露出をTMまで継続し、十分な露出が得られる可能性を高めることができる。TMはいずれの場合においても最大露出時間であり得る。 If the pixel output is “a”, which is less than the lower threshold 164, it can be predicted that the exposure will not be completed within T1, or even within T M. Thus, for example, it may be necessary to increase the gain level to gain 4, and exposure may continue until T1. In this example, since complete exposure cannot be achieved even at T1, the exposure can be continued up to T M to increase the possibility of obtaining sufficient exposure. T M can be the maximum exposure time in either case.
上の例において、および図15に関して認識できるように、完全な露出は4個のフレームのうち3個のフレームにおいて達成され、露出時間は同様に4個のフレームのうち3個のフレームにおいて短縮され、可能性として露出の鮮明度の著しい増大と、電源の使用の減少とを生じる。代替的な実施例において、他のレベルの変更または改良を生じてよい。 In the above example and as can be appreciated with respect to FIG. 15, full exposure is achieved in 3 of the 4 frames, and the exposure time is similarly reduced in 3 of the 4 frames. Potentially resulting in a significant increase in the sharpness of the exposure and a decrease in the use of the power supply. In alternative embodiments, other levels of changes or improvements may occur.
さらに別の測定の段階、たとえばT1/2およびT1/3等を設けることもできる。上述のシナリオにおける画素の露出もまた同様に、この第2の間隔で測定し、利得レベルの変更がさらに必要であるか否かを明らかにすることができる。 It is also possible to provide further measurement stages, such as T1 / 2 and T1 / 3 . The pixel exposure in the above scenario can also be measured at this second interval to reveal whether further gain level changes are needed.
一実施例において、最初の走査を利用して「ホワイトスポット」または「ホットスポット」を探すことができる。これらのスポットは、飽和に達した画素のグループにおいてカウントすることのできない、問題のある(品質不良のまたは機能しない)画像受信機である。したがって、この最初の走査は、選択された画素のグループから問題のある画素または機能しない画素を、検出、規定、および廃棄するように設計され得る。このような不良画素/機能しない画素の走査を用いなくてもよい。 In one embodiment, the first scan can be used to look for “white spots” or “hot spots”. These spots are problematic (poor quality or nonfunctional) image receivers that cannot be counted in groups of pixels that have reached saturation. Thus, this initial scan can be designed to detect, define, and discard problematic or non-functional pixels from a selected group of pixels. Such scanning of defective pixels / non-functioning pixels may not be used.
以下のものは、この発明の一実施例を実現するために使用することのできる「擬似コード」の非限定的な記述の一例である。この発明の他の実施例は、回路設計の使用等のコーディングを用いずに実施され得る。この発明のさまざまな実施例は、さまざまなコードシーケンスおよびプログラミングまたは論理設計技術を用いて実現され得る。 The following is an example of a non-limiting description of “pseudocode” that can be used to implement an embodiment of the present invention. Other embodiments of the invention can be implemented without coding such as using circuit design. Various embodiments of the invention may be implemented using various code sequences and programming or logic design techniques.
いくつかの場合において、このような自動的な利得制御が、或る特定の条件下で撮像器の信号対雑音比(S/N)の変化を生じ得ることに注目されたい。たとえば、CMOS画素アレイ撮像器において画素増幅器の利得を増大させることにより、より高いS/N比が生じ得、露出時間(Tm)を延長することによって画像の「かすみ」が増大し得る。 Note that in some cases, such automatic gain control can cause changes in the signal-to-noise ratio (S / N) of the imager under certain conditions. For example, increasing the gain of a pixel amplifier in a CMOS pixel array imager can result in a higher signal-to-noise ratio and increasing the “haze” of the image by extending the exposure time (Tm).
この発明のいくつかの実施例によると、上述のかつ図15に関連する原理をここでも同様に用いて、照明強度およびデューティサイクル等の他のパラメータまたはこのような他のパラメータの組合せに対してこの発明の実現例を説明することができる。たとえば、選択された段階におけるしきい値に応じて、光強度およびデューティサイクル等に関連する光飽和を求めるための方法に従うことができる。飽和レベルのこれらの計算により、このようなパラメータが所定のしきい値にあるか、所定のしきい値に満たないか、またはそれを上回るかを判断することができる。このような判断により、光の照明およびデューティサイクル等の変更に関する決定を行なって、当該フレームの露出の必要性を反映させることができる。 According to some embodiments of the invention, the principles described above and in connection with FIG. 15 are used here as well, for other parameters such as illumination intensity and duty cycle, or combinations of such other parameters. An implementation example of the present invention can be described. For example, depending on the threshold at a selected stage, a method for determining light saturation related to light intensity, duty cycle, etc. can be followed. These calculations of the saturation level can determine whether such a parameter is at a predetermined threshold, below a predetermined threshold, or above. With such a determination, it is possible to make a determination regarding changes in the illumination of light, duty cycle, etc., and reflect the necessity of exposure of the frame.
たとえば、コントローラまたは他の任意の素子は、1つ以上の光測定素子における光飽和レベルを測定することができ、結果的に得られた測定値に応答して、照明の持続時間、照明強度、および/または画像の利得レベルの少なくとも1つを同時に制御することができる。この発明の一実施例に従い、以下のまたは他の公算を用いて照明(露出)をたとえば8倍増大することができる。 For example, a controller or any other element can measure the light saturation level at one or more light measurement elements, and in response to the resulting measurements, the duration of illumination, illumination intensity, And / or at least one of the gain levels of the image can be controlled simultaneously. According to one embodiment of the present invention, the illumination (exposure) can be increased by a factor of eight, for example, using the following or other probabilities.
上述のまたは代替的な照明の目標値を実現するのに必要とされ得る他の任意のパラメータの組合せを使用してよい。加えて、他の任意の適切なパラメータを個々にまたは任意の組合せで上述の実施例に組込んで、生体内撮像装置により高精度の露出を行なわせることができる。 Any other combination of parameters that may be needed to achieve the above or alternative lighting target values may be used. In addition, any other suitable parameters can be incorporated into the above-described embodiments individually or in any combination to allow high precision exposure by the in-vivo imaging device.
この発明のいくつかの実施例に従い、生体内装置、たとえば生体内撮像カプセルの場所または位置を求めるための方法が提供される。たとえば、生体内装置が体内にいつ進入したか、または体内の特定領域内にいつ進入したか等を判断するための方法が提供される。この判断は、たとえば、生体内カプセルが「高速モード」「低速モード」「標準モード」等の動作モードに入るべきか、またはそこから出るべきかの決定を行なうために用いることができる。たとえば高速モードにより、撮像装置はより高いフレーム速度を達成することができ、このより高いフレーム速度は、撮像カプセルを嚥下した後に食道の高速撮像を可能にする点で特に有用であると考えられる。しかしながら、このような高速撮像は、装置がたとえば小腸内にあるときには必要とされず、したがって、この装置は、装置が内部移行した後の一定期間後に「標準モード」に切換わるようにプログラムされ得る。他の動作モードの変更を行なってよい。したがって、たとえば、撮像装置は食道を下降する際に「高速モード」で圧縮データを送信し、その後、このような高速フレーム速度が必要とされない場合に、より低いフレーム速度において通常の非圧縮モードで作動することができる。 In accordance with some embodiments of the present invention, a method is provided for determining the location or position of an in-vivo device, such as an in-vivo imaging capsule. For example, a method is provided for determining when an in-vivo device has entered the body, when it has entered a specific region within the body, or the like. This determination can be used, for example, to determine whether the in vivo capsule should enter or exit an operating mode such as “high speed mode”, “low speed mode”, or “standard mode”. For example, the high speed mode allows the imaging device to achieve a higher frame rate, which is believed to be particularly useful in that it allows high speed imaging of the esophagus after swallowing the imaging capsule. However, such high speed imaging is not required when the device is, for example, in the small intestine, and therefore the device can be programmed to switch to “standard mode” after a period of time after the device is internalized. . Other operating mode changes may be made. Thus, for example, an imaging device transmits compressed data in “fast mode” when descending the esophagus and then in normal uncompressed mode at a lower frame rate if such a fast frame rate is not required. Can be operated.
この発明の一実施例において、このことは、装置を取巻く環境に著しい変化が認められたときに、高速モード等のモードを終了に設定することによって行なわれ得る。このことは、撮像装置の内側または外側に環境監視ツール、たとえばpH表示器、温度ゲージ、または光レベル表示器等を設けて、環境データを測定または算出することによって行なわれ得る。監視または測定ツールは、測定されたデータと、以前に測定された環境データとを比較して、環境の変化を求めることができる。たとえばカプセルの環境が或る一定のpHレベル未満に下がったとき、このpHレベルの変化は、撮像装置が食道を通過して胃に進入したことを示し得る。さまざまな環境の変化は、使用される測定ツール、たとえば体外、体内、口腔内、咽頭内、食道内、胃内、小腸内等で使用される測定ツールに依存して、求められ得る。 In one embodiment of the invention, this can be done by setting a mode, such as high speed mode, to end when a significant change in the environment surrounding the device is observed. This can be done by providing environmental monitoring tools, such as a pH indicator, temperature gauge, or light level indicator, inside or outside the imaging device to measure or calculate environmental data. A monitoring or measuring tool can compare the measured data with previously measured environmental data to determine environmental changes. For example, when the capsule environment drops below a certain pH level, this change in pH level may indicate that the imaging device has entered the stomach through the esophagus. Various environmental changes may be sought, depending on the measurement tool used, eg, the measurement tool used outside the body, in the body, in the oral cavity, in the pharynx, in the esophagus, in the stomach, in the small intestine, etc.
他の実施例において、高速モード等のモードは、変化が検出された後の一定量の時間、たとえば5分後に終了するように設定され得る。変更は、たとえば、カプセルが口腔等の暗い環境内に進入したことであり得る。たとえばコントローラは、256個のフレームごとに1フレーム等の定められたフレーム間隔で「暗いフレーム」を提供するように光源を設定することができる。暗いフレーム中に、LEDまたは他の照明源は、短い時間にわたって点灯してもよく、または点灯しなくてもよいが、機能し得る露出を画像に提供するには実質的に不適切である。たとえば、生体内撮像装置は、内腔を適切に照明するために一定の照明強度で25msの露出を必要とし得るが、たとえば5msの不適切な露出をあえて行なう。この装置は定期的に「暗い」フレームを処理することができ、この暗いフレー
ムを分析して、装置の環境内に周辺光が存在するか否かを判断することができる。周辺光がしきい値レベルを上回り、かなりの量の周囲光が存在すること、および飽和を得るために画像に対してそれほど多くの量の光がさらに必要とされないことが示される場合、カプセルはまだ体内に進入しておらず、かつ、高速モードを継続すべきであることが想定され得る。暗いフレーム中の周辺光がしきい値レベルに満たず、飽和を得るために画像がかなりの量の光をさらに必要としていることが示される場合、カプセルが体内等のより暗い環境に進入したことが想定され得る。この場合、予め定められた期間たとえば5分後に高速モードがもはや必要ではなくなることが想定され得る。この予め定められた時間内に、カプセルが食道を通過することが想定され得る。
In other examples, a mode such as fast mode may be set to end after a certain amount of time after a change is detected, eg, 5 minutes. The change may be, for example, that the capsule has entered a dark environment such as the oral cavity. For example, the controller can set the light source to provide “dark frames” at a defined frame interval, such as one frame every 256 frames. During a dark frame, an LED or other illumination source may or may not light for a short time, but is substantially unsuitable for providing a functional exposure to the image. For example, an in-vivo imaging device may require an exposure of 25 ms at a constant illumination intensity to properly illuminate the lumen, but dares to perform an inappropriate exposure of 5 ms, for example. The device can periodically process “dark” frames, which can be analyzed to determine whether ambient light is present in the environment of the device. If the ambient light is above the threshold level, indicating that there is a significant amount of ambient light and that the image does not require much more light to obtain saturation, the capsule It can be assumed that the patient has not yet entered the body and should continue in high speed mode. The capsule has entered a darker environment, such as the body, when the ambient light in a dark frame is below the threshold level, indicating that the image needs a significant amount of light to achieve saturation Can be assumed. In this case, it can be assumed that the fast mode is no longer necessary after a predetermined period, for example 5 minutes. It can be assumed that the capsule passes through the esophagus within this predetermined time.
いくつかの実施例に従い、暗いフレームについての光飽和しきい値に関して暗いフレームの露出を測定し、撮像器の利得レベルに変更が必要であるかおよび/または撮像器の利得レベルにどの程度の変更が必要であるかを判断することができる。暗いフレームが実質的に非最大の利得係数を必要とし、画像が相対的に適切な量の光を有しておりかつ完全な露出に到達するために相対的にわずかな利得レベルのみが必要とされ得ることが示される場合、この装置は体外にあるものと規定され得る。暗いフレームが大きな利得係数または最大利得係数を必要とし、完全な飽和に到達し得るためにかなりの利得が必要とされることが示される場合、この装置は体内にあるものと規定され得る。 According to some embodiments, the exposure of the dark frame is measured with respect to the light saturation threshold for the dark frame, and a change in the gain level of the imager is required and / or how much the gain level of the imager is changed Can be determined. A dark frame requires a substantially non-maximum gain factor, and the image has a relatively adequate amount of light and only requires a relatively small gain level to reach full exposure. If indicated that this can be done, the device may be defined as being external. If a dark frame requires a large gain factor or maximum gain factor and is shown to require significant gain to be able to reach full saturation, the device can be defined as being in the body.
図16Aは、この発明の一実施例に従った、露出期間中に必要な画像の利得レベルを決定するための方法の一連のステップを示す。代替的な実施例において、他のステップおよび他の一連のステップを使用してよい。 FIG. 16A illustrates a series of steps of a method for determining the required image gain level during an exposure period according to one embodiment of the present invention. In alternative embodiments, other steps and other series of steps may be used.
ステップ500において、生体内撮像装置等の装置は、光源をオンにする。
In
短いサンプリング期間であることが考えられるステップ510において、装置は、少なくとも1つの光測定素子に受取られた光の量を記録(および可能性として積分)する。このことはたとえば、装置上のセンサ、または可能性として外部センサに対するものと考えられる。 In step 510, which may be a short sampling period, the apparatus records (and possibly integrates) the amount of light received by the at least one light measuring element. This could be for example for a sensor on the device or possibly an external sensor.
ステップ520において、装置は記録された光の量を求める。
In
ステップ530において、たとえばフレームの画素の一部により記録された光の量が、予め定められた或る一定の値(飽和しきい値)に満たない場合。
In
ステップ540において、画像の利得レベルを増大させることができ、560で飽和に到達するまで装置は露出(または他のパラメータたとえば光レベル等)を継続することができる。この場合、ステップ520は、それ以降の時間間隔で繰返され得る。
In
記録された光の量が或る一定の値(しきい値)よりも大きい場合、ステップ550において画像の利得レベルを下げることができる。ステップ520は、それ以降の時刻に繰返され得る。完全な飽和において、560で露出を終了することができる。
If the amount of recorded light is greater than a certain value (threshold), the gain level of the image can be lowered at
記録された光の量が予め定められた飽和しきい値に実質的に等しい(このようなしきい値に値が近接しており、それによって露光量が十分であると考えられ得る)場合、現時点での利得レベルまたは光レベル等を維持することができ、完全な飽和が生じると、または最大露出時間(TM)に到達するまでに、これらのうちのいずれが先に生じるかに関係なく露出を終了することができる。次にこのプロセスは、以降のフレームにわたって570において繰返され得る。 If the amount of light recorded is substantially equal to a predetermined saturation threshold (the value is close to such a threshold, so that the exposure can be considered sufficient), the current Such as gain level or light level at the same time, and when full saturation occurs or the maximum exposure time (T M ) is reached regardless of which of these occurs first Can be terminated. This process may then be repeated at 570 over subsequent frames.
ステップ570において、上述のプロセスがステップ500から繰返される。なぜなら、装置は一連の撮像期間にわたって作動し得るためである。しかしながら、この方法は繰返されなくてもよい。
In
一実施例によると、ステップ500から520は、環境監視ツールからのデータを分析して、1つ以上の特定のデータ測定値、たとえばpHレベル、温度レベル等が特定の測定値に対するしきい値を上回るか、それに満たないか、もしくは等しいか、または、以前の1つ以上の測定値を上回るか、それに満たないか、もしくは等しいか、を判断するステップにより、補足または置換され得る。このような比較の結果を用いて、環境の変化が生じたか否か、および適切な利得レベルの変化が妥当であるか否かを判断することができる。たとえば生体内カプセルは、環境内の異なる局面を測定するための複数の測定ツールを担持するように適合され得る。これらの測定ツールは、光レベル表示器およびpH表示器を含む。カプセルは、フレームA内において、上述の2つの表示器を用いてレベルiおよびiiを測定することができる。第2のフレームB内において、たとえば、両方のパラメータiおよびiiがフレーム1内でのそれらの測定値から実質的に変化したことを判断することができる。光レベル表示器が環境の暗さを反映し、かつ、pH表示器がより高い酸性度を示す場合、カプセルが体内に(より暗い環境内に)進入し、かつ、胃に進入した(酸性度の上昇)と判断することができる。
According to one embodiment, steps 500 through 520 analyze the data from the environmental monitoring tool so that one or more specific data measurements, eg, pH level, temperature level, etc., determine a threshold for the specific measurement. It can be supplemented or replaced by determining whether it is above, below or equal to, or above, below, or equal to one or more previous measurements. The result of such a comparison can be used to determine whether an environmental change has occurred and whether an appropriate gain level change is appropriate. For example, an in vivo capsule can be adapted to carry a plurality of measurement tools for measuring different aspects in the environment. These measurement tools include a light level indicator and a pH indicator. The capsule can measure levels i and ii in frame A using the two indicators described above. In the second frame B, for example, it can be determined that both parameters i and ii have changed substantially from their measurements in
図16Bは、この発明の一実施例に従った、生体内装置が異なる照明を有する領域にいつ進入したのかを判定するための方法の一連のステップを示す。代替的な実施例において、他のステップおよび他の一連のステップを使用してよい。 FIG. 16B illustrates a series of steps of a method for determining when an in-vivo device has entered an area having different illumination, according to one embodiment of the present invention. In alternative embodiments, other steps and other series of steps may be used.
ステップ600において、生体内撮像装置等の装置は光源をオンにする(作動させる)。
In
ステップ610において、装置は、光測定素子に受取られた光の量を記録(および可能性として積分)する。このことはたとえば、撮像器の一部、装置上のセンサ、または可能性として外部センサに対するものであると考えられる。
In
ステップ620において、装置は、記録された光の量を求める。さらにこの装置は、飽和しきい値または他の任意のしきい値に関して記録されたこの光の量を計算し、記録された光の量に基づいてこの装置の考えられる位置を求めることができる。たとえば、第1のフレーム内で記録された光が、このフレームのうちのたとえば15画素の飽和しきい値を上回っている場合、このことは、飽和が容易に得られたことを示し、この装置は体外(明るい環境)にあるものと想定される。第2のフレーム内で記録された光が、そのフレームのうちのたとえば15画素の、同じ飽和しきい値に満たない場合、このことは、飽和に到達しなかったことを示し、この装置は体内(暗い環境)にあるものと想定される。
In
ステップ630において、しきい値に関して記録された光の量に依存して、装置の動作モードを変更するための決定が行なわれ得る。
At
ステップ640において、たとえば、記録された光の量が或る一定の値(しきい値)に満たず、この装置がより暗い領域内に位置することが示される場合、この装置は640において動作モードを変更し、このより暗い環境を反映させることができる。たとえば、この装置は、体内に進入後、10分間という期間にわたって高速モードで作動し始め、食道の領域の高速撮像を可能にするように設定され得る。装置が体内に進入したと判断された後に、タイマを始動させることができ、それにより、この装置は10分後に、残りの過程にわたって低速モードに変化する。
In
ステップ650において、たとえば記録された光の量が或る一定の値(しきい値)よりも大きく、装置がより明るい領域に位置していることが示される場合、この装置は650において動作モードを変更し、このより明るい環境を反映させることができる。
If in
図16Cは、この発明の一実施例に従った、生体内装置の位置を求めるための方法の一連のステップを示す。代替的な実施例において、他のステップ、および他の一連のステップを使用してよい。 FIG. 16C illustrates a series of steps of a method for determining the position of an in-vivo device according to one embodiment of the present invention. In alternative embodiments, other steps and other series of steps may be used.
ステップ700において、生体内撮像装置等の装置は、たとえばpHレベルセンサおよび光検出メータ等の少なくとも1つの環境測定装置を作動させる。
In
ステップ710において、この装置は、測定装置に受取られたpHレベル等の測定値を記録する。この測定装置は、たとえば装置上のセンサまたは装置内のセンサ、および/または外部センサであり得る。
In
ステップ720において、装置は、記録された測定値の量および/または質を判定する。
In
ステップ730において、装置は、しきい値または以前の測定値等と比較された、記録された測定データに基づき、体内の位置を求めることができる。たとえば、第1のフレーム内のpHレベルがpHスケール上のたとえば7という飽和しきい値を上回る場合、このことは、この装置が非酸性の環境内に存在すること、および咽頭領域(酸性−中性環境)内に存在するものと想定され得ることを示し得る。第2のフレーム内で記録されたpHレベルがpHスケール上のたとえば7という同じしきい値に満たない場合、このことは、この装置がより酸性の環境内に存在すること、および、記録されたpHレベルに依存して胃または小腸の領域内に存在すると想定され得ることを示す。
In
ステップ740において、しきい値または代替的な値に対する、記録された測定データに依存して、装置の動作モードを変更するための決定が行なわれ得る。
At
ステップ750において、たとえば測定データの量および/または質が或る一定の値(しきい値または他の値)を上回るか、またはそれに満たず、この装置が異なる領域内に位置していることが示される(または検証される)場合、この装置は動作モードを変更してこの新規の環境を反映することができる。 In step 750, for example, the amount and / or quality of the measurement data is above or below a certain value (threshold or other value) and the device is located in a different region. If shown (or verified), the device can change its operating mode to reflect this new environment.
上述のプロセスの結果を用いて、さまざまな任意の監視および/または測定ツールからの結果に基づき、環境状態が実質的に変化したか否かを判断することができる。「実質的に」または「著しく」と規定されなければならない変更が、場合ごとにまたは1回の製造ごとに決定され得る。 The results of the above process can be used to determine whether the environmental conditions have changed substantially based on results from a variety of optional monitoring and / or measurement tools. Changes that must be defined as “substantially” or “significantly” can be determined on a case-by-case basis or on a production basis.
一般に、この明細書で論じられるさまざまな実施例は、装置30(図2)等の装置で実現され得る。しかしながら、このような実施例は、構造が異なるさまざまな撮像装置または検知装置で実現されてよい。以下のものに限定されないが、処理、監視、測定、分析、規定、追跡、比較、計算、指令、露出の停止、利得の増大、利得の減少、露出の増大、露出の減少、モード変更等を含む上述のさまざまな機能およびプロセスは、プロセッサユニット(図2の36等)によって実行され得る。これらの機能またはプロセスは、プロセッサ装置36単独で、または照明制御装置40、遠隔測定装置34、光検知装置42、撮像装置32等の代替的な装置か、またはこれらの装置の任意の組合せによって、追加的におよび/または代替的に実施され得る。ここに記載した方法およびプロセスはまた、他の構造および他の構成要素を有する他の検知装置で実現することができる。代替的に、提示さ
れるさまざまな方法に関わる分析または制御の一部またはすべてを外部のワークステーションまたは処理装置で実施することができる。
In general, the various embodiments discussed in this specification may be implemented in a device such as device 30 (FIG. 2). However, such an embodiment may be realized by various imaging devices or detection devices having different structures. Processing, monitoring, measurement, analysis, definition, tracking, comparison, calculation, command, stop exposure, increase gain, decrease gain, increase exposure, decrease exposure, mode change, etc. The various functions and processes described above may be performed by a processor unit (such as 36 in FIG. 2). These functions or processes may be performed by the
限定された数の実施例に関してこの発明を説明してきたが、この発明の多くの変更、変形、組合せ、および他の適用を行なってよいこと、ならびに、それらがこの発明の精神および範囲内に入ることを当業者は認識するであろう。 Although the invention has been described with respect to a limited number of embodiments, many modifications, variations, combinations, and other applications of the invention may be made and are within the spirit and scope of the invention. Those skilled in the art will recognize that.
Claims (80)
少なくとも1つの光源と、
少なくとも1つの撮像器と、
少なくとも1つのコントローラとを備え、コントローラは、撮像期間中に、光源を作動させ、撮像装置に反射された光の量を記録し、そして撮像器の画像の利得レベルを制御するように構成される、生体内撮像装置。 An in-vivo imaging device,
At least one light source;
At least one imager;
At least one controller, wherein the controller is configured to activate the light source, record the amount of light reflected by the imaging device, and control the gain level of the image of the imager during the imaging period In vivo imaging device.
少なくとも1つの光源と、
少なくとも1つの光測定素子と、
少なくとも1つの撮像器と、
少なくとも1つのコントローラとを備え、コントローラは、撮像期間中に、光源を作動させ、光測定素子に反射された光の量を記録し、そして撮像器の画像の利得レベルを制御するように構成される、生体内撮像装置。 An in-vivo imaging device,
At least one light source;
At least one light measuring element;
At least one imager;
At least one controller, wherein the controller is configured to activate the light source, record the amount of light reflected by the light measurement element, and control the gain level of the image of the imager during the imaging period. In vivo imaging device.
装置に照明を提供するための少なくとも1つの照明手段と、
装置に対する画像を記録するための少なくとも1つの撮像器手段と、
撮像器の画像の利得レベルを制御するための少なくとも1つのコントローラ手段とを備える、生体内撮像装置。 An in-vivo imaging device,
At least one illumination means for providing illumination to the device;
At least one imager means for recording an image for the device;
In-vivo imaging device comprising at least one controller means for controlling the gain level of the image of the imager.
撮像期間中に、少なくとも1つの光源を作動させるステップと、
サンプリングの段階において、少なくとも1つの光測定素子に反射された光の量を記録するステップと、
前記撮像期間内の少なくとも1つのサンプリングの段階において記録された光の量と、定められた光飽和しきい値とを比較するステップと、
前記記録された光の量と前記光飽和しきい値との差に関して撮像装置の利得係数を制御するステップとを含む、方法。 A method for operating an in-vivo imaging device including at least one light source comprising:
Activating at least one light source during an imaging period;
Recording the amount of light reflected by the at least one light measuring element in the sampling phase;
Comparing the amount of light recorded in at least one sampling stage within the imaging period with a predetermined light saturation threshold;
Controlling the gain factor of the imaging device with respect to the difference between the recorded amount of light and the light saturation threshold.
記録された光の量と定められた光飽和しきい値とを比較するステップと、
前記第2の選択された間隔において、前記記録された光の量と前記光飽和しきい値との
差に関して撮像装置の利得係数を制御するステップとを含む、請求項18に記載の方法。 At least in the second sampling stage,
Comparing the amount of recorded light with a defined light saturation threshold;
The method of claim 18, comprising controlling a gain factor of an imaging device with respect to a difference between the amount of recorded light and the light saturation threshold at the second selected interval.
撮像期間中に、少なくとも1つの光源を作動させるステップと、
サンプリングの段階において、少なくとも1つの光測定素子に反射された光の量を記録するステップと、
前記撮像期間内における少なくとも1つのサンプリングの段階において記録された光の量と、定められた光飽和しきい値とを比較するステップと、
前記記録された光の量と前記光飽和しきい値との差に関し、前記光源の強度の制御、光
源の動作の持続時間の制御、および撮像装置の利得係数の制御からなる群から選択される少なくとも1つの機能を制御するステップとを含む、方法。 A method for operating a biological imaging device including at least one light source comprising:
Activating at least one light source during an imaging period;
Recording the amount of light reflected by the at least one light measuring element in the sampling phase;
Comparing the amount of light recorded in at least one sampling stage within the imaging period with a predetermined light saturation threshold;
The difference between the amount of recorded light and the light saturation threshold is selected from the group consisting of controlling the intensity of the light source, controlling the duration of operation of the light source, and controlling the gain factor of the imaging device. Controlling at least one function.
少なくとも1つの光源と、
少なくとも1つの撮像器と、
少なくとも1つのコントローラとを備え、コントローラは、前記撮像器内で問題のある画素を検出し、そして前記問題のある画素を機能しないものとして規定するように構成される、生体内撮像装置。 An in-vivo imaging device,
At least one light source;
At least one imager;
An in-vivo imaging device comprising: at least one controller, wherein the controller is configured to detect problematic pixels in the imager and to define the problematic pixels as non-functional.
少なくとも1つの光源と、
機能する画素の飽和に一般に必要とされる持続時間よりも短い持続時間の露出を行なうように構成される少なくとも1つの撮像器と、
コントローラとを備え、コントローラは、前記短い持続時間に基づいて、前記撮像器内で問題のある画素を検出し、そして前記問題のある画素を機能しないものとして規定するように構成される、生体内撮像装置。 An in-vivo imaging device,
At least one light source;
At least one imager configured to provide a shorter duration exposure than is typically required for functional pixel saturation;
A controller, wherein the controller is configured to detect a problematic pixel in the imager based on the short duration and to define the problematic pixel as non-functional Imaging device.
装置に照明を提供するための少なくとも1つの照明素子と、
装置に対する画像を記録するための少なくとも1つの撮像器素子と、
撮像器内で問題のある画素を検出し、そして問題のある画素を機能しないものとして規定するための少なくとも1つのコントローラ素子とを備える、生体内撮像装置。 An in-vivo imaging device,
At least one lighting element for providing illumination to the device;
At least one imager element for recording an image for the device;
An in-vivo imaging device comprising: at least one controller element for detecting problematic pixels in the imager and defining the problematic pixels as non-functional.
少なくとも1つの機能する画素の一般的な飽和に必要とされる持続時間よりも短い持続時間の露出を開始するステップと、
しきい飽和レベルを上回る飽和レベルを反映する少なくとも1つの画素を検出するステップと、
前記しきい飽和レベルを上回る飽和レベルを反映する前記少なくとも1つの画素を機能しないものとして規定するステップとを含む、方法。 A method for detecting problematic pixels in an imaging device,
Initiating exposure for a duration shorter than that required for general saturation of at least one functional pixel;
Detecting at least one pixel reflecting a saturation level above a threshold saturation level;
Defining the at least one pixel reflecting a saturation level above the threshold saturation level as non-functional.
機能する画素の飽和に必要とされる持続時間よりも短い持続時間の露出を開始するステップと、
しきい飽和レベルを上回る飽和レベルを反映する少なくとも1つの画素を検出するステップと、
前記しきい飽和レベルを上回る飽和レベルを反映する前記少なくとも1つの画素を機能しないものとして規定するステップと、
今後行なわれる飽和レベル決定プロセスから前記機能しない画素を除外するステップとを含む、方法。 A method for detecting problematic pixels in an imaging device,
Initiating a shorter duration exposure than that required for functioning pixel saturation; and
Detecting at least one pixel reflecting a saturation level above a threshold saturation level;
Defining the at least one pixel reflecting a saturation level above the threshold saturation level as non-functional;
Excluding said non-functional pixel from a saturation level determination process to be performed in the future.
少なくとも1つの光源と、
少なくとも1つの撮像器と、
少なくとも1つのコントローラとを備え、コントローラは、光源を作動させて定められたフレーム間隔で暗いフレームを提供するように、そして前記暗いフレーム中に撮像器に反射された光の量を記録するように適合される、生体内撮像装置。 An in-vivo imaging device,
At least one light source;
At least one imager;
At least one controller, wherein the controller activates the light source to provide a dark frame at a defined frame interval and to record the amount of light reflected to the imager during the dark frame. In-vivo imaging device adapted.
少なくとも1つの光源と、
少なくとも1つの撮像器と、
少なくとも1つのコントローラとを備え、コントローラは、光源を作動させて定められたフレーム間隔で暗いフレームを提供するように、そして前記暗いフレーム中に撮像器に反射された光の量を記録するように、そして前記記録された光の量に関して撮像装置の動作モードを変更するように適合される、生体内撮像装置。 An in-vivo imaging device,
At least one light source;
At least one imager;
At least one controller, wherein the controller activates the light source to provide a dark frame at a defined frame interval and to record the amount of light reflected to the imager during the dark frame. And an in-vivo imaging device adapted to change an operating mode of the imaging device with respect to the amount of recorded light.
装置に照明を提供するための少なくとも1つの照明手段と、
装置に対する画像を記録するための少なくとも1つの撮像器手段と、
照明手段を作動させて定められたフレーム間隔で暗いフレームを提供し、前記暗いフレーム中に撮像器手段に反射された光の量を記録し、そしてさらに、前記暗いフレーム中に撮像器手段に反射された前記光の量に応じて装置の位置を求めるための少なくとも1つのコントローラ手段とを備える、生体内撮像装置。 An in-vivo imaging device,
At least one illumination means for providing illumination to the device;
At least one imager means for recording an image for the device;
Activating the illumination means to provide a dark frame at defined frame intervals, recording the amount of light reflected to the imager means during the dark frame, and further reflecting to the imager means during the dark frame An in-vivo imaging device comprising: at least one controller means for determining the position of the device in accordance with the amount of light emitted.
装置撮像器装置において選択されたフレーム間隔で暗いフレームを構成するステップと、
前記暗いフレームの各々において、少なくとも1つの光源により、実質的に不適切な露出を行なうステップと、
前記暗いフレームの間に反射された画像の露出を、光飽和しきい値の関数として測定するステップと、
前記暗いフレームが、飽和に達するために実質的に少ない量の光を必要とするときに、装置が体外にあると規定するステップとを含む、方法。 A method for determining when an in-vivo device has entered the body,
Configuring dark frames at selected frame intervals in the device imager device;
Performing a substantially inappropriate exposure with at least one light source in each of the dark frames;
Measuring exposure of the image reflected during the dark frame as a function of light saturation threshold;
Defining the device as outside the body when the dark frame requires a substantially small amount of light to reach saturation.
装置撮像器装置において選択されたフレーム間隔で暗いフレームを構成するステップと、
前記暗いフレームの各々において、少なくとも1つの光源により実質的に不適切な露出を行なうステップと、
前記暗いフレームの間に反射された画像の露出を、光飽和しきい値の関数として測定するステップと、
前記暗いフレームが、飽和に達するのに実質的に大量の光を必要とするときに、装置が体内にあると規定するステップと、
装置が体内にあると規定された後に、定められた時間間隔で装置の動作モードを変更するステップとを含む、方法。 A method for determining when an in-vivo device has entered the body,
Configuring dark frames at selected frame intervals in the device imager device;
Performing a substantially inappropriate exposure with at least one light source in each of the dark frames;
Measuring exposure of the image reflected during the dark frame as a function of light saturation threshold;
Defining that the device is in the body when the dark frame requires a substantial amount of light to reach saturation;
Changing the mode of operation of the device at defined time intervals after the device is defined to be in the body.
少なくとも1つの光源と、
少なくとも1つの撮像器と、
少なくとも1つの環境測定ツールと、
光源、撮像器、および監視ツールを作動させることができ、それにより、測定ツールが少なくとも1つの環境パラメータを測定する際に、前記少なくとも1つの環境パラメータに基づき、コントローラが装置の位置を規定できるようにする、少なくとも1つのコントローラとを備える、生体内撮像装置。 An in-vivo imaging device,
At least one light source;
At least one imager;
At least one environmental measurement tool;
A light source, an imager, and a monitoring tool can be activated so that when the measurement tool measures at least one environmental parameter, the controller can define the position of the device based on the at least one environmental parameter An in-vivo imaging device comprising at least one controller.
少なくとも1つの光源と、
少なくとも1つの撮像器と、
少なくとも1つの環境測定ツールと、
前記測定ツールにより測定された少なくとも1つの環境パラメータに基づいて装置の位置を規定し、そして前記規定された位置に応じて装置の動作モードを変更することのできるコントローラとを備える、生体内撮像装置。 An in-vivo imaging device,
At least one light source;
At least one imager;
At least one environmental measurement tool;
An in-vivo imaging device comprising: a controller capable of defining a position of the apparatus based on at least one environmental parameter measured by the measurement tool and changing an operation mode of the apparatus according to the defined position .
装置に照明を提供するための少なくとも1つの照明手段と、
装置に対する画像を記録するための少なくとも1つの撮像器手段と、
少なくとも1つの環境パラメータを測定するための環境測定手段と、
照明手段、撮像器手段、および測定手段を作動させるための少なくとも1つのコントローラ手段とを備える、生体内撮像装置。 An in-vivo imaging device,
At least one illumination means for providing illumination to the device;
At least one imager means for recording an image for the device;
An environmental measuring means for measuring at least one environmental parameter;
An in-vivo imaging device comprising: illumination means, imager means, and at least one controller means for operating the measurement means.
少なくとも1つの測定ツールを用いて、装置を取巻く環境内の少なくとも1つの環境パラメータを測定するステップと、
前記少なくとも1つの環境パラメータの変化を求めるステップと、
前記環境の変化に基づき、装置が新規の位置に存在することを判断するステップとを含む、方法。 A method for determining the position of an in-vivo device comprising:
Measuring at least one environmental parameter in the environment surrounding the device using at least one measurement tool;
Determining a change in the at least one environmental parameter;
Determining that the device is in a new location based on the change in environment.
少なくとも1つの測定ツールを用いて、装置を取巻く環境内の少なくとも1つの環境パラメータを測定するステップと、
前記少なくとも1つの環境パラメータの変化を求めるステップと、
前記環境の変化に基づき、装置が新規の位置に存在することを判断するステップと、
装置が新規の位置に存在するものと規定された後に、定められた時間間隔で装置の動作モードを変更するステップとを含む、方法。 A method for determining the position of an in-vivo device comprising:
Measuring at least one environmental parameter in the environment surrounding the device using at least one measurement tool;
Determining a change in the at least one environmental parameter;
Determining that the device is in a new location based on the environmental change;
Changing the mode of operation of the device at defined time intervals after the device is defined to be in a new location.
装置を取巻く少なくとも1つの環境内の少なくとも1つの環境パラメータを測定するステップと、
環境の変化が求められたときに、装置の動作モードを変更するステップとを含む、方法。 A method for changing an operating mode of an in-vivo device comprising:
Measuring at least one environmental parameter within at least one environment surrounding the device;
Changing the mode of operation of the device when an environmental change is sought.
少なくとも1つの環境測定ツールを用いて、装置を取巻く少なくとも1つの環境内の少なくとも1つの環境パラメータを測定するステップと、
環境の変化が求められたときに、装置の動作モードを変更するステップとを含む、方法。 A method for changing an operating mode of an in-vivo device comprising:
Measuring at least one environmental parameter within at least one environment surrounding the device using at least one environmental measurement tool;
Changing the mode of operation of the device when an environmental change is sought.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IL155046A IL155046A (en) | 2003-03-23 | 2003-03-23 | In-vivo imaging device capable of defining its location |
PCT/IL2004/000265 WO2004082472A1 (en) | 2003-03-23 | 2004-03-23 | Apparatus and method for light control in an in-vivo imaging device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006524097A true JP2006524097A (en) | 2006-10-26 |
Family
ID=32587515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006507587A Pending JP2006524097A (en) | 2003-03-23 | 2004-03-23 | Apparatus and method for controlling light in an in vivo imaging device |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP1610669A4 (en) |
JP (1) | JP2006524097A (en) |
AU (1) | AU2004222472B2 (en) |
IL (1) | IL155046A (en) |
WO (1) | WO2004082472A1 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009034291A (en) * | 2007-08-01 | 2009-02-19 | Hoya Corp | Capsule endoscope |
WO2010143692A1 (en) | 2009-06-10 | 2010-12-16 | オリンパスメディカルシステムズ株式会社 | Capsule type endoscope device |
US8018485B2 (en) | 2008-10-17 | 2011-09-13 | Olympus Corporation | Imaging device |
WO2012098791A1 (en) * | 2011-01-20 | 2012-07-26 | オリンパスメディカルシステムズ株式会社 | Capsule endoscope |
JP5315237B2 (en) * | 2007-05-22 | 2013-10-16 | オリンパス株式会社 | Capsule type medical device and capsule type medical system |
US9588046B2 (en) | 2011-09-07 | 2017-03-07 | Olympus Corporation | Fluorescence observation apparatus |
JPWO2016084500A1 (en) * | 2014-11-28 | 2017-04-27 | オリンパス株式会社 | Capsule endoscope, capsule endoscope activation system, and inspection system |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL173696A (en) | 2000-03-08 | 2010-11-30 | Given Imaging Ltd | Device and system for in vivo imaging |
US9113846B2 (en) | 2001-07-26 | 2015-08-25 | Given Imaging Ltd. | In-vivo imaging device providing data compression |
US9149175B2 (en) | 2001-07-26 | 2015-10-06 | Given Imaging Ltd. | Apparatus and method for light control in an in-vivo imaging device |
US20060184039A1 (en) | 2001-07-26 | 2006-08-17 | Dov Avni | Apparatus and method for light control in an in-vivo imaging device |
US20060155174A1 (en) | 2002-12-16 | 2006-07-13 | Arkady Glukhovsky | Device, system and method for selective activation of in vivo sensors |
US8206285B2 (en) | 2003-12-31 | 2012-06-26 | Given Imaging Ltd. | Apparatus, system and method to indicate in-vivo device location |
JP4555604B2 (en) * | 2004-05-10 | 2010-10-06 | オリンパス株式会社 | Capsule endoscope and capsule endoscope system |
US7605852B2 (en) | 2004-05-17 | 2009-10-20 | Micron Technology, Inc. | Real-time exposure control for automatic light control |
JP4772357B2 (en) | 2005-03-31 | 2011-09-14 | オリンパスメディカルシステムズ株式会社 | Light source device and imaging device |
JP4855771B2 (en) | 2005-12-20 | 2012-01-18 | オリンパスメディカルシステムズ株式会社 | In-vivo image capturing apparatus and in-vivo image capturing system |
US8514278B2 (en) * | 2006-12-29 | 2013-08-20 | Ge Inspection Technologies Lp | Inspection apparatus having illumination assembly |
US8187174B2 (en) | 2007-01-22 | 2012-05-29 | Capso Vision, Inc. | Detection of when a capsule camera enters into or goes out of a human body and associated operations |
JP5756752B2 (en) | 2008-07-03 | 2015-07-29 | セルカコール・ラボラトリーズ・インコーポレイテッドCercacor Laboratories, Inc. | Sensor |
US8515509B2 (en) | 2008-08-04 | 2013-08-20 | Cercacor Laboratories, Inc. | Multi-stream emitter for noninvasive measurement of blood constituents |
WO2011066431A2 (en) * | 2009-11-25 | 2011-06-03 | Brigham And Women's Hospital, Inc. | System and method for wireless biosensor monitoring |
WO2011079050A2 (en) | 2009-12-23 | 2011-06-30 | The Smart Pill Corporation | Method of evaluating constipation using an ingestible capsule |
GB201016773D0 (en) * | 2010-10-06 | 2010-11-17 | Univ Leuven Kath | Dynamic range enhancement through prediction of pixel integration time |
CN117257204B (en) * | 2023-09-19 | 2024-05-07 | 深圳海业医疗科技有限公司 | Endoscope control assembly control method and system |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6486933A (en) * | 1987-09-30 | 1989-03-31 | Olympus Optical Co | Endoscopic apparatus |
JPH08313823A (en) * | 1995-05-15 | 1996-11-29 | Olympus Optical Co Ltd | Endoscopic image processing device |
JPH10112118A (en) * | 1996-10-08 | 1998-04-28 | Toshiba Corp | Disk reproducing device |
JPH11111795A (en) * | 1997-10-07 | 1999-04-23 | Ricoh Co Ltd | Inspecting device for image-pickup element |
JPH11305144A (en) * | 1998-04-27 | 1999-11-05 | Olympus Optical Co Ltd | Endoscope device |
JP2001203910A (en) * | 2000-01-20 | 2001-07-27 | Olympus Optical Co Ltd | Video signal processor |
WO2002026103A2 (en) * | 2000-09-27 | 2002-04-04 | Given Imaging Ltd. | An immobilizable in vivo sensing device |
JP2003038424A (en) * | 2001-07-30 | 2003-02-12 | Olympus Optical Co Ltd | Encapsulated endoscope |
JP2003038425A (en) * | 2001-07-30 | 2003-02-12 | Olympus Optical Co Ltd | Encapsulated endoscope |
JP2003093328A (en) * | 2001-09-25 | 2003-04-02 | Olympus Optical Co Ltd | Endoscope insertion direction detection method and endoscope insertion direction detection device |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4532918A (en) * | 1983-10-07 | 1985-08-06 | Welch Allyn Inc. | Endoscope signal level control |
JP3041099B2 (en) * | 1991-02-01 | 2000-05-15 | オリンパス光学工業株式会社 | Electronic endoscope device |
US5408263A (en) * | 1992-06-16 | 1995-04-18 | Olympus Optical Co., Ltd. | Electronic endoscope apparatus |
IL108352A (en) * | 1994-01-17 | 2000-02-29 | Given Imaging Ltd | In vivo video camera system |
JP3351704B2 (en) * | 1997-04-09 | 2002-12-03 | ペンタックス株式会社 | Image signal correction device |
US6462770B1 (en) * | 1998-04-20 | 2002-10-08 | Xillix Technologies Corp. | Imaging system with automatic gain control for reflectance and fluorescence endoscopy |
WO2000074391A1 (en) * | 1999-06-02 | 2000-12-07 | Vista Medical Technologies, Inc. | Interchangeable ccd camera with integral blemish compensation |
IL131242A0 (en) * | 1999-08-04 | 2001-01-28 | Given Imaging Ltd | A method for temperature sensing |
EP1400105A4 (en) * | 2001-03-29 | 2008-07-16 | Given Imaging Ltd | A method for timing control |
IL159450A0 (en) * | 2001-06-18 | 2004-06-01 | Given Imaging Ltd | In vivo sensing device with a circuit board having rigid sections and flexible sections |
-
2003
- 2003-03-23 IL IL155046A patent/IL155046A/en not_active IP Right Cessation
-
2004
- 2004-03-23 WO PCT/IL2004/000265 patent/WO2004082472A1/en active Application Filing
- 2004-03-23 AU AU2004222472A patent/AU2004222472B2/en not_active Ceased
- 2004-03-23 EP EP04722624A patent/EP1610669A4/en not_active Withdrawn
- 2004-03-23 JP JP2006507587A patent/JP2006524097A/en active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6486933A (en) * | 1987-09-30 | 1989-03-31 | Olympus Optical Co | Endoscopic apparatus |
JPH08313823A (en) * | 1995-05-15 | 1996-11-29 | Olympus Optical Co Ltd | Endoscopic image processing device |
JPH10112118A (en) * | 1996-10-08 | 1998-04-28 | Toshiba Corp | Disk reproducing device |
JPH11111795A (en) * | 1997-10-07 | 1999-04-23 | Ricoh Co Ltd | Inspecting device for image-pickup element |
JPH11305144A (en) * | 1998-04-27 | 1999-11-05 | Olympus Optical Co Ltd | Endoscope device |
JP2001203910A (en) * | 2000-01-20 | 2001-07-27 | Olympus Optical Co Ltd | Video signal processor |
WO2002026103A2 (en) * | 2000-09-27 | 2002-04-04 | Given Imaging Ltd. | An immobilizable in vivo sensing device |
JP2003038424A (en) * | 2001-07-30 | 2003-02-12 | Olympus Optical Co Ltd | Encapsulated endoscope |
JP2003038425A (en) * | 2001-07-30 | 2003-02-12 | Olympus Optical Co Ltd | Encapsulated endoscope |
JP2003093328A (en) * | 2001-09-25 | 2003-04-02 | Olympus Optical Co Ltd | Endoscope insertion direction detection method and endoscope insertion direction detection device |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5315237B2 (en) * | 2007-05-22 | 2013-10-16 | オリンパス株式会社 | Capsule type medical device and capsule type medical system |
US9265409B2 (en) | 2007-05-22 | 2016-02-23 | Olympus Corporation | Capsule medical device and capsule medical system |
JP2009034291A (en) * | 2007-08-01 | 2009-02-19 | Hoya Corp | Capsule endoscope |
US8018485B2 (en) | 2008-10-17 | 2011-09-13 | Olympus Corporation | Imaging device |
WO2010143692A1 (en) | 2009-06-10 | 2010-12-16 | オリンパスメディカルシステムズ株式会社 | Capsule type endoscope device |
US8390679B2 (en) | 2009-06-10 | 2013-03-05 | Olympus Medical Systems Corp. | Capsule endoscope device |
WO2012098791A1 (en) * | 2011-01-20 | 2012-07-26 | オリンパスメディカルシステムズ株式会社 | Capsule endoscope |
JP5385469B2 (en) * | 2011-01-20 | 2014-01-08 | オリンパスメディカルシステムズ株式会社 | Capsule endoscope |
US8830310B2 (en) | 2011-01-20 | 2014-09-09 | Olympus Medical Systems Corp. | Capsule endoscope |
US9588046B2 (en) | 2011-09-07 | 2017-03-07 | Olympus Corporation | Fluorescence observation apparatus |
JPWO2016084500A1 (en) * | 2014-11-28 | 2017-04-27 | オリンパス株式会社 | Capsule endoscope, capsule endoscope activation system, and inspection system |
Also Published As
Publication number | Publication date |
---|---|
EP1610669A1 (en) | 2006-01-04 |
IL155046A (en) | 2013-12-31 |
WO2004082472A1 (en) | 2004-09-30 |
EP1610669A4 (en) | 2009-04-22 |
IL155046A0 (en) | 2003-10-31 |
AU2004222472B2 (en) | 2010-07-22 |
AU2004222472A1 (en) | 2004-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3114302U (en) | Swallowable capsule | |
US9737201B2 (en) | Apparatus and method for light control in an in-vivo imaging device | |
US8626272B2 (en) | Apparatus and method for light control in an in-vivo imaging device | |
JP2006524097A (en) | Apparatus and method for controlling light in an in vivo imaging device | |
JP2004535878A5 (en) | ||
US9215972B2 (en) | In-vivo image acquiring apparatus, in-vivo image receiving apparatus, in-vivo image displaying apparatus, and noise eliminating method | |
US8866893B2 (en) | Imaging apparatus | |
US7762947B2 (en) | Capsule endoscope and capsule endoscope system | |
EP2353491B1 (en) | Subject intra-corporeal introduction device and in-vivo information acquiring system | |
US8830310B2 (en) | Capsule endoscope | |
JP5153487B2 (en) | Capsule medical device | |
JP4383134B2 (en) | Wireless in-vivo information acquisition device | |
JP2017123997A (en) | Imaging system and processing device | |
IL160067A (en) | Apparatus and method for controlling illumination or imager gain in an in-vivo imaging device | |
JP2005000320A (en) | Capsule type endoscope |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070323 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20081215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20081225 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20081225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100209 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100510 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100831 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20101130 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20101207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110824 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20111124 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20111201 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120113 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120508 |