JP2016202380A - Image processing device and endoscope apparatus - Google Patents
Image processing device and endoscope apparatus Download PDFInfo
- Publication number
- JP2016202380A JP2016202380A JP2015085101A JP2015085101A JP2016202380A JP 2016202380 A JP2016202380 A JP 2016202380A JP 2015085101 A JP2015085101 A JP 2015085101A JP 2015085101 A JP2015085101 A JP 2015085101A JP 2016202380 A JP2016202380 A JP 2016202380A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel signal
- correction processing
- light emission
- endoscope apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 claims abstract description 18
- 238000005096 rolling process Methods 0.000 claims abstract description 13
- 230000009977 dual effect Effects 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 210000001260 vocal cord Anatomy 0.000 description 9
- 230000006866 deterioration Effects 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000000867 larynx Anatomy 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Abstract
Description
本発明は、ローリングシャッタ方式の撮像素子を用いてストロボ撮影するときの画像処理に関し、特に、喉頭ストロボスコピーなど、閃光を繰り返し発光させて動画撮影する時の画像処理に関する。 The present invention relates to image processing when performing strobe shooting using a rolling shutter type imaging device, and more particularly to image processing when shooting a moving image by repeatedly emitting a flash, such as a laryngeal strobe copy.
ＣＭＯＳセンサなどのＸ−Ｙアドレス型イメージセンサでは、最上段の水平ラインから最下段の水平ラインに向けてラインごとに画素信号を順次読み出す、いわゆるローリングシャッタ方式を通常採用している。各水平ラインの露光期間は読み出し順に従ってずれているため、発光時間が非常に短いストロボ撮影を行うと、撮影画像は、発光の影響を受けた領域と発光の影響を受けないライン群（領域）に分かれてしまう。 An XY address type image sensor such as a CMOS sensor usually employs a so-called rolling shutter system in which pixel signals are sequentially read out line by line from the uppermost horizontal line toward the lowermost horizontal line. Since the exposure period of each horizontal line is shifted according to the reading order, when a flash photography with a very short flash time is performed, the photographed image is an area affected by the light emission and a group of lines (areas) not affected by the light emission. It will be divided into.
これを防ぐための方法として、メカニカルシャッタを設ける構成が知られているが、メカニカルシャッタを設けない構成も知られている。そこでは、撮像素子の受光面において複数の画像領域を設け、ストロボ撮影して得られた各領域の画像を合成し、露出の補完を行うことが知られている（特許文献１参照）。 As a method for preventing this, a configuration in which a mechanical shutter is provided is known, but a configuration in which a mechanical shutter is not provided is also known. It is known that a plurality of image areas are provided on the light receiving surface of an image sensor, and images of the respective areas obtained by flash photography are combined to complement exposure (see Patent Document 1).
一方、内視鏡装置を用いた喉頭ストロボスコピーでは、声帯の異常を調べるため、高速で閃光を連続的に喉頭部に照射しながらビデオスコープによって撮影し、声帯振動をスローモーション観察する。具体的には、被検者の音声の周波数をサンプリングし、それに同期させ、かつ位相をずらしながら発光させる。これにより、１秒間に１００回以上周期のある声帯がスローモーションで動いているような動画像を表示することができる（特許文献２参照）。 On the other hand, in the laryngeal stroboscopic copy using an endoscope apparatus, in order to investigate abnormalities of the vocal cords, the videoscope is photographed while continuously flashing the larynx at a high speed, and the vocal cord vibration is observed in slow motion. Specifically, the frequency of the subject's voice is sampled, synchronized with it, and light is emitted while shifting the phase. Accordingly, it is possible to display a moving image in which a vocal cord having a cycle of 100 times or more per second is moving in slow motion (see Patent Document 2).
ストロボ動画撮影では、ストロボ発光時間間隔が撮像素子のフレームレートと必ずしも等しくしない。例えば、喉頭ストロボスコピーの場合、発光周期は、被検者の声帯特性などに従って定められる。ローリングシャッタ式の撮像素子を使用する撮影状況下において、ストロボ発光時間間隔が１フレーム期間より短く設定された場合、１フレーム分の画像の中で露光期間中２回発光が生じたライン（領域）が生じ、過度な露光量によって画質が低下した部分が撮影画像に生じてしまう。 In strobe movie shooting, the strobe emission time interval is not necessarily equal to the frame rate of the image sensor. For example, in the case of laryngeal stroboscopic copying, the light emission period is determined according to the vocal cord characteristics of the subject. In a shooting situation using a rolling shutter type imaging device, when the strobe light emission time interval is set shorter than one frame period, a line (area) in which light emission occurs twice during the exposure period in an image for one frame. As a result, a portion in which the image quality is deteriorated due to an excessive exposure amount occurs in the captured image.
したがって、ローリングシャッタ方式の撮像素子を用いてストロボ動画撮影を行う場合、ストロボ発光時間間隔に関係なく良好な撮影画像を得ることが求められる。 Therefore, when performing strobe moving image shooting using a rolling shutter image sensor, it is required to obtain a good captured image regardless of the strobe light emission time interval.
本発明の内視鏡装置は、ローリングシャッタ方式に従って画素信号が読み出されるＸ−Ｙアドレス型撮像素子と、所定の時間間隔でストロボ発光する光源部と、隣り合うフィールド／フレーム間の画素信号に基づいて、各フィールド／フレームの画像を生成する画像生成部とを備える。ここで、ストロボ発光とは、閃光を発光することを示す。 The endoscope apparatus according to the present invention is based on an XY address type image pickup device from which pixel signals are read according to a rolling shutter system, a light source unit that emits strobe light at a predetermined time interval, and pixel signals between adjacent fields / frames. And an image generation unit for generating an image of each field / frame. Here, the strobe light emission indicates that a flash light is emitted.
ストロボ発光時間間隔が１フィールド／フレーム期間よりも短い場合、露光期間中に二重発光したラインの領域が生じる。本発明では、前記画像生成部が、露光期間中に２回以上ストロボ発光されたラインに応じた二重発光画像領域の画素信号に対し、露光期間中に１回ストロボ発光されたラインに応じた単発光画像領域の画素信号に基づいて補正処理を施す補正処理部を備える。 When the strobe light emission time interval is shorter than one field / frame period, an area of a line that emits double light is generated during the exposure period. In the present invention, the image generation unit responds to a line signal that has been flashed once during the exposure period with respect to a pixel signal of a double-emission image area corresponding to a line that has flashed twice or more during the exposure period. A correction processing unit that performs correction processing based on the pixel signal of the single light emitting image area is provided.
補正処理部は、前記単発光画像領域に基づいて被写体像の動きベクトルを検出し、動きベクトルに基づいた補正処理を実行することが可能である。例えば、補正処理部が、点広がり関数を用いて補正処理を施す。 The correction processing unit can detect a motion vector of the subject image based on the single light emission image region, and can execute a correction process based on the motion vector. For example, the correction processing unit performs correction processing using a point spread function.
一方、補正処理部は、露光期間中にストロボ発光されないラインに応じた非露光画像領域の画素信号に対し、前記単発光画像領域の画素信号に基づいて補正処理を施すことが可能である。 On the other hand, the correction processing unit can perform correction processing on the pixel signal of the non-exposure image area corresponding to the line that is not stroboscopically emitted during the exposure period based on the pixel signal of the single light emission image area.
補正処理部が、ストロボ発光時間間隔が１フィールド／フレーム期間よりも短い場合、補正処理を施す。 The correction processing unit performs correction processing when the strobe light emission time interval is shorter than one field / frame period.
本発明の他の態様である画像処理装置は、所定の時間間隔でストロボ発光されている間、ローリングシャッタ方式に従ってＸ−Ｙアドレス型撮像素子から読み出される画素信号に対し、隣り合うフィールド／フレーム間の画素信号に基づいて、各フィールド／フレームの画像を生成する画像生成部を備え、前記画像生成部が、露光期間中に２回以上ストロボ発光されたラインに応じた二重発光画像領域の画素信号に対し、露光期間中に１回ストロボ発光されたラインに応じた単発光画像領域の画素信号に基づいて補正処理を施す補正処理部を備える。 An image processing apparatus according to another aspect of the present invention provides a pixel signal read from an XY address type image sensor in accordance with a rolling shutter system while strobe light is emitted at a predetermined time interval, between adjacent fields / frames. An image generation unit that generates an image of each field / frame based on the pixel signal of the pixel, and the image generation unit includes pixels in a double-emission image region corresponding to a line that has been flashed at least twice during an exposure period. A correction processing unit is provided that performs a correction process on the signal based on a pixel signal of a single light emitting image area corresponding to a line that is flashed once during the exposure period.
本発明の他の態様である内視鏡装置の動作方法は、画像生成部が、所定の時間間隔でストロボ発光されている間、ローリングシャッタ方式に従ってＸ−Ｙアドレス型撮像素子から読み出される画素信号に対し、隣り合うフィールド／フレーム間の画素信号に基づいて、各フィールド／フレームの画像を生成する内視鏡装置の動作方法であって、前記補正処理部が、露光期間中に２回以上ストロボ発光されたラインに応じた二重発光画像領域の画素信号に対し、露光期間中に１回ストロボ発光されたラインに応じた単発光画像領域の画素信号に基づいて補正処理を施す。 The operation method of the endoscope apparatus according to another aspect of the present invention includes a pixel signal read from an XY address type image pickup device in accordance with a rolling shutter method while the image generation unit performs strobe light emission at a predetermined time interval. On the other hand, an operation method of an endoscope apparatus that generates an image of each field / frame based on a pixel signal between adjacent fields / frames, wherein the correction processing unit performs strobe twice or more during an exposure period. A correction process is performed on the pixel signal of the double light emitting image area corresponding to the emitted line based on the pixel signal of the single light emitting image area corresponding to the line that was flashed once during the exposure period.
このように本発明によれば、ストロボ動画撮影において、ストロボ発光時間間隔に関係なく、高画質の画像を提供することができる。 As described above, according to the present invention, it is possible to provide a high-quality image regardless of the strobe light emission time interval in strobe moving image shooting.
以下では、図面を参照して本実施形態である電子内視鏡装置について説明する。 Hereinafter, the electronic endoscope apparatus according to the present embodiment will be described with reference to the drawings.
図１は、本実施形態である電子内視鏡装置のブロック図である。 FIG. 1 is a block diagram of an electronic endoscope apparatus according to this embodiment.
電子内視鏡装置は、その挿入部分が体内へ挿入されるビデオスコープ１０と、プロセッサ３０と、光源装置５０とを備え、ビデオスコープ１０はプロセッサ３０に対して着脱自在に接続されるとともに、ファイバケーブル１２Ｂを介して光源装置５０と接続される。プロセッサ３０には、光源装置５０およびモニタ６０が接続されている。 The electronic endoscope apparatus includes a video scope 10 whose insertion portion is inserted into the body, a processor 30, and a light source device 50. The video scope 10 is detachably connected to the processor 30, and a fiber. The light source device 50 is connected via the cable 12B. A light source device 50 and a monitor 60 are connected to the processor 30.
光源装置５０の光源部５２から放射された光は、ファイバケーブル１２Ｂを介してビデオスコープ１０内に設けられたライトガイド１２に入射する。ライトガイド１２に入射した光は、配光レンズ（図示せず）を介してスコープ先端部１０Ｔから射出し、被写体（観察部位）に照射される。 The light emitted from the light source unit 52 of the light source device 50 enters the light guide 12 provided in the video scope 10 through the fiber cable 12B. The light incident on the light guide 12 exits from the scope distal end 10T via a light distribution lens (not shown) and is irradiated onto the subject (observation site).
被写体で反射した光は、スコープ先端部１０Ｔに配置された対物レンズ（図示せず）によって結像し、スコープ先端部１０Ｔに設けられたイメージセンサ１４の受光面に被写体像が形成される。イメージセンサ１４は、画素ごとに画素信号を読み出し可能なＸ−Ｙアドレス型イメージセンサであり、ここではＣＭＯＳイメージセンサが適用されている。イメージセンサ１４の受光面上には、Ｃｙ、Ｙｅ、Ｇ、Ｍｇ、Ｒ、Ｇ、Ｂなどの色フィルタ要素を配列させた色フィルタ（図示せず）が配設されている。 The light reflected by the subject is imaged by an objective lens (not shown) disposed at the scope tip 10T, and a subject image is formed on the light receiving surface of the image sensor 14 provided at the scope tip 10T. The image sensor 14 is an XY address type image sensor that can read out a pixel signal for each pixel, and a CMOS image sensor is applied here. On the light receiving surface of the image sensor 14, a color filter (not shown) in which color filter elements such as Cy, Ye, G, Mg, R, G, and B are arranged is arranged.
イメージセンサ１４では、駆動回路３２から送られてくる駆動信号に従い、１フィールドもしくは１フレーム（以下、１フィールド／フレームと表す）分の画像信号が所定の時間間隔（例えばＮＴＳＣ方式の場合１／６０秒間隔、ＰＡＬ方式の場合１／５０秒間隔）で読み出される。読み出されたアナログ画素信号は、プロセッサ３０の前段信号処理回路３４へ送られる。 In the image sensor 14, according to the drive signal sent from the drive circuit 32, image signals for one field or one frame (hereinafter referred to as one field / frame) are transmitted at a predetermined time interval (for example, 1/60 in the case of the NTSC system). (Second interval, 1/50 second interval in the case of PAL method). The read analog pixel signal is sent to the pre-stage signal processing circuit 34 of the processor 30.
前段信号処理回路３４では、増幅処理、デジタル化処理などの初期処理がアナログ画素信号に対して施された後、ガンマ処理、ホワイトバランス処理、色補間処理、色変換処理等などが実行され、これによってＲ，Ｇ，Ｂなどのデジタルカラー画像信号が生成される。 The pre-stage signal processing circuit 34 performs initial processing such as amplification processing and digitization processing on the analog pixel signal, and then executes gamma processing, white balance processing, color interpolation processing, color conversion processing, and the like. As a result, digital color image signals such as R, G, and B are generated.
生成された画像信号は、画像メモリ３７に一時的に格納された後、補正回路３６を経由して後段信号処理回路３９へ送られる。後段信号処理回路３９においてキャラクタ情報の重畳処理、輪郭強調処理などが画像信号に対して施された後、画像信号はモニタ６０に出力される。これにより、観察画像がモニタ６０に表示される。 The generated image signal is temporarily stored in the image memory 37 and then sent to the subsequent signal processing circuit 39 via the correction circuit 36. After the post-stage signal processing circuit 39 performs character information superimposition processing, contour enhancement processing, and the like on the image signal, the image signal is output to the monitor 60. As a result, the observation image is displayed on the monitor 60.
システムコントロール回路４０は、光源装置５０、プロセッサ３０内のタイミングコントローラ４４等へ制御信号を出力し、プロセッサ全体の動作を制御する。タイミングコントローラ４４は、各回路へクロックパルス信号を出力し、信号入出力タイミング、画素信号読み出しタイミング等を調整する。 The system control circuit 40 outputs a control signal to the light source device 50, the timing controller 44 in the processor 30, and the like, and controls the operation of the entire processor. The timing controller 44 outputs a clock pulse signal to each circuit, and adjusts signal input / output timing, pixel signal readout timing, and the like.
電子内視鏡装置は、白色光を連続的に照射する通常観察とともに、喉頭ストロボスコピーを行うことが可能な内視鏡装置であり、オペレータは、プロセッサ３０のフロントパネル４８に設けられたボタンなどを操作することによって、観察モードを切り替える。被検者の声帯の動きをスローモーション映像化して喉頭部分を検査する場合、通常観察モードからストロボ撮影モードに切り替えられる。 The electronic endoscope apparatus is an endoscope apparatus capable of performing laryngeal stroboscopic copying in addition to normal observation in which white light is continuously irradiated, and an operator provides buttons provided on the front panel 48 of the processor 30. By switching the observation mode, the observation mode is switched. When inspecting the larynx by converting the movement of the subject's vocal cords into a slow motion image, the normal observation mode can be switched to the flash photography mode.
光源装置５０は、光源部５２とともに、メイン制御部５４、音声ピッチ検出回路５６とを備える。ＬＥＤなどによって構成される光源部５２は、白色光を連続的に放射する一方、非常に発光時間の短い閃光を間欠的に続けて発光（以下では、ストロボ発光という）することができる。発光モードの切替は、光源装置５０のフロントパネル４８に設けられたスイッチボタンに対するオペレータの入力操作によって行われる。 The light source device 50 includes a main control unit 54 and an audio pitch detection circuit 56 together with the light source unit 52. The light source unit 52 composed of an LED or the like can continuously emit white light while continuously emitting flash light having a very short light emission time (hereinafter referred to as strobe light emission). The light emission mode is switched by an operator's input operation on a switch button provided on the front panel 48 of the light source device 50.
ストロボ観察モードに合わせてストロボ発光モードが設定されると、光源装置５０に接続されたマイクロフォンＭＣによって被験者の音声が集音され、音声信号が音声ピッチ検出回路５６へ送られる。音声ピッチ検出回路５６は、音声波形から音声ピッチ（振動周期）を検出する。メイン制御部５４は、音声ピッチに従って光源部５２を間欠的に発光させるとともに、発光タイミングに合わせて発光パルス信号をプロセッサ３０へ送信する。 When the strobe emission mode is set in accordance with the strobe observation mode, the subject's voice is collected by the microphone MC connected to the light source device 50, and the voice signal is sent to the voice pitch detection circuit 56. The voice pitch detection circuit 56 detects the voice pitch (vibration period) from the voice waveform. The main control unit 54 causes the light source unit 52 to emit light intermittently according to the sound pitch, and transmits a light emission pulse signal to the processor 30 in accordance with the light emission timing.
また、メイン制御部５４は、声帯画像の位相調整やスローモーション画像の速度調整、あるいは、通常観察のための連続発光モードとストロボ撮影モードとの切り替え制御を行なう。これらの制御は、光源装置５０のフロントパネル５５に設けられた一連のボタンに対するオペレータの入力操作に従って実行される。 The main control unit 54 also controls the phase adjustment of the vocal cord image, the speed adjustment of the slow motion image, or the switching between the continuous light emission mode and the flash photography mode for normal observation. These controls are executed in accordance with an operator's input operation on a series of buttons provided on the front panel 55 of the light source device 50.
プロセッサ３０の発光パルス検出部４７は、光源装置５０から送られてくる発光パルス信号を検出し、タイミングコントローラ４４は、発光タイミングに合わせて前段信号処理回路３４、画像メモリ３７などにおける処理タイミングを調整する。画像メモリ３７は、１フィールド／フレーム分の画像をそれぞれ格納する第１、第２メモリ（図示せず）を備え、タイミングコントローラ４４は、隣接するフレーム間において露光期間中の発光回数に従って画像を区分けするように、画像メモリ３７のデータ読み出し、書き込みタイミングを制御する。 The light emission pulse detection unit 47 of the processor 30 detects the light emission pulse signal sent from the light source device 50, and the timing controller 44 adjusts the processing timing in the pre-stage signal processing circuit 34, the image memory 37, etc. according to the light emission timing. To do. The image memory 37 includes first and second memories (not shown) that respectively store images for one field / frame, and the timing controller 44 classifies the images between adjacent frames according to the number of times of light emission during the exposure period. Thus, the data read / write timing of the image memory 37 is controlled.
本実施形態では、ストロボ発光時間間隔（発光ピッチ）が１フィールド／フレーム期間よりも短い場合、隣り合うフィールド／フレーム間の画像について、発光回数に基づいて画像を区分けし、補正処理を行うように、システムコントロール回路４０がタイミングコントローラ４４、補正回路３６などを制御する。動き検出回路３８は、画像メモリ３７から送られてくる隣接するフレーム間の画像に基づいて、動きベクトルを検出する。 In this embodiment, when the strobe light emission time interval (light emission pitch) is shorter than one field / frame period, the image between adjacent fields / frames is divided based on the number of times of light emission, and correction processing is performed. The system control circuit 40 controls the timing controller 44, the correction circuit 36, and the like. The motion detection circuit 38 detects a motion vector based on an image between adjacent frames sent from the image memory 37.
補正回路３６は、タイミングコントローラ４４からの信号に基づいて、露光期間中に２回発光されたラインから成る画像領域（以下、二重発光画像領域ともいう）、１回発光されたラインから成る画像領域（以下、単発光画像領域ともいう）のイメージおよび動きベクトルに基づいて一度も発光されてないラインから成る画像領域（以下、無露光画像領域ともいう）を特定し、動きベクトルおよび単発光画像領域の画素信号に基づき、二重発光画像領域、無露光画像領域の画像に対して補正処理を実行する。 Based on the signal from the timing controller 44, the correction circuit 36 is an image area composed of lines that are emitted twice during the exposure period (hereinafter also referred to as a double emission image area), and an image that is composed of lines that are emitted once. An image region (hereinafter also referred to as an unexposed image region) consisting of a line that has never been emitted based on an image of a region (hereinafter also referred to as a single light-emitting image region) and a motion vector is specified, and a motion vector and a single light-emitting image are identified. Based on the pixel signal of the area, correction processing is performed on the images of the double light emission image area and the non-exposed image area.
以下、図２〜６を用いて、ストロボ動画撮影させたときの画像処理について説明する。ただし、以下では１フレーム分の画像を対象とする。 Hereinafter, image processing when a strobe moving image is captured will be described with reference to FIGS. However, in the following, an image for one frame is targeted.
図２は、１フレーム分の画像生成過程および発光タイミングを示した図である。ここでは、発光パルス信号ＳＰとフレーム周期を示すパルス信号ＰＤとを対比させている。図３は、イメージセンサ１４における露光期間と画素信号読み出し期間を示した図である。なお、説明を簡単にするため、ここでは１０ライン（第１ライン〜第１０ライン）によって１フレーム分の画像が構成されるものとする。 FIG. 2 is a diagram showing an image generation process and light emission timing for one frame. Here, the light emission pulse signal SP is compared with the pulse signal PD indicating the frame period. FIG. 3 is a diagram showing an exposure period and a pixel signal readout period in the image sensor 14. In order to simplify the description, it is assumed here that an image for one frame is composed of 10 lines (first to tenth lines).
図３に示すように、ローリングシャッタ方式のイメージセンサ１４では、ＯＢ（Optical Black）ラインを含めて画素信号がラインごとに順に読み出される。したがって、各ラインの露光期間（電荷蓄積期間）は、その開始位置および終了位置が画面上側から下側に向けて順にずれていく。例えば、露光期間ＥＡに渡って蓄積された第１〜１０ラインの電荷は、読み出し期間ＴＡにおいて、ＯＢライン、第１ライン、・・第１０ラインの順に読み出される（図３の斜線部参照）。露光期間ＥＢ、読み出し期間ＴＢについても、同様な電荷蓄積、読み出しが行われる。 As shown in FIG. 3, in the rolling shutter type image sensor 14, pixel signals including an OB (Optical Black) line are sequentially read out for each line. Therefore, in the exposure period (charge accumulation period) of each line, the start position and the end position are sequentially shifted from the upper side to the lower side of the screen. For example, the charges on the first to tenth lines accumulated over the exposure period EA are read in the order of the OB line, the first line,... The tenth line in the reading period TA (see the hatched portion in FIG. 3). Similar charge accumulation and readout are performed during the exposure period EB and readout period TB.
上述したように、ストロボ発光時間間隔ＳＴは、イメージセンサ１４のフレームレートではなく被検者の声帯振動数に基づいて決定されており、発光している期間は瞬間的なものであって非常に短い。したがって、１フレーム期間の途中あるタイミングでストロボ発光が行われると、その直前までに露光期間が終了したラインについては、そのストロボ発光による露光が行われず、露光期間終了前であったラインが露光される。したがって、１フレーム分の画像の中で、露光期間中にストロボ発光を受けた領域と受けていない領域が生じる。 As described above, the strobe light emission time interval ST is determined not based on the frame rate of the image sensor 14 but based on the subject's vocal cord frequency, and the light emission period is instantaneous and is extremely high. short. Therefore, when strobe light emission is performed at a timing in the middle of one frame period, exposure for the line for which the exposure period has ended immediately before is not performed by the strobe light emission, and the line that was before the end of the exposure period is exposed. The Therefore, in the image for one frame, an area that has been subjected to the strobe emission during the exposure period and an area that has not been received are generated.
図３では、Ｎフレーム目の画像の中で、第１〜第５ラインまでの露光期間終了後にストロボ発光ＳＡが生じている。そのため、第６〜１０ラインまでの画像領域Ａ１は、ストロボ発光ＳＡによる露光画像となる。第１〜５ラインの画像領域Ａ０は、露光期間においてストロボ発光がないため、無露光領域となる。 In FIG. 3, strobe light emission SA occurs after the exposure period from the first to fifth lines in the Nth frame image. Therefore, the image area A1 from the sixth to the tenth lines becomes an exposure image by the strobe light emission SA. The image areas A0 of the first to fifth lines are non-exposed areas because there is no flash emission during the exposure period.
喉頭ストロボスコピーでは、声帯部分の画像をスローモーション表示するため、発光パルスの位相を少しずつシフトさせていく。また、声帯の基本振動数はフレームレート以下となる場合が生じる。そのため、ストロボ発光時間間隔ＳＴはフレームレート（１フレーム期間）より短い（図２参照）。 In the laryngeal strobe copy, the phase of the light emission pulse is shifted little by little in order to display the image of the vocal cord part in slow motion. In addition, the fundamental frequency of the vocal cords may be lower than the frame rate. Therefore, the strobe emission time interval ST is shorter than the frame rate (one frame period) (see FIG. 2).
そのため、図３に示すように、露光期間ＥＢに行われる次のストロボ発光ＳＢが第３ラインの露光期間終了直後のタイミングで行われると、（Ｎ＋１）フレーム目の画像の中で第１〜３ラインの画像領域Ｂ１はストロボ発光ＳＢの影響を受けないが、第４ラインの画像領域Ｂ２は、露光期間ＥＢの中でストロボ発光ＳＡ、ＳＢ両方が行われる。その結果、画像領域Ｂ２の露光量は、画像領域Ａ１、Ｂ１と比べて２倍になる。 Therefore, as shown in FIG. 3, when the next strobe light emission SB performed in the exposure period EB is performed at the timing immediately after the end of the exposure period of the third line, the first to the third frames in the (N + 1) th frame image. The image area B1 of the line is not affected by the strobe light emission SB, but the image area B2 of the fourth line is subjected to both the strobe light emission SA and SB during the exposure period EB. As a result, the exposure amount of the image area B2 is doubled compared to the image areas A1 and B1.
ストロボ発光ＳＢの後に露光開始される第５〜第１０ラインの画像領域Ｂ３については、ストロボ発光が１回だけの画像領域になる。しかしながら、上述したようにストロボ発光タイミングを位相シフトに合わせて行っているため、被写体像に動きが生じる。 For the image areas B3 of the fifth to tenth lines where the exposure is started after the strobe light emission SB, the strobe light emission is an image area only once. However, since the strobe light emission timing is adjusted in accordance with the phase shift as described above, the subject image moves.
図４は、露光期間中の発光回数に応じて区分けされるラインを示した図である。図５は、図３に示したストロボ発光を行って補正処理を行わない場合に生成される隣接フレーム間の画像を示した図である。ここでは、説明をわかりやすくするため、イメージをアルファベットの「Ａ」で表している。 FIG. 4 is a diagram showing lines divided according to the number of times of light emission during the exposure period. FIG. 5 is a diagram showing an image between adjacent frames generated when the strobe light emission shown in FIG. 3 is performed and correction processing is not performed. Here, in order to make the explanation easy to understand, the image is represented by an alphabet “A”.
図４、図５に示すように、Ｎフレーム、Ｎ＋１フレームの画像において、無露光画像領域Ａ０、単発光画像領域Ａ１、Ｂ１、Ｂ３、二重発光画像領域Ｂ２が生じている。また、図５に示すように、二重発光画像領域Ｂ２では、２回発光に起因してぼけたイメージになっている。さらに、被写体像の動きにより、ストロボ発光ＳＢが行われた後の画像領域Ｂ２、Ｂ３と、その前の画像領域Ａ１、Ｂ１との間には、ずれが生じている。図５では、イメージ「Ａ」が右方向にずれていることを表している。 As shown in FIGS. 4 and 5, in the N-frame and N + 1-frame images, an unexposed image area A0, single emission image areas A1, B1, and B3 and a double emission image area B2 are generated. Further, as shown in FIG. 5, in the double light emission image region B2, the image is blurred due to the double light emission. Further, due to the movement of the subject image, there is a deviation between the image areas B2 and B3 after the strobe light emission SB is performed and the previous image areas A1 and B1. FIG. 5 shows that the image “A” is shifted to the right.
Ｎフレームの画像に対してＮ＋１フレームの画像に動きが生じている必要があるから、Ｎ＋１フレームの画像領域Ｂ１は、画像領域Ｂ３に合わせて補正しなければならない。ここでは、画像領域Ａ１と画像領域Ｂ３との間で動きベクトル（動き量、動きの方向）を検出し、画像領域Ｂ１のイメージを動きベクトルに応じて補正する。なお、Ｎ＋２フレーム期間においてストロボ発光されている場合、Ｎ＋１、Ｎ＋２フレーム目の画像を用いることが可能である。 Since it is necessary for the N + 1 frame image to move with respect to the N frame image, the N + 1 frame image region B1 must be corrected in accordance with the image region B3. Here, a motion vector (motion amount, direction of motion) is detected between the image region A1 and the image region B3, and the image of the image region B1 is corrected according to the motion vector. Note that, when the strobe light is emitted in the N + 2 frame period, it is possible to use images of the (N + 1) th and (N + 2) th frames.
一方、画像領域Ｂ２については、上述したように二重発光画像領域であることから、焦点ボケのようなイメージが形成される。そこで、画質劣化したイメージを画像復元処理し、画像領域Ｂ１と同レベルの画質のイメージに変換する。以下、これについて述べる。 On the other hand, since the image region B2 is a double light emission image region as described above, an image such as a defocused image is formed. Therefore, the image with degraded image quality is subjected to image restoration processing and converted into an image having the same image quality as that of the image area B1. This will be described below.
一般に、焦点ずれや手振れなどによって画像劣化が生じた場合、劣化画像ｇ（ｘ、ｙ）は以下の式によって求めることができる。ただし、ｆ（ｘ、ｙ）は劣化前の原画像を示し、ｈ（ｘ、ｙ）は劣化関数を表す。また、＊は畳み込み演算を示す。 In general, when image degradation occurs due to defocus or camera shake, the degraded image g (x, y) can be obtained by the following equation. Here, f (x, y) represents an original image before deterioration, and h (x, y) represents a deterioration function. * Indicates a convolution operation.
劣化前の原画像ｆ（ｘ、ｙ）が点光源（２次元デルタ関数）をベースにした画像である場合、劣化画像ｇ（ｘ、ｙ）は、点広がり関数（ＰＳＦ）ｈ（ｘ、ｙ）によって表すことができる。 When the original image f (x, y) before deterioration is an image based on a point light source (two-dimensional delta function), the deteriorated image g (x, y) is a point spread function (PSF) h (x, y). ).
焦点ボケによる点広がり関数ｈ（ｘ、ｙ）は、一般的に（３）式で示すガウシアン関数で表すことが可能である。ただし、σはボケの程度を表す。また、カメラなどのブレによる点広がり関数ｈ（ｘ、ｙ）は、４（式）で示す近似式で表すことが可能である。ただし、θはブレ方向、ｗはぶれによるカメラの移動距離を示す。 The point spread function h (x, y) due to defocusing can be generally expressed by a Gaussian function expressed by the equation (3). However, σ represents the degree of blur. Further, the point spread function h (x, y) due to camera shake or the like can be expressed by an approximate expression represented by 4 (expression). Here, θ represents the blur direction, and w represents the moving distance of the camera due to shaking.
ここで、θ、ｗを画像の動きベクトルに対応させた場合、画像領域Ｂ２のボケ画像は、（４）式の劣化関数ｈによって表すことが可能である。すなわち、Ｎフレーム目の画像における画像領域Ａ１とＮ＋１フレーム目の画像における画像領域Ｂ３との差分から求められる動きベクトルによって、二重発光された画像領域Ｂ２の劣化画像ｇ（ｘ、ｙ）を、（４）式の劣化関数ｈで表すことができる。 Here, when θ and w are made to correspond to the motion vector of the image, the blurred image in the image region B2 can be represented by the deterioration function h in the equation (4). That is, the deteriorated image g (x, y) of the image region B2 that has been double-emitted by the motion vector obtained from the difference between the image region A1 in the Nth frame image and the image region B3 in the N + 1th frame image, It can be expressed by the deterioration function h in the equation (4).
画像復元処理は、劣化画像ｇ（ｘ、ｙ）から原画像ｆ（ｘ、ｙ）を推定する逆問題であり、（１）式をフーリエ変換した以下の式に基づいて求めることができる。したがって、画像領域Ｂ２の劣化画像ｇ（ｘ、ｙ）（劣化関数ｈ（ｘ、ｙ））から、原画像ｆ（ｘ、ｙ）を求めることができる。 The image restoration process is an inverse problem for estimating the original image f (x, y) from the deteriorated image g (x, y), and can be obtained based on the following expression obtained by Fourier transform of the expression (1). Therefore, the original image f (x, y) can be obtained from the deteriorated image g (x, y) (deterioration function h (x, y)) of the image region B2.
一方、Ｎフレーム目の画像の画像領域Ａ０は、Ｎ＋１フレーム目の画像の画像領域Ｂ１および画像領域Ｂ２に対応する。したがって、画像領域Ｂ１と復元された画像領域Ｂ２の動きベクトル分を相殺したイメージによって、無露光画像領域である画像領域Ａ０のイメージを形成することができる。なお、Ｎフレーム目の画像において無露光領域がなく、Ｎ−１フレーム期間においてストロボ発光がなされている場合、動きベクトルに基づいて画像領域Ａ０を補正すればよい。 On the other hand, the image area A0 of the Nth frame image corresponds to the image area B1 and the image area B2 of the N + 1th frame image. Therefore, an image of the image area A0 that is an unexposed image area can be formed by an image in which the motion vectors of the image area B1 and the restored image area B2 are offset. Note that if there is no unexposed area in the Nth frame image and strobe light is emitted during the (N-1) th frame period, the image area A0 may be corrected based on the motion vector.
図６は、図３に示したストロボ発光を行って補正処理を行った場合に生成される隣接フレーム間の画像を示した図である。 FIG. 6 is a diagram showing an image between adjacent frames generated when correction processing is performed by performing strobe light emission shown in FIG.
Ｎフレーム目の画像については、画像領域Ａ０が補正処理されており、Ｎ＋１フレーム目の画像領域Ｂ１、Ｂ２については、動きベクトルに基づいて補正されている。これにより、隣接フレーム間で動きのあるイメージ「Ａ」が生成される。そして、Ｎフレーム，Ｎ＋１フレームの以外の隣接するフレーム期間の画像についても、同様に画像処理することによって観察画像を適切に表示することができる。同様に、Ｎ−１、Ｎ＋２フレーム目に発光がない場合においても補正することが可能である。 The image area A0 is corrected for the Nth frame image, and the image areas B1 and B2 of the (N + 1) th frame are corrected based on the motion vector. As a result, an image “A” that moves between adjacent frames is generated. Further, an image of an adjacent frame period other than the N frame and the N + 1 frame can be appropriately displayed by performing image processing in the same manner. Similarly, correction can be made even when there is no light emission in the (N−1) th and (N + 2) th frames.
このように本実施形態によれば、ローリングシャッタ方式のＸ−Ｙアドレス型イメージセンサ１４を備え、喉頭ストロボスコピーを行う電子内視鏡装置において、隣接フレーム間の画像の中で二重発光画像領域Ｂ２に対し、ストロボ発光ＳＡによる単発光画像領域Ａ１、Ｂ１とストロボ発光ＳＢによる単発光画像領域Ｂ３との差分から動きベクトルを検出し、動きベクトルおよび点広がり関数に基づいて、二重発光画像領域Ｂ２を復元する。 As described above, according to the present embodiment, in the electronic endoscope apparatus that includes the rolling shutter type XY address type image sensor 14 and performs laryngeal strobe copying, a double emission image region in an image between adjacent frames For B2, a motion vector is detected from the difference between the single light emission image areas A1 and B1 by strobe light emission SA and the single light emission image area B3 by strobe light emission SB, and a double light emission image area is obtained based on the motion vector and the point spread function. Restore B2.
隣り合うＮフレーム目の画像とＮ＋１フレーム目の画像について、露光期間中の発光回数によって画像を分割し、他方のフレーム期間の画像領域を互いに利用しながら画像補正処理を行うことにより、Ｎ、Ｎ＋１フレーム目の画像それぞれが適正な画像となり、二重露光された画像領域についても画質の低下を抑えることが可能となる。 By dividing the image by the number of times of light emission during the exposure period for the adjacent N frame image and N + 1 frame image and performing image correction processing while using the image areas of the other frame period, N, N + 1 Each image in the frame is an appropriate image, and it is possible to suppress deterioration in image quality of the double-exposed image region.
なお、二重発光画像領域における画像の復元処理については、ＰＳＦ以外の関数を用いてもよい。また、内視鏡装置を用いた喉頭ストロボスコピーに限定されず、スローモーション効果を生じさせるためにストロボ発光を継続させる映像装置などについても、上述した画像処理を実現する画像処理装置を適用することで、同様の効果を得ることができる。 Note that a function other than the PSF may be used for the image restoration process in the dual light emission image region. In addition, the image processing apparatus that realizes the above-described image processing is also applied to a video apparatus that continues strobe light emission in order to generate a slow motion effect, without being limited to laryngeal strobe copying using an endoscope apparatus. Thus, the same effect can be obtained.
１０ ビデオスコープ
１４ イメージセンサ（Ｘ−Ｙアドレス型撮像素子）
３０ プロセッサ
３４ 前段信号処理回路
３６ 補正回路（補正処理部、画像生成部）
３７ 画像メモリ（画像生成部）
３８ 動き検出回路（補正処理部）
４０ システムコントロール回路（画像生成部、補正処理部）
４４ タイミングコントローラ（補正処理部）
５０ 光源装置
５２ 光源部
Ａ０ 無露光画像領域
Ａ１ 単発光画像領域
Ｂ１ 単発光画像領域
Ｂ２ 二重発光画像領域
Ｂ３ 単発光画像領域
10 Videoscope 14 Image sensor (XY addressing image sensor)
30 Processor 34 Pre-stage signal processing circuit 36 Correction circuit (correction processing unit, image generation unit)
37 Image memory (image generator)
38 Motion detection circuit (correction processing unit)
40 System control circuit (image generator, correction processor)
44 Timing controller (correction processing unit)
50 light source device 52 light source unit A0 unexposed image area A1 single light emitting image area B1 single light emitting image area B2 double light emitting image area B3 single light emitting image area
Claims (7)
所定の時間間隔でストロボ発光する光源部と、
隣り合うフィールド／フレーム間の画素信号に基づいて、各フィールド／フレームの画像を生成する画像生成部とを備え、
前記画像生成部が、露光期間中に２回以上ストロボ発光されたラインに応じた二重発光画像領域の画素信号に対し、露光期間中に１回ストロボ発光されたラインに応じた単発光画像領域の画素信号に基づいて補正処理を施す補正処理部を備えたことを特徴とする内視鏡装置。 An XY address type image sensor from which pixel signals are read out in accordance with a rolling shutter system;
A light source unit that emits strobe light at a predetermined time interval;
An image generation unit that generates an image of each field / frame based on a pixel signal between adjacent fields / frames,
A single light emitting image area corresponding to a line that was flashed once during the exposure period, with respect to a pixel signal of a double light emitting image area corresponding to a line that was flashed twice or more during the exposure period. An endoscope apparatus comprising a correction processing unit that performs correction processing based on the pixel signal.
前記画像生成部が、露光期間中に２回以上ストロボ発光されたラインに応じた二重発光画像領域の画素信号に対し、露光期間中に１回ストロボ発光されたラインに応じた単発光画像領域の画素信号に基づいて補正処理を施す補正処理部を備えたことを特徴とする画像処理装置。 While a strobe is emitted at a predetermined time interval, an image of each field / frame is obtained based on a pixel signal between adjacent fields / frames with respect to a pixel signal read from an XY address type image sensor according to a rolling shutter system. An image generation unit for generating
A single light emitting image area corresponding to a line that was flashed once during the exposure period, with respect to a pixel signal of a double light emitting image area corresponding to a line that was flashed twice or more during the exposure period. An image processing apparatus comprising: a correction processing unit that performs correction processing based on the pixel signal.
前記補正処理部が、露光期間中に２回以上ストロボ発光されたラインに応じた二重発光画像領域の画素信号に対し、露光期間中に１回ストロボ発光されたラインに応じた単発光画像領域の画素信号に基づいて補正処理を施すことを特徴とする内視鏡装置の動作方法。 While the image generation unit is flashed at a predetermined time interval, each pixel signal read from the XY address type image sensor according to the rolling shutter method is determined based on the pixel signal between adjacent fields / frames. An operation method of an endoscope apparatus for generating a field / frame image,
For the pixel signal of the dual light emission image area corresponding to the line that was flashed twice or more during the exposure period, the correction processing unit is a single light emission image area corresponding to the line that was flashed once during the exposure period An operation method for an endoscope apparatus, wherein correction processing is performed based on the pixel signal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015085101A JP6517573B2 (en) | 2015-04-17 | 2015-04-17 | Image processing apparatus and endoscope apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015085101A JP6517573B2 (en) | 2015-04-17 | 2015-04-17 | Image processing apparatus and endoscope apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016202380A true JP2016202380A (en) | 2016-12-08 |
| JP6517573B2 JP6517573B2 (en) | 2019-05-22 |
Family
ID=57488114
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015085101A Active JP6517573B2 (en) | 2015-04-17 | 2015-04-17 | Image processing apparatus and endoscope apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6517573B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018021035A1 (en) * | 2016-07-26 | 2018-02-01 | ソニー株式会社 | Image processing device and method, endoscope system, and program |
| CN109793486A (en) * | 2017-11-16 | 2019-05-24 | 卡尔史托斯影像有限公司 | Improved vocal cords stroboscope photograph inspection |
| WO2019155902A1 (en) * | 2018-02-09 | 2019-08-15 | オリンパス株式会社 | Image capturing system |
| CN114359014A (en) * | 2020-09-30 | 2022-04-15 | 安霸国际有限合伙企业 | Dynamic driver mechanism for rolling shutter sensor to obtain structured light patterns |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009254794A (en) * | 2008-03-27 | 2009-11-05 | Fujifilm Corp | Imaging apparatus, imaging method, and program |
| JP2010162123A (en) * | 2009-01-14 | 2010-07-29 | Fujifilm Corp | Image processing system, image processing method and program |
| WO2014156604A1 (en) * | 2013-03-26 | 2014-10-02 | 富士フイルム株式会社 | Endoscope system, operational method therefor and processor device |
| JP2015016096A (en) * | 2013-07-10 | 2015-01-29 | Hoya株式会社 | Electronic endoscope |
| JP2015019697A (en) * | 2013-07-16 | 2015-02-02 | Hoya株式会社 | Stroboscope and larynx electronic endoscope |
| JP2015054211A (en) * | 2013-09-13 | 2015-03-23 | Hoya株式会社 | Image pickup device and electronic endoscope apparatus |
| JP2015073199A (en) * | 2013-10-02 | 2015-04-16 | オリンパス株式会社 | Imaging device, image processing apparatus, and image processing method |
-
2015
- 2015-04-17 JP JP2015085101A patent/JP6517573B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009254794A (en) * | 2008-03-27 | 2009-11-05 | Fujifilm Corp | Imaging apparatus, imaging method, and program |
| JP2010162123A (en) * | 2009-01-14 | 2010-07-29 | Fujifilm Corp | Image processing system, image processing method and program |
| WO2014156604A1 (en) * | 2013-03-26 | 2014-10-02 | 富士フイルム株式会社 | Endoscope system, operational method therefor and processor device |
| JP2015016096A (en) * | 2013-07-10 | 2015-01-29 | Hoya株式会社 | Electronic endoscope |
| JP2015019697A (en) * | 2013-07-16 | 2015-02-02 | Hoya株式会社 | Stroboscope and larynx electronic endoscope |
| JP2015054211A (en) * | 2013-09-13 | 2015-03-23 | Hoya株式会社 | Image pickup device and electronic endoscope apparatus |
| JP2015073199A (en) * | 2013-10-02 | 2015-04-16 | オリンパス株式会社 | Imaging device, image processing apparatus, and image processing method |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018021035A1 (en) * | 2016-07-26 | 2018-02-01 | ソニー株式会社 | Image processing device and method, endoscope system, and program |
| JPWO2018021035A1 (en) * | 2016-07-26 | 2019-05-09 | ソニー株式会社 | Image processing apparatus and method, endoscope system, and program |
| US11457801B2 (en) | 2016-07-26 | 2022-10-04 | Sony Corporation | Image processing device, image processing method, and endoscope system |
| CN109793486A (en) * | 2017-11-16 | 2019-05-24 | 卡尔史托斯影像有限公司 | Improved vocal cords stroboscope photograph inspection |
| EP3494864A3 (en) * | 2017-11-16 | 2019-10-09 | Karl Storz Imaging, Inc. | Improved vocal cord stroboscopy |
| US10835116B2 (en) | 2017-11-16 | 2020-11-17 | Karl Storz Imaging, Inc. | Vocal cord stroboscopy |
| CN109793486B (en) * | 2017-11-16 | 2023-08-04 | 卡尔史托斯影像有限公司 | Improved vocal cord strobe photography examination |
| WO2019155902A1 (en) * | 2018-02-09 | 2019-08-15 | オリンパス株式会社 | Image capturing system |
| JPWO2019155902A1 (en) * | 2018-02-09 | 2020-12-03 | オリンパス株式会社 | Imaging system and processing equipment |
| US11503990B2 (en) | 2018-02-09 | 2022-11-22 | Olympus Corporation | Imaging system, processing device and illumination control method to set emission timing of illumination light in readout period of signal value of imager |
| CN114359014A (en) * | 2020-09-30 | 2022-04-15 | 安霸国际有限合伙企业 | Dynamic driver mechanism for rolling shutter sensor to obtain structured light patterns |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6517573B2 (en) | 2019-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5764740B2 (en) | Imaging device | |
| JP5123443B2 (en) | Signal processing apparatus and still image generation method | |
| JP2010258933A (en) | Image transforming apparatus and method of controlling operation of the same | |
| JP7118893B2 (en) | Imaging device, imaging method, and electronic device | |
| JP2006186592A (en) | Imaging apparatus and control method thereof | |
| JP6517573B2 (en) | Image processing apparatus and endoscope apparatus | |
| JP2006186593A (en) | Imaging apparatus and control method thereof | |
| JP6261397B2 (en) | Imaging apparatus and control method thereof | |
| WO2015004975A1 (en) | Image capture system | |
| JP2017225072A (en) | Imaging apparatus, control method thereof, and program | |
| JP5581968B2 (en) | Imaging device | |
| JP6652303B2 (en) | Flash band determination device, control method thereof, control program, and imaging device | |
| JP6196105B2 (en) | Imaging apparatus and electronic endoscope apparatus | |
| JP5947625B2 (en) | Imaging apparatus and control method thereof | |
| JP6226536B2 (en) | Imaging apparatus and control method thereof | |
| JP6124703B2 (en) | Imaging apparatus and control method thereof | |
| JP6145746B2 (en) | Imaging device | |
| JP2006135501A (en) | Imaging apparatus | |
| JP6659163B2 (en) | Flash band determination device, control method thereof, and program | |
| JP6141129B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM | |
| JP7478006B2 (en) | Imaging device, control method thereof, and program | |
| JP5663989B2 (en) | Imaging apparatus and image composition program | |
| JP2018074326A (en) | Image processing device, image processing method, and program | |
| JP6797566B2 (en) | Image pickup device, control method of image pickup device, and image processing device | |
| JP2022187873A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180327 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181225 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190409 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190418 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6517573 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |