JP2017185254A - Endoscope system, endoscopic image processing device, and image processing method - Google Patents

Endoscope system, endoscopic image processing device, and image processing method Download PDF

Info

Publication number
JP2017185254A
JP2017185254A JP2017101728A JP2017101728A JP2017185254A JP 2017185254 A JP2017185254 A JP 2017185254A JP 2017101728 A JP2017101728 A JP 2017101728A JP 2017101728 A JP2017101728 A JP 2017101728A JP 2017185254 A JP2017185254 A JP 2017185254A
Authority
JP
Japan
Prior art keywords
unit
image signal
image
endoscope
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017101728A
Other languages
Japanese (ja)
Other versions
JP6332524B2 (en
Inventor
恒生 林
Tsuneo Hayashi
恒生 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2017101728A priority Critical patent/JP6332524B2/en
Publication of JP2017185254A publication Critical patent/JP2017185254A/en
Application granted granted Critical
Publication of JP6332524B2 publication Critical patent/JP6332524B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To correct an image signal captured by an endoscope device based on an angular speed of a head part.SOLUTION: An endoscope system includes: an endoscope device having a lens barrel part including an objective lens, and a head part, in which a gyro part for detecting movement of the head part is provided in the head part; and an image processing device comprising a correction part which, based on movement of an image corresponding to an image signal input from the endoscope device and the movement of the head part detected by the gyro part, generates a deflection correction image signal in which deflection of the image signal is corrected. The present disclosure can be used, for example, for laparoscopic surgery.SELECTED DRAWING: Figure 2

Description

本開示は、内視鏡システム、内視鏡画像処理装置、および画像処理方法に関し、特に、例えば、腹腔鏡下手術などで用いられる内視鏡装置によってビデオ撮像された画像の振れを補正できるようにした内視鏡システム、内視鏡画像処理装置、および画像処理方法に関する。   The present disclosure relates to an endoscope system, an endoscope image processing apparatus, and an image processing method, and in particular, can correct shake of an image captured by an endoscope apparatus used in, for example, laparoscopic surgery. The present invention relates to an endoscope system, an endoscope image processing apparatus, and an image processing method.

近年、医療現場においては従来の開腹手術に代わって腹腔鏡下手術が行われることがある。   In recent years, laparoscopic surgery may be performed in place of conventional laparotomy in medical practice.

図１は、腹腔鏡下手術の概要を示している。腹腔鏡下手術では、例えば腹部の手術を行う場合、従来行われていた腹壁１を切って開腹する代わりに、トロッカ２と称される開孔器具が腹壁に数か所取り付けられ、トロッカ２に設けられている孔から腹腔鏡（以下、内視鏡装置または内視鏡とも称する）３と処置具４が体内に挿入される。そして、内視鏡３によってビデオ撮像された患部（腫瘍等）５の画像をリアルタイムに見ながら、処置具４によって患部５を切除するなどの処置が行われる。   FIG. 1 shows an overview of laparoscopic surgery. In laparoscopic surgery, for example, when performing abdominal surgery, instead of cutting the abdominal wall 1 that has been conventionally performed and opening the stomach, several opening devices called trocars 2 are attached to the abdominal wall. A laparoscope (hereinafter also referred to as an endoscopic device or an endoscope) 3 and a treatment instrument 4 are inserted into the body through the provided holes. Then, a treatment such as excision of the affected part 5 is performed with the treatment tool 4 while viewing an image of the affected part (tumor or the like) 5 captured by the endoscope 3 in real time.

なお、内視鏡３によりビデオ撮像される画像には画像振れが生じ得るので、それを補正する仕組みが必要となる。   Note that since an image shake may occur in an image captured by the endoscope 3, a mechanism for correcting the image shake is necessary.

例えば、特許文献１には、先端部分を湾曲させることにより撮像位置を調整できる内視鏡が記載されており、該先端部分の湾曲方向および湾曲角速度を検出し、それらに基づいて振れ補正を行うことが記載されている。   For example, Patent Document 1 describes an endoscope that can adjust an imaging position by bending a distal end portion, detects a bending direction and a bending angular velocity of the distal end portion, and performs shake correction based on them. It is described.

特開平５−４９５９９号公報Japanese Patent Laid-Open No. 5-49599

一方、図１に示されるような直線棒状の内視鏡３では、ヘッド部６を術者、助手、スコピスト、またはロボットなどが保持しているが、ヘッド部６を保持する手などが振れた場合、その振れの動きが、トロッカ２を支点（回転センタ）として対物レンズ７に伝わるので、ヘッド部６を保持する手の振れに起因する画像振れが発生し得る。なお、ヘッド部６にジャイロを搭載し、その移動角速度を検出するものは従来存在するが、この移動角速度は例えば３次元表示を実現するに際して必要となるカメラの向きを検出するために用いられており、画像振れの補正には利用されていない。   On the other hand, in the linear rod-shaped endoscope 3 as shown in FIG. 1, the head portion 6 is held by an operator, an assistant, a scoopist, or a robot, but the hand holding the head portion 6 is shaken. In this case, since the movement of the shake is transmitted to the objective lens 7 using the trocar 2 as a fulcrum (rotation center), image shake due to the shake of the hand holding the head unit 6 may occur. In the past, there has been a gyro mounted on the head unit 6 and its moving angular velocity is detected, but this moving angular velocity is used to detect the orientation of the camera necessary for realizing, for example, three-dimensional display. It is not used for image blur correction.

本開示はこのような状況に鑑みてなされたものであり、ヘッド部の角速度に基づいて画像を補正できるようにするものである。   This indication is made in view of such a situation, and makes it possible to correct an image based on the angular velocity of a head part.

本開示の第１の側面である内視鏡システムは、対物レンズを含む鏡筒部、およびヘッド部を有し、前記ヘッド部の動きを検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置と、前記内視鏡装置から入力される画像信号に対応する画像の動きと、前記ジャイロ部により検出された前記ヘッド部の動きとに基づいて、前記画像信号の振れが補正された振れ補正画像信号を生成する補正部を備える画像処理装置とを含む。   An endoscope system according to a first aspect of the present disclosure includes a lens barrel portion including an objective lens and a head portion, and a gyro portion that detects movement of the head portion is provided in the head portion. Based on the endoscope apparatus, the movement of the image corresponding to the image signal input from the endoscope apparatus, and the movement of the head part detected by the gyro part, the shake of the image signal is corrected And an image processing apparatus including a correction unit that generates a shake correction image signal.

本開示の第２の側面である内視鏡画像処理装置は、対物レンズを含む鏡筒部、およびヘッド部を有し、前記ヘッド部の動きを検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置から入力される画像信号に対応する画像の動きと、前記ジャイロ部により検出された前記ヘッド部の動きとに基づいて、前記画像信号の振れが補正された振れ補正画像信号を生成する補正部を備える。   An endoscopic image processing apparatus according to a second aspect of the present disclosure includes a lens barrel unit including an objective lens and a head unit, and a gyro unit for detecting movement of the head unit is provided in the head unit. A shake-corrected image signal in which the shake of the image signal is corrected based on the motion of the image corresponding to the image signal input from the endoscope apparatus and the motion of the head portion detected by the gyroscope. A correction unit is provided.

本開示の第２の側面である画像処理方法は、対物レンズを含む鏡筒部、およびヘッド部を有し、前記ヘッド部の動きを検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置から入力される画像信号を処理する内視鏡画像処理装置の内視鏡画像処理方法において、前記内視鏡画像処理装置による、前記画像信号に対応する画像の動きと、前記ジャイロ部により検出された前記ヘッド部の動きとに基づいて、前記画像信号の振れが補正された振れ補正画像信号を生成するステップを含む。   An image processing method according to a second aspect of the present disclosure includes a lens barrel portion including an objective lens and a head portion, and an internal view in which a gyro portion for detecting movement of the head portion is provided in the head portion. In an endoscopic image processing method of an endoscopic image processing apparatus that processes an image signal input from a mirror apparatus, an image motion corresponding to the image signal by the endoscopic image processing apparatus and the gyro unit And generating a shake-corrected image signal in which the shake of the image signal is corrected based on the detected movement of the head unit.

本開示の第１および第２の側面においては、画像信号に対応する画像の動きと、ジャイロ部により検出されたヘッド部の動きとに基づいて、画像信号の振れが補正された振れ補正画像信号が生成される。   In the first and second aspects of the present disclosure, the shake-corrected image signal in which the shake of the image signal is corrected based on the motion of the image corresponding to the image signal and the motion of the head detected by the gyroscope Is generated.

本開示の第１および第２の側面によれば、内視鏡装置のヘッド部の角速度に基づいて、内視鏡装置によって撮像された画像を補正することができる。   According to the first and second aspects of the present disclosure, an image captured by the endoscope apparatus can be corrected based on the angular velocity of the head unit of the endoscope apparatus.

腹腔鏡下手術の概要を示す図である。It is a figure which shows the outline | summary of a laparoscopic operation. 本開示を適用した内視鏡システムの構成例を示すブロック図である。It is a block diagram showing an example of composition of an endoscope system to which this indication is applied. 図２の内視鏡装置の他の構成例を示すブロック図である。It is a block diagram which shows the other structural example of the endoscope apparatus of FIG. 図画像補正装置による補正処理の概要を説明する図である。It is a figure explaining the outline | summary of the correction process by a figure image correction apparatus. 画像補正装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of an image correction apparatus. グローバル動きベクトル算出部の構成例を示すブロック図である。It is a block diagram which shows the structural example of a global motion vector calculation part. 内視鏡装置における対物レンズ、回転センタ、およびジャイロ部の位置関係を示す図である。It is a figure which shows the positional relationship of the objective lens, rotation center, and gyro part in an endoscope apparatus. ジャイロ部の角速度と対物レンズの移動量の関係を示す図である。It is a figure which shows the relationship between the angular velocity of a gyro part, and the moving amount | distance of an objective lens. 画像補正処理を説明するフローチャートである。It is a flowchart explaining an image correction process. 手振れ補正後の画像を用いたスティッチング合成を説明する図である。It is a figure explaining the stitching composition using the image after camera shake correction. コンピュータの構成例を示すブロック図である。It is a block diagram which shows the structural example of a computer.

以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。   Hereinafter, the best mode for carrying out the present disclosure (hereinafter referred to as an embodiment) will be described in detail with reference to the drawings.

＜内視鏡システムの構成例＞
図２は、本開示の実施の形態である内視鏡システムの構成例を示している。この内視鏡システム１０は、内視鏡装置１１、画像補正装置（画像処理装置）１２、および表示装置１３から構成される。 <Configuration example of endoscope system>
FIG. 2 illustrates a configuration example of an endoscope system that is an embodiment of the present disclosure. The endoscope system 10 includes an endoscope device 11, an image correction device (image processing device) 12, and a display device 13.

内視鏡装置１１と画像補正装置１２は、ケーブルを介して接続する他、無線で接続してもよい。また、画像補正装置１２を手術室から離れた場所に配置し、構内LANやインターネットなどのネットワークを介して接続するようにしてもよい。画像補正装置１２と表示装置１３の接続についても同様とする。   The endoscope apparatus 11 and the image correction apparatus 12 may be connected wirelessly in addition to being connected via a cable. Further, the image correction apparatus 12 may be arranged at a location away from the operating room and connected via a network such as a local area LAN or the Internet. The same applies to the connection between the image correction device 12 and the display device 13.

内視鏡装置１１は、直線棒状の鏡筒部２１とヘッド部２４から構成される。鏡筒部２１は、光学視管または硬性管とも称され、その長さが数１０センチ程度であり、体内の挿入される側の一端には対物レンズ２２が設けられており、他端はヘッド部２４に接続されている。鏡筒部２１の内部にはリレー光学系の光学レンズ部２３が設けられている。なお、鏡筒部２１の形状は、直線棒状に限定されるものではない。   The endoscope apparatus 11 includes a linear rod-shaped lens barrel portion 21 and a head portion 24. The lens barrel 21 is also referred to as an optical viewing tube or a rigid tube, and has a length of about several tens of centimeters. An objective lens 22 is provided at one end of the body to be inserted, and the other end is a head. Connected to the unit 24. An optical lens portion 23 of a relay optical system is provided inside the lens barrel portion 21. Note that the shape of the lens barrel 21 is not limited to a straight bar shape.

ヘッド部２４には、撮像部２５およびジャイロ部２６が内蔵されている。撮像部２５は、CMOSなどの撮像素子を有し、鏡筒部２１から入力される患部の光学像を所定のフレームレートで画像信号に変換する。   The head unit 24 includes an imaging unit 25 and a gyro unit 26. The imaging unit 25 includes an imaging element such as a CMOS, and converts an optical image of the affected part input from the lens barrel unit 21 into an image signal at a predetermined frame rate.

ジャイロ部２６は、ヘッド部２４が動かされる時の角速度（Yaw回転軸に対するYaw角速度ｗｙ、およびPitch回転軸に対するPitch角速度ｗｐ）を検出して後段の画像補正装置１２に出力する。   The gyro unit 26 detects an angular velocity (Yaw angular velocity wy with respect to the Yaw rotation axis and Pitch angular velocity wp with respect to the Pitch rotation axis) when the head unit 24 is moved, and outputs the detected angular velocity to the subsequent image correction device 12.

内視鏡装置１１においては、対物レンズ２２により集光される患部の光学像が光学レンズ部２３を介してヘッド部２４の撮像部２５に入射され、撮像部２５によって所定のフレームレートの画像信号に変換されて後段の画像補正装置１２に出力される。また、内視鏡装置１１においては、ジャイロ部２６により、ヘッド部２４の動きの角速度が検出されて後段の画像補正装置１２に出力される。   In the endoscope apparatus 11, an optical image of the affected part collected by the objective lens 22 is incident on the imaging unit 25 of the head unit 24 through the optical lens unit 23, and the imaging unit 25 outputs an image signal having a predetermined frame rate. And output to the subsequent image correction device 12. In the endoscope apparatus 11, the gyro section 26 detects the angular velocity of the movement of the head section 24 and outputs the detected angular velocity to the subsequent image correction apparatus 12.

図３は、内視鏡装置１１の他の構成例を示している。同図に示されるように、対物レンズ２２の直後に撮像部２５を配置し、鏡筒部２１の内部の光学レンズ部２３を省略するようにしてもよい。   FIG. 3 shows another configuration example of the endoscope apparatus 11. As shown in the figure, an imaging unit 25 may be disposed immediately after the objective lens 22, and the optical lens unit 23 inside the lens barrel unit 21 may be omitted.

次に、図４は画像補正装置１２による補正処理の概要を示している。画像補正装置１２は、内視鏡装置１１の撮像部２５から所定のフレームレートで入力される画像信号の全領域（有効画素エリア）から、有効画素エリアよりも小さなサイズの切り出しエリアを切り出すことにより得られる画像信号を後段の表示装置１３に出力する。この時、切り出しエリアの位置を手振れに応じたシフト量だけ移動させることによって手振れを補正することができる。また、内視鏡装置１１の撮像部２５のシャッタ機構がローリングシャッタである場合、それに起因したローリングシャッタ歪を除去することができる。   Next, FIG. 4 shows an outline of correction processing by the image correction device 12. The image correction apparatus 12 cuts out a cut-out area having a size smaller than the effective pixel area from the entire area (effective pixel area) of the image signal input at a predetermined frame rate from the imaging unit 25 of the endoscope apparatus 11. The obtained image signal is output to the subsequent display device 13. At this time, the camera shake can be corrected by moving the position of the cut-out area by a shift amount corresponding to the camera shake. Further, when the shutter mechanism of the imaging unit 25 of the endoscope apparatus 11 is a rolling shutter, rolling shutter distortion caused by the shutter mechanism can be removed.

図５は、画像補正装置１２の構成例を示している。画像補正装置１２は、グローバル動きベクトル算出部３１、回転センタ位置推定部３２、回転センタ位置平準化部３３、角速度平準化部３４、シフト量決定部３５、画像切り出し部３６、歪除去部３７、および画像出力部３８から構成される。   FIG. 5 shows a configuration example of the image correction device 12. The image correction apparatus 12 includes a global motion vector calculation unit 31, a rotation center position estimation unit 32, a rotation center position leveling unit 33, an angular velocity leveling unit 34, a shift amount determination unit 35, an image cutout unit 36, a distortion removal unit 37, And an image output unit 38.

グローバル動きベクトル算出部３１は、内視鏡装置１１の撮像部２５から入力される所定のフレームレートの画像信号に基づき、画像全体としての動きベクトル（以下、グローバル動きベクトルと称する）とその信頼度を算出して回転センタ位置推定部３２に出力する。   The global motion vector calculation unit 31 is based on an image signal of a predetermined frame rate input from the imaging unit 25 of the endoscope apparatus 11 and a motion vector (hereinafter referred to as a global motion vector) as a whole image and its reliability. Is calculated and output to the rotation center position estimation unit 32.

図６は、グローバル動きベクトル算出部３１の構成例を示している。グローバル動きベクトル算出部３１は、ローカル動き検出部４１およびグローバル動き平準化部４２から構成される。   FIG. 6 shows a configuration example of the global motion vector calculation unit 31. The global motion vector calculation unit 31 includes a local motion detection unit 41 and a global motion leveling unit 42.

ローカル動き検出部４１は、撮像部２５から入力される画像信号の画面を所定のサイズのブロックに区切り、ブロック毎に１フレーム前の画像信号と比較することによってブロック単位の動きベクトル（以下、ローカル動きベクトルとも称する）と、その信頼度をグローバル動き平準化部４２に出力する。   The local motion detection unit 41 divides the screen of the image signal input from the imaging unit 25 into blocks of a predetermined size, and compares the motion signal in units of blocks (hereinafter referred to as local The reliability is also output to the global motion leveling unit 42.

グローバル動き平準化部４２は、各フレームのブロック毎のローカル動きベクトルのうち、信頼度が高いものを積分することにより、該フレームのグローバル動きベクトルを決定する。さらに、グローバル動き平準化部４２は、該フレームの前の数フレーム分のグローバル動きベクトルを平準化することにより瞬時エラーを除去する。なお、後段の回転センタ位置推定部３２における回転センタ位置の推定の頻度が画像信号のフレームレートよりも低い場合、該フレームの後の数フレーム分のグローバル動きベクトルも用いて平準化するようにしてもよい。   The global motion leveling unit 42 determines the global motion vector of the frame by integrating the local motion vectors for each block of each frame with high reliability. Furthermore, the global motion leveling unit 42 removes instantaneous errors by leveling the global motion vectors for several frames before the frame. When the rotation center position estimation frequency in the subsequent rotation center position estimation unit 32 is lower than the frame rate of the image signal, leveling is performed using the global motion vectors for several frames after the frame. Also good.

図５に戻る。回転センタ位置推定部３２は、内視鏡装置１１のジャイロ部２６によって検出されたヘッド部２４の角速度、および、グローバル動きベクトルとその信頼度に基づいて、内視鏡装置１１のヘッド部２４を動かしたことによって対物レンズ２２が動くときの回転センタ（支点）の位置を推定し、その信頼度とともに回転センタ位置平準化部３３に出力する。なお、回転センタ位置推定は、所定の時間間隔で連続的に実行する。   Returning to FIG. The rotation center position estimation unit 32 moves the head unit 24 of the endoscope apparatus 11 based on the angular velocity of the head unit 24 detected by the gyro unit 26 of the endoscope apparatus 11 and the global motion vector and its reliability. The position of the rotation center (fulcrum) when the objective lens 22 moves as a result of the movement is estimated and output to the rotation center position leveling unit 33 together with the reliability. The rotation center position estimation is continuously executed at predetermined time intervals.

回転センタ位置平準化部３３は、推定された回転センタの位置を時間方向に積分することによって平準化し、瞬時エラーを除去した回転センタの位置をシフト量決定部３５に出力する。   The rotation center position leveling unit 33 leveles the estimated position of the rotation center by integrating in the time direction, and outputs the position of the rotation center from which the instantaneous error has been removed to the shift amount determination unit 35.

角速度平準化部３４は、内視鏡装置１１のジャイロ部２６によって検出されたヘッド部２４の角速度を時間方向に積分することによって平準化し、瞬時エラーを除去した角速度をシフト量決定部３５および歪除去部３７に出力する。   The angular velocity leveling unit 34 leveles the angular velocity of the head unit 24 detected by the gyro unit 26 of the endoscope apparatus 11 by integrating it in the time direction, and converts the angular velocity from which the instantaneous error has been removed to the shift amount determining unit 35 and the distortion. The data is output to the removal unit 37.

シフト量決定部３５は、平準化された回転センタの位置と、平準化された角速度に基づいて、対物レンズ２２の移動量を算出し、算出した対物レンズ２２の移動量から画像切り出しエリアのシフト量を決定して画像切り出し部３６に通知する。なお、対物レンズ２２の移動量に対応する画像切り出しエリアのシフト量は、対物レンズ２２の倍率に応じて変化する。そこで、シフト量決定部３５には、対物レンズ２２の倍率と移動量からシフト量を算出する関数を保持させておくか、これらの対応を表すテーブルを予め保持させるようにする。   The shift amount determination unit 35 calculates the movement amount of the objective lens 22 based on the leveled rotation center position and the leveled angular velocity, and shifts the image cut-out area from the calculated movement amount of the objective lens 22. The amount is determined and notified to the image cutout unit 36. The shift amount of the image cutout area corresponding to the movement amount of the objective lens 22 changes according to the magnification of the objective lens 22. Accordingly, the shift amount determination unit 35 holds a function for calculating the shift amount from the magnification and the movement amount of the objective lens 22 or holds a table indicating the correspondence between them in advance.

画像切り出し部３６は、内視鏡装置１１の撮像部２５から順次入力される所定のフレームレートの画像信号から、シフト量決定部３５からのシフト量に応じてその位置を調整した切り出しエリアの画素を切り出し、その結果得られた手振れ補正画像信号を歪除去部３７に出力する。   The image cutout unit 36 is a pixel in a cutout area in which the position is adjusted according to the shift amount from the shift amount determination unit 35 from image signals of a predetermined frame rate sequentially input from the imaging unit 25 of the endoscope apparatus 11. And the camera shake correction image signal obtained as a result is output to the distortion removing unit 37.

歪除去部３７は、画像切り出し部３６からの手振れ補正画像信号にローリングシャッタ歪（撮像部２５のシャッタ機構がローリングシャッタである場合に生じ得る）が生じている場合、それを除去して画像出力部３８に出力する。なお、ローリングシャッタ歪の除去については既存の任意の方法を適用すればよい。   The distortion removing unit 37 removes the rolling shutter distortion (which may occur when the shutter mechanism of the imaging unit 25 is a rolling shutter) in the image stabilization image signal from the image cutout unit 36, and outputs the image after removing the rolling shutter distortion. To the unit 38. Note that any existing method may be applied to remove rolling shutter distortion.

画像出力部３８は、歪除去部３７を介して入力される手振れ補正画像信号を後段（今の場合、表示装置１３）に出力する。   The image output unit 38 outputs the camera shake correction image signal input through the distortion removing unit 37 to the subsequent stage (in this case, the display device 13).

次に、回転センタの位置の推定と、切り出しエリアの位置のシフト量について、図７および図８を参照して詳述する。   Next, the estimation of the position of the rotation center and the shift amount of the position of the cut-out area will be described in detail with reference to FIGS.

図７は、内視鏡装置１１の対物レンズ２２、ジャイロ部２６、および回転センタの位置の関係を示している。図８は、対物レンズ２２の移動量とジャイロ部２６の角速度の関係を示している。   FIG. 7 shows the positional relationship between the objective lens 22, the gyroscope 26, and the rotation center of the endoscope apparatus 11. FIG. 8 shows the relationship between the amount of movement of the objective lens 22 and the angular velocity of the gyroscope 26.

図７に示されるように、対物レンズ２２とジャイロ部２６の距離をｄ、対物レンズ２２と回転センタの距離をａ、回転センタとジャイロ部２６の距離をｂとする。なお、該内視鏡装置１１を図１に示された状態の腹腔鏡化手術に用いた場合、トロッカ２が回転センタとなる。   As shown in FIG. 7, the distance between the objective lens 22 and the gyroscope 26 is d, the distance between the objective lens 22 and the rotation center is a, and the distance between the rotation center and the gyroscope 26 is b. When the endoscope apparatus 11 is used for laparoscopic surgery in the state shown in FIG. 1, the trocar 2 serves as a rotation center.

一方、対物レンズ２２の移動量（Ｄｘ，Ｄｙ，Ｄｚ）とジャイロ部２６の角速度（Yaw角速度ｗy、Pitch角速度ｗp）の関係は次式（１）（近似式）のとおりとなる。
Ｄｘ＝ａ sin（ｗyｔ）
Ｄｙ＝ａ sin（ｗPｔ）
Ｄｚ＝ａ（１−cos（ｗyｔ））（１−cos（ｗPｔ）） （１）
ｔは１フレーム時間を表す。 On the other hand, the following of the movement of the objective lens 22 (Dx, Dy, Dz) and the gyro unit 26 angular (Yaw velocity w y, Pitch angular velocity w p) of the relationship equation (1) (approximate expression).
Dx = a sin (w y t)
Dy = a sin (w P t)
Dz = a (1-cos ( w y t)) (1-cos (w P t)) (1)
t represents one frame time.

また、検出されるグローバル動きベクトル（Ｖｘ，Ｖｙ）とジャイロ部２６の角速度（Yaw角速度ｗy、Pitch角速度ｗp）の関係は次式（２）（近似式）のとおりとなる。
Ｖｘ＝ａ sin（ｗyｔ）
Ｖｙ＝ａ sin（ｗPｔ） （２）
ｔは１フレーム時間を表す。 The relationship between the global motion vector detected (Vx, Vy) and the gyro unit 26 angular (Yaw velocity w y, Pitch angular velocity w p) becomes as the following equation (2) (approximate expression).
Vx = a sin (w y t)
Vy = a sin (w P t) (2)
t represents one frame time.

回転センタ位置推定部３２では、逐次入力される角速度と、平準化されたグローバル動きベクトルを式(２)に適用して、回転センタの位置ａの値を算出する。   The rotation center position estimation unit 32 calculates the value of the position a of the rotation center by applying the angular velocity that is sequentially input and the leveled global motion vector to Equation (2).

シフト量決定部３５では、平準化された回転センタの位置ａと、平準化された角速度を式(１)に適用して対物レンズ２２の移動量Ｄｘ，Ｄｙ，Ｄｚを算出し、これらに基づいて切り出しエリアのシフト量を決定する。   The shift amount determination unit 35 calculates the movement amounts Dx, Dy, Dz of the objective lens 22 by applying the leveled rotation center position a and the leveled angular velocity to the equation (1), and based on these. To determine the shift amount of the cutout area.

＜動作説明＞
次に、図９は、画像補正装置１２による画像補正処理を説明するフローチャートである。 <Description of operation>
Next, FIG. 9 is a flowchart for explaining image correction processing by the image correction device 12.

ステップＳ１において、内視鏡装置１１から画像補正装置１２に対して、所定のフレームレートの画像信号の入力と、ヘッド部２４の動きを表す角速度信号の入力が開始される。画像信号はグローバル動きベクトル算出部３１および画像切り出し部３６に、角速度信号は、回転センタ位置推定部３２および角速度平準化部３４に入力される。   In step S <b> 1, input of an image signal having a predetermined frame rate and input of an angular velocity signal representing the movement of the head unit 24 are started from the endoscope apparatus 11 to the image correction apparatus 12. The image signal is input to the global motion vector calculation unit 31 and the image cutout unit 36, and the angular velocity signal is input to the rotation center position estimation unit 32 and the angular velocity leveling unit 34.

ステップＳ２において、グローバル動きベクトル算出部３１では、ローカル動き検出部４１が、前段から入力される画像信号の画面を所定のサイズのブロックに区切り、ブロック毎に１フレーム前の画像信号と比較することによってブロック単位のローカル動きベクトルと、その信頼度を算出する。ステップＳ３において、グローバル動きベクトル算出部３１のグローバル動き平準化部４２は、各フレームのブロック毎のローカル動きベクトルのうち、信頼度が高いものを積分することにより、該フレームのグローバル動きベクトルを決定し、該フレームの前の数フレーム分のグローバル動きベクトルを平準化して回転センタ位置推定部３２に出力する。   In step S <b> 2, in the global motion vector calculation unit 31, the local motion detection unit 41 divides the screen of the image signal input from the previous stage into blocks of a predetermined size, and compares the image signal with the previous frame for each block. To calculate the local motion vector in block units and its reliability. In step S3, the global motion leveling unit 42 of the global motion vector calculating unit 31 determines the global motion vector of the frame by integrating the local motion vector for each block of each frame with high reliability. Then, the global motion vectors for several frames before the frame are leveled and output to the rotation center position estimation unit 32.

ステップＳ４において、回転センタ位置推定部３２では、逐次入力される角速度と、平準化されたグローバル動きベクトルを式(２)に適用して、回転センタの位置ａの値を算出する。ステップＳ５において、回転センタ位置平準化部３３は、推定された回転センタの位置を時間方向に積分することによって平準化してシフト量決定部３５に出力する。   In step S4, the rotation center position estimation unit 32 calculates the value of the position a of the rotation center by applying the sequentially input angular velocity and the leveled global motion vector to Equation (2). In step S <b> 5, the rotation center position leveling unit 33 leveles the estimated rotation center position by integrating in the time direction and outputs the level to the shift amount determination unit 35.

一方、角速度平準化部３４では、ステップＳ６として、内視鏡装置１１のジャイロ部２６によって検出されたヘッド部２４の角速度を時間方向に積分することによって平準化してシフト量決定部３５および歪除去部３７に出力する。ステップＳ７において、シフト量決定部３５は、平準化された回転センタの位置と、平準化された角速度に基づいて、対物レンズ２２の移動量を算出し、さらに、算出した対物レンズ２２の移動量から画像切り出しエリアのシフト量を決定して画像切り出し部３６に通知する。   On the other hand, in the angular velocity leveling unit 34, as step S6, the angular velocity of the head unit 24 detected by the gyro unit 26 of the endoscope apparatus 11 is leveled by integrating in the time direction, and the shift amount determining unit 35 and distortion removal are performed. To the unit 37. In step S7, the shift amount determination unit 35 calculates the movement amount of the objective lens 22 based on the leveled rotation center position and the leveled angular velocity, and further calculates the calculated movement amount of the objective lens 22. Then, the shift amount of the image cutout area is determined and notified to the image cutout unit 36.

ステップＳ８において、画像切り出し部３６は、内視鏡装置１１から順次入力される所定のフレームレートの画像信号から、シフト量決定部３５からのシフト量に応じてその位置を調整した切り出しエリアの画素を切り出し、その結果得られた手振れ補正画像信号を歪除去部３７に出力する。   In step S <b> 8, the image cutout unit 36 adjusts the position of the pixel in the cutout area according to the shift amount from the shift amount determination unit 35 from the image signal of a predetermined frame rate sequentially input from the endoscope apparatus 11. And the camera shake correction image signal obtained as a result is output to the distortion removing unit 37.

ステップＳ９において、歪除去部３７は、画像切り出し部３６からの手振れ補正画像信号にローリングシャッタ歪が生じている場合、それを除去して画像出力部３８に出力する。画像出力部３８は、歪除去部３７を介して入力される手振れ補正画像信号を表示装置１３に出力する。以上で、画像補正処理の説明を終了する。   In step S <b> 9, when the camera shake correction image signal from the image cutout unit 36 has a rolling shutter distortion, the distortion removal unit 37 removes it and outputs it to the image output unit 38. The image output unit 38 outputs a camera shake correction image signal input via the distortion removal unit 37 to the display device 13. This is the end of the description of the image correction process.

以上に説明したように、本実施の形態である内視鏡システム１０は、内視鏡装置１１によって撮像したビデオ画像に生じ得る手振れを補正することができる。   As described above, the endoscope system 10 according to the present embodiment can correct camera shake that may occur in a video image captured by the endoscope apparatus 11.

また、本実施の形態である内視鏡システム１０は、例えば、推定した回転センタ（トロッカ）の位置ａの値を医師等のユーザに通知することができる。これによりユーザは、腹腔に挿入されている部分の長さを把握することができる。   In addition, the endoscope system 10 according to the present embodiment can notify a user such as a doctor of the estimated value of the position a of the rotation center (trocker), for example. Thereby, the user can grasp | ascertain the length of the part inserted in the abdominal cavity.

また、例えば内視鏡装置１１に３Ｄ測定機能を付加すれば、回転センタ（トロッカ）から被写体となる患部との位置関係を容易に算出することができる。   Further, for example, if a 3D measurement function is added to the endoscope apparatus 11, the positional relationship with the affected part that is the subject can be easily calculated from the rotation center (trocquer).

さらに、例えば、トロッカを回転センタとして内視鏡装置１１を大きく動かして撮像を行い、その結果得られる複数の画像を、図１０に示されるように、回転センタの位置と角速度に基づいてスティッチング合成すれば、比較的少ない処理量で高精度の高視野角画像を得ることができる。   Further, for example, imaging is performed by moving the endoscope apparatus 11 with the trocar as a rotation center, and a plurality of images obtained as a result are stitched based on the position and angular velocity of the rotation center as shown in FIG. If synthesized, a highly accurate high viewing angle image can be obtained with a relatively small processing amount.

ところで、上述した画像補正装置１２の一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。   By the way, a series of processes of the image correction apparatus 12 described above can be executed by hardware or can be executed by software. When a series of processing is executed by software, a program constituting the software is installed in the computer. Here, the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.

図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。   FIG. 11 is a block diagram illustrating a hardware configuration example of a computer that executes the above-described series of processing by a program.

コンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。   In the computer 100, a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, and a RAM (Random Access Memory) 103 are connected to each other by a bus 104.

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。   An input / output interface 105 is further connected to the bus 104. An input unit 106, an output unit 107, a storage unit 108, a communication unit 109, and a drive 110 are connected to the input / output interface 105.

入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。   The input unit 106 includes a keyboard, a mouse, a microphone, and the like. The output unit 107 includes a display, a speaker, and the like. The storage unit 108 includes a hard disk, a nonvolatile memory, and the like. The communication unit 109 includes a network interface or the like. The drive 110 drives a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.

以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。   In the computer 100 configured as described above, for example, the CPU 101 loads the program stored in the storage unit 108 to the RAM 103 via the input / output interface 105 and the bus 104 and executes the program. A series of processing is performed.

コンピュータ１００（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。   The program executed by the computer 100 (CPU 101) can be provided by being recorded on the removable medium 111 as a package medium, for example. The program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.

なお、コンピュータ１００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。   Note that the program executed by the computer 100 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as when a call is made in parallel. It may be a program in which processing is performed.

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。   The embodiment of the present disclosure is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present disclosure.

２ トロッカ， １０ 内視鏡システム， １１ 内視鏡装置， １２ 画像補正装置， １３ 表示装置， ２１ 鏡筒部， ２２ 対物レンズ， ２３ 光学レンズ部， ２４ ヘッド部， ２５ 撮像部， ２６ ジャイロ部， ３１ グローバル動きベクトル算出部， ３２ 回転センタ位置推定部， ３３ 回転センタ位置平準化部， ３４ 角速度平準化部， ３５ シフト量決定部， ３６ 画像切り出し部， ３７ 歪除去部， ３８ 画像出力部， ４１ ローカル動き検出部， ４２ グローバル動き平準化部， １００ コンピュータ， １０１ CPU   2 trocar, 10 endoscope system, 11 endoscope device, 12 image correction device, 13 display device, 21 lens barrel portion, 22 objective lens, 23 optical lens portion, 24 head portion, 25 imaging portion, 26 gyro portion, 31 global motion vector calculation unit, 32 rotation center position estimation unit, 33 rotation center position leveling unit, 34 angular velocity leveling unit, 35 shift amount determination unit, 36 image cutout unit, 37 distortion removal unit, 38 image output unit, 41 Local motion detector, 42 Global motion leveler, 100 computers, 101 CPU

本開示の第１の側面である内視鏡システムは、対物レンズを含む鏡筒部、およびヘッド部を有し、前記ヘッド部の動きを検出する動き検出部が前記ヘッド部に設けられている内視鏡装置と、前記内視鏡装置から入力される画像信号に対応する画像の動きと、前記動き検出部により検出された前記ヘッド部の動きとに基づいて、前記画像信号の振れが補正された振れ補正画像信号を生成する補正部を備える画像処理装置とを含む。 An endoscope system according to a first aspect of the present disclosure includes a lens barrel unit including an objective lens and a head unit, and a motion detection unit that detects the movement of the head unit is provided in the head unit. The shake of the image signal is corrected based on the endoscope apparatus, the movement of the image corresponding to the image signal input from the endoscope apparatus, and the movement of the head unit detected by the movement detection unit. And an image processing apparatus including a correction unit that generates the shake-corrected image signal.

本開示の第２の側面である内視鏡装置は、対物レンズを含む鏡筒部、およびヘッド部を有し、前記ヘッド部の動きを検出する動き検出部が前記ヘッド部に設けられている内視鏡装置から入力される画像信号に対応する画像の動きと、前記動き検出部により検出された前記ヘッド部の動きとに基づいて、前記画像信号の振れが補正された振れ補正画像信号を生成する補正部を備える。 An endoscope apparatus according to a second aspect of the present disclosure includes a lens barrel unit including an objective lens and a head unit, and a motion detection unit that detects the motion of the head unit is provided in the head unit. Based on the movement of the image corresponding to the image signal input from the endoscope apparatus and the movement of the head unit detected by the motion detection unit, a shake-corrected image signal in which the shake of the image signal is corrected is obtained. A correction unit is provided.

本開示の第２の側面である内視鏡方法は、対物レンズを含む鏡筒部、およびヘッド部を有し、前記ヘッド部の動きを検出する動き検出部が前記ヘッド部に設けられている内視鏡装置から入力される画像信号を処理する内視鏡画像処理装置の画像処理方法において、前記内視鏡画像処理装置による、前記画像信号に対応する画像の動きと、前記動き検出部により検出された前記ヘッド部の動きとに基づいて、前記画像信号の振れが補正された振れ補正画像信号を生成するステップを含む。 The endoscope method according to the second aspect of the present disclosure includes a lens barrel unit including an objective lens and a head unit, and a motion detection unit that detects the motion of the head unit is provided in the head unit. In an image processing method of an endoscopic image processing device that processes an image signal input from an endoscopic device, the motion of the image corresponding to the image signal by the endoscopic image processing device and the motion detection unit And generating a shake-corrected image signal in which the shake of the image signal is corrected based on the detected movement of the head unit.

本開示の第１および第２の側面においては、画像信号に対応する画像の動きと、動き検出部により検出されたヘッド部の動きとに基づいて、画像信号の振れが補正された振れ補正画像信号が生成される。 In the first and second aspects of the present disclosure, the shake-corrected image in which the shake of the image signal is corrected based on the motion of the image corresponding to the image signal and the motion of the head detected by the motion detection unit A signal is generated.

Claims (18)

対物レンズを含む鏡筒部、およびヘッド部を有し、前記ヘッド部の動きを検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置と、
前記内視鏡装置から入力される画像信号に対応する画像の動きと、前記ジャイロ部により検出された前記ヘッド部の動きとに基づいて、前記画像信号の振れが補正された振れ補正画像信号を生成する補正部を備える画像処理装置と
を含む内視鏡システム。 An endoscope apparatus having a lens barrel portion including an objective lens and a head portion, and a gyro portion for detecting movement of the head portion provided in the head portion;
Based on the movement of the image corresponding to the image signal input from the endoscope apparatus and the movement of the head unit detected by the gyro unit, a shake correction image signal in which the shake of the image signal is corrected is obtained. An endoscope system including: an image processing device including a correction unit that generates the endoscope system. 前記内視鏡装置は、前記画像信号を生成する撮像部をさらに有し、
前記撮像部は、前記ヘッド部に設けられている
請求項１に記載の内視鏡システム。 The endoscope apparatus further includes an imaging unit that generates the image signal,
The endoscope system according to claim 1, wherein the imaging unit is provided in the head unit. 前記内視鏡装置は、前記画像信号を生成する撮像部をさらに有し、
前記撮像部は、前記鏡筒部に設けられている
請求項１に記載の内視鏡システム。 The endoscope apparatus further includes an imaging unit that generates the image signal,
The endoscope system according to claim 1, wherein the imaging unit is provided in the lens barrel unit. 前記画像処理装置は、前記画像信号に対応する画像の動きとして、前記画像信号に対応する画像全体の動きを算出するグローバル動き算出部をさらに備える
請求項１から３のいずれかに記載の内視鏡システム。 4. The internal view according to claim 1, wherein the image processing apparatus further includes a global motion calculation unit that calculates a motion of an entire image corresponding to the image signal as a motion of the image corresponding to the image signal. 5. Mirror system. 前記補正部は、前記内視鏡装置から入力される前記画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記振れ補正画像信号を生成する
請求項１から４のいずれかに記載の内視鏡システム。 5. The endoscope according to claim 1, wherein the correction unit generates the shake correction image signal by cutting out a cutout area from an effective pixel area of the image signal input from the endoscope apparatus. 6. Mirror system. 前記画像処理装置は、前記対物レンズの移動量を算出する対物レンズ移動量算出部をさらに備え、
前記補正部は、前記対物レンズの移動量に基づいて決定された切り出しエリアのシフト量に応じて前記切り出しエリアの位置を調整することにより、前記振れ補正画像信号を生成する
請求項５に記載の内視鏡システム。 The image processing apparatus further includes an objective lens movement amount calculation unit that calculates a movement amount of the objective lens,
The said correction | amendment part produces | generates the said shake correction image signal by adjusting the position of the said cutout area according to the shift amount of the cutout area determined based on the moving amount | distance of the said objective lens. Endoscope system. 前記内視鏡装置は、前記画像信号を生成する撮像部をさらに有し、
前記撮像部のシャッタ機構は、ローリングシャッタである
請求項１に記載の内視鏡システム。 The endoscope apparatus further includes an imaging unit that generates the image signal,
The endoscope system according to claim 1, wherein the shutter mechanism of the imaging unit is a rolling shutter. 前記画像処理装置は、前記振れ補正画像信号のローリングシャッタ歪を除去する歪除去部をさらに備える
請求項７に記載の内視鏡システム。 The endoscope system according to claim 7, wherein the image processing apparatus further includes a distortion removing unit that removes rolling shutter distortion of the shake correction image signal. 前記補正部は、前記内視鏡装置を動かして撮像された複数の画像を合成し、前記画像より画角の広い画像を生成する
請求項１から８に記載の内視鏡システム。 The endoscope system according to any one of claims 1 to 8, wherein the correction unit synthesizes a plurality of images captured by moving the endoscope apparatus and generates an image having a wider angle of view than the image. 前記画像処理装置は、前記画像信号に対応する画像の動きと、検出された前記ヘッド部の動きとに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定部を備え、
推定された前記回転センタの位置に基づく値をユーザに通知するように構成される
請求項１から９に記載の内視鏡システム。 The image processing device determines the position of the rotation center when the objective lens moves according to the movement of the head unit based on the movement of the image corresponding to the image signal and the detected movement of the head unit. An estimation unit for estimating,
The endoscope system according to claim 1, wherein the endoscope system is configured to notify a user of a value based on the estimated position of the rotation center. 対物レンズを含む鏡筒部、およびヘッド部を有し、前記ヘッド部の動きを検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置から入力される画像信号に対応する画像の動きと、前記ジャイロ部により検出された前記ヘッド部の動きとに基づいて、前記画像信号の振れが補正された振れ補正画像信号を生成する補正部を
備える内視鏡画像処理装置。 An image movement corresponding to an image signal input from an endoscope apparatus having a lens barrel portion including an objective lens and a head portion, and a gyro portion for detecting the movement of the head portion provided in the head portion An endoscope image processing apparatus comprising: a correction unit that generates a shake correction image signal in which a shake of the image signal is corrected based on the movement of the head unit detected by the gyro unit. 前記画像信号に対応する画像の動きとして、前記画像信号に対応する画像全体の動きを算出するグローバル動き算出部をさらに備える
請求項１１に記載の内視鏡画像処理装置。 The endoscopic image processing device according to claim 11, further comprising a global motion calculation unit that calculates a motion of an entire image corresponding to the image signal as a motion of the image corresponding to the image signal. 前記補正部は、前記内視鏡装置から入力される前記画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記振れ補正画像信号を生成する
請求項１２に記載の内視鏡画像処理装置。 The endoscope image processing apparatus according to claim 12, wherein the correction unit generates the shake correction image signal by cutting out a cutout area from an effective pixel area of the image signal input from the endoscope apparatus. 前記対物レンズの移動量を算出する対物レンズ移動量算出部をさらに備え、
前記補正部は、前記対物レンズの移動量に基づいて決定された切り出しエリアのシフト量に応じて前記切り出しエリアの位置を調整することにより、前記振れ補正画像信号を生成する
請求項１３に記載の内視鏡画像処理装置。 An objective lens movement amount calculation unit for calculating the movement amount of the objective lens;
The correction unit generates the shake correction image signal by adjusting a position of the cutout area according to a shift amount of the cutout area determined based on a movement amount of the objective lens. Endoscopic image processing device. 前記振れ補正画像信号のローリングシャッタ歪を除去する歪除去部をさらに備える
請求項１１から１４のいずれかに記載の内視鏡画像処理装置。 The endoscopic image processing apparatus according to claim 11, further comprising a distortion removing unit that removes rolling shutter distortion of the shake correction image signal. 前記補正部は、前記内視鏡装置を動かして撮像された複数の画像を合成し、前記画像より画角の広い画像を生成する
請求項１１から１５に記載の内視鏡画像処理装置。 The endoscopic image processing device according to claim 11, wherein the correction unit combines the plurality of images captured by moving the endoscope device to generate an image having a wider angle of view than the image. 前記画像信号に対応する画像の動きと、検出された前記ヘッド部の動きとに基づいて、前記ヘッド部の動きに応じて前記対物レンズが動くときの回転センタの位置を推定する推定部を備え、
推定された前記回転センタの位置に基づく値をユーザに通知するように構成された
請求項１１から１６に記載の内視鏡画像処理装置。 An estimation unit configured to estimate a position of a rotation center when the objective lens moves according to the movement of the head unit based on the movement of the image corresponding to the image signal and the detected movement of the head unit; ,
The endoscope image processing device according to claim 11, configured to notify a user of a value based on the estimated position of the rotation center. 対物レンズを含む鏡筒部、およびヘッド部を有し、前記ヘッド部の動きを検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置から入力される画像信号を処理する内視鏡画像処理装置の画像処理方法において、
前記内視鏡画像処理装置による、
前記画像信号に対応する画像の動きと、前記ジャイロ部により検出された前記ヘッド部の動きとに基づいて、前記画像信号の振れが補正された振れ補正画像信号を生成するステップを
含む画像処理方法。 An endoscope which has a lens barrel portion including an objective lens and a head portion, and which processes an image signal input from an endoscope apparatus in which a gyro portion for detecting movement of the head portion is provided in the head portion In the image processing method of the image processing apparatus,
By the endoscopic image processing device,
An image processing method comprising: generating a shake-corrected image signal in which a shake of the image signal is corrected based on a motion of an image corresponding to the image signal and a motion of the head unit detected by the gyro unit. .
JP2017101728A 2017-05-23 2017-05-23 Endoscope system, endoscope image processing apparatus, and image processing method Active JP6332524B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017101728A JP6332524B2 (en) 2017-05-23 2017-05-23 Endoscope system, endoscope image processing apparatus, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017101728A JP6332524B2 (en) 2017-05-23 2017-05-23 Endoscope system, endoscope image processing apparatus, and image processing method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014015575A Division JP6150130B2 (en) 2014-01-30 2014-01-30 Endoscope system, endoscope image processing apparatus, image processing method, and program

Publications (2)

Publication Number Publication Date
JP2017185254A true JP2017185254A (en) 2017-10-12
JP6332524B2 JP6332524B2 (en) 2018-05-30

Family

ID=60044412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017101728A Active JP6332524B2 (en) 2017-05-23 2017-05-23 Endoscope system, endoscope image processing apparatus, and image processing method

Country Status (1)

Country Link
JP (1) JP6332524B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020196868A1 (en) 2019-03-27 2020-10-01 Sony Corporation Endoscope system, non-transitory computer readable medium, and method
WO2020203428A1 (en) 2019-03-29 2020-10-08 ソニー株式会社 Medical image transmission system, medical image processing apparatus, and medical image transmission method
CN112104817A (en) * 2019-05-29 2020-12-18 惠州拓邦电气技术有限公司 Endoscope and endoscope collected image rotation method
WO2021075306A1 (en) 2019-10-17 2021-04-22 ソニー株式会社 Surgical information processing device, surgical information processing method, and surgical information processing program
WO2022014366A1 (en) 2020-07-17 2022-01-20 ソニーグループ株式会社 Endoscope system, endoscope control method, and program

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09266882A (en) * 1996-04-02 1997-10-14 Olympus Optical Co Ltd Endoscope device
JP2004283421A (en) * 2003-03-24 2004-10-14 Pentax Corp Electronic endoscope apparatus
JP2005021353A (en) * 2003-07-01 2005-01-27 Olympus Corp Surgery supporting apparatus
WO2005077253A1 (en) * 2004-02-18 2005-08-25 Osaka University Endoscope system
JP2008080115A (en) * 2006-09-01 2008-04-10 Sony Corp Endoscope camera and endoscope camera system
JP2009141717A (en) * 2007-12-07 2009-06-25 Hitachi Ltd Imaging device
JP2012055498A (en) * 2010-09-09 2012-03-22 Olympus Corp Image processing device, endoscope device, image processing program, and image processing method
JP2012100909A (en) * 2010-11-11 2012-05-31 Olympus Corp Endoscopic apparatus, and program
JP2012239644A (en) * 2011-05-19 2012-12-10 Olympus Corp Image processing apparatus, endoscope apparatus and image processing method
JP2013020527A (en) * 2011-07-13 2013-01-31 Sony Corp Image processing device, method, and program
JP2013192773A (en) * 2012-03-21 2013-09-30 Olympus Corp Video system for surgery and video display method

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09266882A (en) * 1996-04-02 1997-10-14 Olympus Optical Co Ltd Endoscope device
JP2004283421A (en) * 2003-03-24 2004-10-14 Pentax Corp Electronic endoscope apparatus
JP2005021353A (en) * 2003-07-01 2005-01-27 Olympus Corp Surgery supporting apparatus
WO2005077253A1 (en) * 2004-02-18 2005-08-25 Osaka University Endoscope system
JP2008080115A (en) * 2006-09-01 2008-04-10 Sony Corp Endoscope camera and endoscope camera system
JP2009141717A (en) * 2007-12-07 2009-06-25 Hitachi Ltd Imaging device
JP2012055498A (en) * 2010-09-09 2012-03-22 Olympus Corp Image processing device, endoscope device, image processing program, and image processing method
JP2012100909A (en) * 2010-11-11 2012-05-31 Olympus Corp Endoscopic apparatus, and program
JP2012239644A (en) * 2011-05-19 2012-12-10 Olympus Corp Image processing apparatus, endoscope apparatus and image processing method
JP2013020527A (en) * 2011-07-13 2013-01-31 Sony Corp Image processing device, method, and program
JP2013192773A (en) * 2012-03-21 2013-09-30 Olympus Corp Video system for surgery and video display method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020196868A1 (en) 2019-03-27 2020-10-01 Sony Corporation Endoscope system, non-transitory computer readable medium, and method
WO2020203428A1 (en) 2019-03-29 2020-10-08 ソニー株式会社 Medical image transmission system, medical image processing apparatus, and medical image transmission method
US11818464B2 (en) 2019-03-29 2023-11-14 Sony Group Corporation Medical image transmission system, medical image processing apparatus, and medical image transmission method
CN112104817A (en) * 2019-05-29 2020-12-18 惠州拓邦电气技术有限公司 Endoscope and endoscope collected image rotation method
CN112104817B (en) * 2019-05-29 2023-02-10 惠州拓邦电气技术有限公司 Endoscope and method for rotating image collected by endoscope
WO2021075306A1 (en) 2019-10-17 2021-04-22 ソニー株式会社 Surgical information processing device, surgical information processing method, and surgical information processing program
WO2022014366A1 (en) 2020-07-17 2022-01-20 ソニーグループ株式会社 Endoscope system, endoscope control method, and program

Also Published As

Publication number Publication date
JP6332524B2 (en) 2018-05-30

Similar Documents

Publication Publication Date Title
JP6150130B2 (en) Endoscope system, endoscope image processing apparatus, image processing method, and program
JP6332524B2 (en) Endoscope system, endoscope image processing apparatus, and image processing method
JP6519144B2 (en) Endoscope system, image processing apparatus, image processing method, and program
JP2015139646A5 (en) Endoscope system, endoscope image processing apparatus, image processing method, and program
US8749644B2 (en) Method and apparatus for video stabilization by compensating for view direction of camera
KR101624450B1 (en) Image processing device, image processing method, and storage medium
WO2012032914A1 (en) Image processing device, endoscope device, image processing program and image processing method
US10820787B2 (en) Endoscope device and focus control method for endoscope device
JP6649406B2 (en) Endoscope apparatus and method of operating endoscope apparatus
US8764635B2 (en) Endoscope apparatus
CN110769731B (en) Endoscope system, processing system for endoscope, and image processing method
JP6356623B2 (en) Image processing apparatus, method, and program
US10979653B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
WO2016199264A1 (en) Endoscopic device and focus control method
JP2007036742A (en) Method and apparatus for synthesizing multiple images
WO2017109997A1 (en) Image processing device, image processing method, and program
CN113645396A (en) Image superposition method, device, equipment and storage medium
WO2020049993A1 (en) Image processing device, image processing method, and program
US11361465B2 (en) Image capturing apparatus and control method thereof, and orientation angle calculation apparatus for estimating orientation of image capturing apparatus
KR102378497B1 (en) Method and Apparatus for Measuring Object Size
JP2007036741A (en) Method and apparatus for synthesizing multiple images
JP2021142175A (en) Operation field monitor system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180416

R151 Written notification of patent or utility model registration

Ref document number: 6332524

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151