CN106231985A - 图像处理装置、图像处理装置的工作方法 - Google Patents
图像处理装置、图像处理装置的工作方法 Download PDFInfo
- Publication number
- CN106231985A CN106231985A CN201580019889.0A CN201580019889A CN106231985A CN 106231985 A CN106231985 A CN 106231985A CN 201580019889 A CN201580019889 A CN 201580019889A CN 106231985 A CN106231985 A CN 106231985A
- Authority
- CN
- China
- Prior art keywords
- image
- processing apparatus
- image processing
- edge
- borderline region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 175
- 230000000007 visual effect Effects 0.000 claims abstract description 29
- 230000003287 optical effect Effects 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 description 20
- 238000009826 distribution Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 230000003321 amplification Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 244000144985 peep Species 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000005428 wave function Effects 0.000 description 1
Classifications
-
- G06T5/73—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00059—Operational features of endoscopes provided with identification means for the endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00174—Optical arrangements characterised by the viewing angles
- A61B1/00177—Optical arrangements characterised by the viewing angles for 90 degrees side-viewing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Endoscopes (AREA)
- Studio Devices (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
图像处理装置具有:第1输入部(21),其输入包含前方视野和侧方视野的图像的图像数据;强调处理部(26),其对所输入的图像数据所表示的图像的边缘进行强调;以及边界校正部(27),其设置在强调处理部(26)的后级侧,针对进行了边缘强调后的图像数据中的前方视野与侧方视野的边界区域,实施与边缘强调处理不可换的校正处理。
Description
技术领域
本发明涉及对前方视野和侧方视野的边界区域实施校正处理的图像处理装置、图像处理装置的工作方法。
背景技术
近年来,提出了实现了视场角的扩大化的超广角内窥镜、例如经由前方观察窗取得前方视野图像并且经由侧方观察窗取得侧方视野图像的内窥镜。
在这种内窥镜中,由于在前方视野图像与侧方视野图像之间存在边界区域,所以,进行使边界区域不明显的处理。
例如,在日本特开2013-66646号公报中记载了如下技术:针对前方视野图像和侧方视野图像在一张图像上形成为前方区域和侧方区域的图像信号,进行使一方与另一方重叠而进行合成的处理,由此,对作为前方区域与侧方区域的边界的边界区域进行校正。
但是,如果不研究边界校正处理和其他图像处理的执行顺序,则在处理后的图像中,有时边界区域明显。参照本发明的实施方式的图5、图8和图9对这种具体例进行说明。
图5示出进行摄像而得到的图像数据中的边界区域周边的状况,前方视野图像52逐渐衰减的部分和侧方视野图像53逐渐衰减的部分重合的部分成为具有某个宽度的边界区域54。
接着,图8示出对图5所示的图像数据进行了边界校正处理时的状况。例如,通过放大前方视野图像52并与侧方视野图像53连接,来进行这里的边界校正处理。由此,图5中具有宽度的边界区域54在边界校正处理后仅成为边界线54’。
接着,图9示出对图8所示的图像数据进行了边缘强调处理时的状况。在进行了图8的处理后,在前方视野图像52和侧方视野图像53中产生隔着边界线54’的对比度的间隙即边缘。因此,当对图8所示的图像数据进行边缘强调处理时,如图9所示,对比度的间隙扩大,边缘被强调,前方视野图像52与侧方视野图像53的边界更加明显。
本发明是鉴于上述情况而完成的,其目的在于,提供能够取得对前方视野与侧方视野的边界区域进行了良好校正的图像的图像处理装置、图像处理装置的工作方法。
发明内容
用于解决课题的手段
本发明的某个方式的图像处理装置具有:输入部,其输入根据前方视野和侧方视野的被摄体的光学像而生成的图像数据;强调处理部,其针对通过所述输入部输入的所述图像数据,实施对该图像数据所表示的所述前方视野和所述侧方视野的图像的边缘进行强调的边缘强调处理;以及校正处理部,其设置在所述强调处理部的后级侧,针对实施了所述边缘强调处理的所述图像数据中的作为所述前方视野的图像与所述侧方视野的图像的边界的区域即边界区域,实施与所述边缘强调处理不可换的校正处理。
本发明的某个方式的图像处理装置的工作方法具有以下步骤:输入部输入根据前方视野和侧方视野的被摄体的光学像而生成的图像数据的步骤;强调处理部针对通过所述输入部输入的所述图像数据,实施对该图像数据所表示的所述前方视野和所述侧方视野的图像的边缘进行强调的边缘强调处理的步骤;以及设置在所述强调处理部的后级侧的校正处理部针对实施了所述边缘强调处理的所述图像数据中的作为所述前方视野的图像与所述侧方视野的图像的边界的区域即边界区域,实施与所述边缘强调处理不可换的校正处理的步骤。
附图说明
图1是示出本发明的实施方式1中的内窥镜系统的结构的框图。
图2是示出在上述实施方式1中、不对从摄像元件输出的图像数据所表示的图像进行边界校正处理而显示在显示装置的画面中时的例子的图。
图3是示出在上述实施方式1中、对从摄像元件输出的图像数据所表示的图像进行边界校正处理而显示在显示装置的画面中时的例子的图。
图4是示出在上述实施方式1中、将进行重叠处理和边缘强调处理之前的图像数据显示在显示装置的画面中时的图像和信号值的变化的例子的图。
图5是对上述实施方式1中的图4的信号值的变化进行模型化的线图。
图6是示出在上述实施方式1中、对图5所示的对比度分布的图像数据进行了边缘强调处理之后的状况的线图。
图7是示出在上述实施方式1中、对图6所示的对比度分布的图像数据进行了边界校正处理之后的状况的线图。
图8是示出在上述实施方式1中、对图5所示的对比度分布的图像数据进行了边界校正处理之后的状况的线图。
图9是示出在上述实施方式1中、对图8所示的对比度分布的图像数据进行了边缘强调处理之后的状况的线图。
图10是示出在上述实施方式1中、针对边缘强调度设定的边界校正范围的例子的线图。
具体实施方式
下面,参照附图对本发明的实施方式进行说明。
[实施方式1]
图1~图10示出本发明的实施方式1,图1是示出内窥镜系统的结构的框图。
该内窥镜系统具有对被摄体进行摄像并取得图像数据的摄像装置即内窥镜10、对从内窥镜10输出的图像数据进行处理并生成显示信号的图像处理装置即视频处理器20、检测内窥镜10与视频处理器20的连接的内窥镜检测部15、用于对内窥镜系统进行输入的输入部40、显示由视频处理器20生成的内窥镜图像的显示装置50。
内窥镜10具有摄像单元11和镜体ID存储部12。
摄像单元11构成为包括物镜光学系统和摄像元件。这里,物镜光学系统构成为兼具有直视光学系统和侧视光学系统的光学系统,在摄像元件上形成直视方向即前方视野的被摄体的光学像和侧视方向即侧方视野的被摄体的光学像。因此,摄像元件输出根据前方视野和侧方视野的被摄体的光学像而生成的图像数据。这样,本实施方式的内窥镜10构成为取得前方视野图像和侧方视野图像的超广角内窥镜。
这里,图2是示出不对从摄像元件输出的图像数据表示所的图像进行边界校正处理而显示在显示装置50的画面50a中时的例子的图。
前方视野图像52呈以视野中心F为中心的例如圆形,侧方视野图像53在前方视野图像52的外周部概略地形成为圆环形状。这里,图2等所示的侧方视野图像53概略地呈圆环形状,但是,在周向的一部分产生由于配设在内窥镜10的前端面的构造物的影响而导致的遮光55。
而且,位于内径侧的前方视野图像52的外周与位于外径侧的侧方视野图像53的内周侧之间成为边界区域54。
接着,镜体ID存储部12是非易失地存储内窥镜10的固有信息的存储部,在制造时预先存储内窥镜10的种类(型号)或序列号、内窥镜10所具有的摄像元件的种类(型号)、摄像元件的尺寸或有效像素数、摄像元件上的前方视野图像52和侧方视野图像53的配置(乃至边界区域54的配置)等信息。这里,边界区域54的配置的信息例如包含表示边界区域54的内侧半径rin(参照图4)的信息和表示边界区域54的外侧半径rout(参照图4)的信息中的至少一方。边界区域54的配置的信息的具体的第1例是表示边界区域54的内侧半径rin的信息和表示边界区域54的外侧半径rout的信息(即两个信息)。并且,第2例是表示边界区域54的内侧半径rin的信息和表示边界区域54的外侧半径rout相对于内侧半径rin的比率(rout/rin)的信息。进而,第3例是表示边界区域54的外侧半径rout的信息和表示边界区域54的内侧半径rin相对于外侧半径rout的比率(rin/rout)的信息。
内窥镜检测部15检测是否连接了内窥镜10,将检测结果发送到视频处理器20的后述CPU34,例如由设置在内窥镜10和视频处理器20双方上的电触点或设置在视频处理器20上的传感器等构成。
视频处理器20具有第1输入部21、第2输入部22、图像处理部23、显示控制部31、存储器32、CPU34,是输入图像数据并进行图像处理的图像处理装置。
第1输入部21输入根据前方视野和侧方视野的被摄体的光学像而由摄像单元11生成的图像数据。
第2输入部22输入取得了图像数据的摄像装置即内窥镜10的上述固有信息。
图像处理部23对从第1输入部21输入的图像数据进行图像处理,具有前级处理部24、放大缩小部25、强调处理部26、边界校正部27、后级处理部28、RAM29。
前级处理部24对所输入的图像数据进行例如增益调整、缺陷像素的校正、白平衡调整等各种处理。
放大缩小部25设置在边界校正部27的前级侧,是对前方视野和侧方视野的图像数据进行所谓电子变焦的变倍处理(放大处理或缩小处理)的变倍处理部。
强调处理部26对由第1输入部21输入的图像数据实施对图像数据所表示的前方视野和侧方视野的图像的边缘(轮廓)进行强调的边缘强调处理。这里,例如,对图像数据施加边缘检测滤波器来提取边缘成分,对提取出的边缘成分乘以边缘强调系数α,并与原来的图像数据进行相加,由此进行边缘强调处理。因此,例如通过变更边缘强调系数α的值,对边缘强调处理的强度即边缘强调度进行调整。
边界校正部27是如下的边界校正处理部(校正处理部):设置在强调处理部26的后级侧,对实施了边缘强调处理后的图像数据中的作为前方视野图像52与侧方视野图像53的边界的区域即边界区域54进行边界校正处理(校正处理),由此,使边界区域54不明显。
这里,由边界校正部27进行的边界校正处理成为与上述边缘强调处理不可换的处理。即,当设图像数据为P、表示边缘强调处理的函数为E()、表示边界校正处理的函数为B()、表示合成函数的记号为“·”时,在先进行边缘强调处理E()后进行边界校正处理B()而得到的处理结果P’、
P’=B(E(P))≡B·E(P)
和先进行边界校正处理B()后进行边缘强调处理E()而得到的处理结果P”、
P”=E(B(P))≡E·B(P)
不同(P’≠P”)时、即B·E≠E·B时,称为边界校正处理B()和边缘强调处理E()不可换。
基于边界校正部27进行的边界校正处理的一例是图3所示的重叠处理。这里,图3是示出对从摄像元件输出的图像数据所表示的图像进行边界校正处理而显示在显示装置50的画面50a中时的例子的图。
该重叠处理是如下处理:通过对前方视野图像52和侧方视野图像53中的至少一方进行放大等,通过放大后的前方视野图像52或侧方视野图像53覆盖(重叠)边界区域54。关于该重叠处理与边缘强调处理E()不可换这点,在后面参照图4~图9进行说明。
后级处理部28对图像数据进行例如灰度转换、颜色空间转换、伽马校正等各种处理。
RAM29是暂时存储图像处理部23中进行处理的图像数据的存储器。
显示控制部31对由图像处理部23进行图像处理后的图像数据重叠与内窥镜系统有关的文字信息等,并将其转换为显示用的信号,输出到显示装置50。
存储器32具有设定内容存储部33,该设定内容存储部33存储由CPU34执行的处理程序,并且存储针对内窥镜系统设定的各种设定内容。在该设定内容存储部33中存储有从镜体ID存储部12读出的内窥镜10的固有信息(内窥镜10的种类、摄像元件的种类、摄像元件的有效像素数等信息),并且存储有从后述输入部40输入的变焦倍率(变倍率)、边缘强调度、边界校正范围等信息。
CPU34是对包含该视频处理器20的内窥镜系统整体进行综合控制的控制部。该CPU34还作为边界校正范围设定部、强调度设定部、变倍率设定部等发挥功能。
即,CPU34作为强调度设定部发挥功能,设定强调处理部26实施的边缘强调处理的强度(边缘强调度)。这里,CPU34根据例如设定为初始值的边缘强调度、或根据对图像进行解析而得到的结果的自动处理、或根据来自输入部40的手动输入,在强调处理部26中设定边缘强调度。然后,CPU34根据所设定的边缘强调度,作为边界校正范围设定部发挥功能,设定边界校正部27实施边界校正处理的边界区域54的范围(例如图2所示的边界区域54的以视野中心F为中心的径向的宽度)。
并且,CPU34作为变倍率设定部发挥功能,设定放大缩小部25实施的变倍处理的变倍率。这里,CPU34根据例如设定为初始值的变倍率、或根据来自输入部40的输入设定,在放大缩小部25中设定变倍率。然后,CPU34根据所设定的变倍率,作为边界校正范围设定部发挥功能,设定边界校正部27实施边界校正处理的边界区域54的范围。
进而,CPU34根据从第2输入部22取得的固有信息,作为边界校正范围设定部发挥功能,设定边界校正部27实施边界校正处理的边界区域54的范围。
输入部40具有键盘41、前面板开关42、脚踏开关43等各种输入器件,与CPU34连接。如果使用该输入部40,则能够对内窥镜系统进行各种设定和输入,但是,作为几个输入设定的例子,举出基于放大缩小部25的针对电子变焦的变焦倍率(变倍率)、针对强调处理部26的边缘强调度(通过该边缘强调度决定边缘强调系数α)、基于边界校正部27的边界校正范围等。
显示装置50具有显示由内窥镜10进行摄像而得到的图像数据的内窥镜图像显示部51,进而还显示与内窥镜系统有关的各种信息等。
接着,参照图4~图9对重叠处理和边缘强调处理不可换这点进行说明。
首先,图4示出将进行重叠处理和边缘强调处理之前的图像数据显示在显示装置50的画面50a中时的图像和信号值的变化的例子的图。
如图4的上图所示,前方视野图像52成为以视野中心F为中心的半径rin内的圆形区域,侧方视野图像53成为以视野中心F为中心的半径rout(rout>rin)外的概略圆环状区域。而且,rin≦r≦rout的区域是边界区域54(因此,关于边界区域54,rin成为内侧半径,rout成为外侧半径)。
图4的下图示出隔着该边界区域54的信号值(例如对比度)的变化的一例。另外,在图4的上图中,以水平右方向为x坐标的正方向、垂直上方向为y坐标的正方向来设定x-y坐标轴。
当由于前方视野图像52而引起的对比度(该坐标设定的情况下,在x坐标的负方向上)超过与半径rin对应的x坐标xin时,来自前方视野的被摄体光的光量急速降低,所以,值急速降低。
同样,当由于侧方视野图像53而引起的对比度(该坐标设定的情况下,在x坐标的正方向上)超过与半径rout对应的x坐标xout时,来自侧方视野的被摄体光的光量急速降低,所以,值急速降低。
而且,在边界区域54中,由于前方视野图像52而引起的对比度和由于侧方视野图像53而引起的对比度重叠,形成例如图示的对比度分布。
另外,这里,示出在边界区域54中、前方视野图像52和侧方视野图像53的对比度比较平滑地连接的例子,但是,由于物镜光学系统的结构等,还存在边界区域54的对比度大致为0等的例子。
接着,图5是对图4的信号值的变化进行模型化的线图。这里,单纯地对曲线的形状进行模型化,但是,前方视野图像52的x坐标xin处的对比度和侧方视野图像53的x坐标xout处的对比度成为不同的值。
接着,图6是示出对图5所示的对比度分布的图像数据进行了边缘强调处理后的状况的线图。
在图5所示的对比度分布中,由于几乎不存在对比度急激变化的边缘部分,所以,即使进行边缘强调处理,图像数据也不怎么变化。
图7是示出对图6所示的对比度分布的图像数据进行了边界校正处理后的状况的线图。
例如通过放大前方视野图像52并与侧方视野图像53连接的重叠处理,来进行这里的边界校正处理。由此,图5和图6中具有宽度的边界区域54在边界校正处理后仅成为边界线54’。
另一方面,图8是示出对图5所示的对比度分布的图像数据进行了边界校正处理后的状况的线图。
与图7所示的例子大致同样,当进行作为边界校正处理的重叠处理后,图5和图6中具有宽度的边界区域54在边界校正处理后仅成为边界线54’。然后,如上所述,由于前方视野图像52的x坐标xin处的对比度和侧方视野图像53的x坐标xout处的对比度成为不同的值,所以,在边界线54’中产生对比度急剧的变化部分即边缘。
图9是示出对图8所示的对比度分布的图像数据进行了边缘强调处理后的状况的线图。
在边缘强调处理中,边缘部分的对比度的间隙被放大,所以,隔着边界线54’,原本对比度较高的前方视野图像52侧的对比度更高,原本对比度较低的侧方视野图像53侧的对比度更低。
这样,先进行边缘强调处理后进行边界校正处理的图7所示的处理结果和先进行边界校正处理后进行边缘强调处理的图9所示的处理结果成为不同的结果,即,可知边缘强调处理和边界校正处理是不可换的处理。
而且,如图9所示,在先进行边界校正处理后进行边缘强调处理的情况下,对通过边界校正处理而产生的边缘进行强调的结果是,前方视野图像52与侧方视野图像53的边界更加明显。
因此,在本实施方式中,如图1所示,采用在强调处理部26的后级侧配置边界校正部27的结构。由此,如图7所示,能够抑制对边界线54’中产生的边缘进行强调。
进而,在本实施方式中,如图1所示,将放大缩小部25配置在边界校正部27的前级侧。这是因为,如果在边界校正处理之后进行变倍处理,则即使通过边界校正处理使图2所示的边界区域54缩小为图3所示的边界线54’,也会通过此后的变倍处理(放大处理)使边界线54’再次放大,作为边界区域54而变得明显。
另外,放大缩小部25和强调处理部26满足配置在比边界校正部27更靠前级侧的条件即可,如图1所示也可以调换顺序。并且,不限于放大缩小部25和强调处理部26,在通过边界校正部27对边界区域54进行校正而得到的边界线54’由于此后进行某些处理而更加明显的情况下,优选将进行该处理的处理部配置在比边界校正部27更靠前级侧。
并且,例如在前方视野图像52和侧方视野图像53在边界区域54中相互平滑地连接、在该状态下边界区域54也很少看起来不自然时等,考虑缩小边界校正处理的处理对象范围。或者,如参照图7说明的那样,当进行边界校正处理时在图像的对比度中产生间隙而作为边缘被观察到,所以,认为有时还不如不进行边界校正处理。
因此,如上述一部分说明那样,进行如下的处理。
即,在进行边缘强调处理后,如上所述,边缘中的对比度的间隙放大,边界明显。因此,CPU34作为边界校正范围设定部发挥功能,进行如下设定:在强调处理部26实施的边缘强调处理的强度较高时,增大作为边界校正部27实施边界校正处理的对象的边界区域54的范围,相反,在边缘强调处理的强度较低时,减小边界区域54的范围。
图10是示出针对边缘强调度设定的边界校正范围的例子的线图。
在该图10中,作为表示边缘强调处理的强度(边缘强调度)的指标,使用上述边缘强调系数α。
如图所示,在边缘强调度为最低强度的情况下(例如边缘强调度为0而不进行边缘强调的情况下),边界校正范围取最低范围的Wmin。这里,本实施方式中的边界校正范围W假设为作为进行边界校正处理的对象的边界区域54的以图2等所示的视野中心F为中心的径向的宽度(但是不限于此)。而且,随着表示边缘强调度的边缘强调系数α增大,边界校正范围W也扩大,在边缘强调系数α成为某个值α1时,边界校正范围W取最大值W0,即使边缘强调系数α超过值α1,也维持最大值W0。
并且,当通过放大缩小部25对图像进行放大后,放大后的图像的鲜锐度降低,所以,作为其对策,进行较高地设定边缘强调度的处理。即,变倍处理的变倍率和边缘强调度具有关联性。因此,CPU34作为边界校正范围设定部发挥功能,进行如下设定(图10所示的从边界校正范围W0到W1的变更设定等):在基于放大缩小部25的变倍处理的变倍率较大时(即边缘强调度较高时),增大作为边界校正部27实施边界校正处理的对象的边界区域54的范围,相反,在变倍率较小时(即边缘强调度较低时),减小边界区域54的范围。
进而,例如在内窥镜10为细径的情况下,使用小型的摄像元件,但是,小型的摄像元件的像素数较少,所以,有时为了在显示装置50中进行显示而进行放大处理。并且,根据摄像元件的种类,有时低亮度时的噪声产生量比较多,但是,通过来自周边像素的插值来进行这种噪声降低处理。因此,放大处理或噪声降低处理等伴有像素插值的处理使图像的鲜锐度降低,所以,作为其对策,与上述同样,有时进行较高地设定边缘强调度的处理。因此,CPU34作为边界校正范围设定部发挥功能,根据从第2输入部22取得的固有信息(内窥镜10的种类、摄像元件的种类、摄像元件的有效像素数等信息),设定边界校正部27实施边界校正处理的边界区域54的范围。作为具体例,在摄像元件的有效像素数较多的情况下进行减小边界区域54的范围的设定,在有效像素数较少的情况下进行增大边界区域54的范围的设定(例如图10所示的边界校正范围的最大值从W1变更为W0的设定等)等。
另外,如上所述,也可以经由输入部40由用户手动设定边界校正部27实施边界校正处理的边界区域54的范围(边界校正范围)。该情况下,用户一边观察显示装置50的内窥镜图像显示部51中显示的图像、一边进行期望设定以使得显示最为适当即可。
根据这种实施方式1,将实施与边缘强调处理不可换的边界校正处理的边界校正部27设置在强调处理部26的后级侧,所以,通过边界校正处理而在前方视野图像52与侧方视野图像53的边界产生的边缘不会由于边缘强调处理而被强调,能够取得对前方视野与侧方视野的边界区域54进行了良好校正的图像。
并且,边界校正部27进行重叠处理作为与边缘强调处理不可换的边界校正处理,所以,能够通过比较简单的处理使边界区域54不明显。
进而,将对图像实施变倍处理的放大缩小部25设置在边界校正部27的前级侧,所以,通过边界校正处理而在前方视野图像52与侧方视野图像53的边界产生的边缘不会由于变倍处理而进行区域放大,能够取得对前方视野与侧方视野的边界区域54进行了良好校正的图像。
而且,CPU34作为边界校正范围设定部发挥功能,设定边界校正部27实施边界校正处理的边界区域54的范围,所以,能够对必要的适当范围进行边界校正。
而且,CPU34根据边缘强调处理的强度设定实施边界校正处理的边界区域54的范围,所以,能够对与边缘强调度对应的适当范围进行边界校正处理。
此时,还能够根据对边缘强调处理的强度造成影响的变倍处理的变倍率,适当设定实施边界校正处理的边界区域54的范围。
并且,还能够根据对边缘强调处理的强度造成影响的内窥镜10的固有信息(内窥镜10的种类、摄像元件的种类、摄像元件的有效像素数等),适当设定实施边界校正处理的边界区域54的范围。
此时,作为边界区域54的配置的信息,包含表示边界区域54的内侧半径rin的信息和表示边界区域54的外侧半径rout的信息中的至少一方,所以,具体而言,通过使用表示边界区域54的内侧半径rin的信息和表示边界区域54的外侧半径rout的信息、表示边界区域54的内侧半径rin的信息和表示边界区域54的外侧半径rout相对于内侧半径rin的比率(rout/rin)的信息、表示边界区域54的外侧半径rout的信息和表示边界区域54的内侧半径rin相对于外侧半径rout的比率(rin/rout)的信息中的任意一方,能够以较少的数据量准确地表示边界区域54的配置。
另外,上述主要说明了图像处理装置,但是,也可以是使图像处理装置如上所述进行工作的工作方法,还可以是用于进行与图像处理装置相同的处理的处理程序、记录该处理程序的计算机可读取的非暂时性记录介质等。
并且,本发明不限于上述实施方式,能够在实施阶段在不脱离其主旨的范围内对结构要素进行变形而具体化。并且,通过上述实施方式所公开的多个结构要素的适当组合,能够形成各种发明的方式。例如,也可以从实施方式所示的全部结构要素中删除若干个结构要素。进而,还可以适当组合不同实施方式中的结构要素。这样,当然能够在不脱离发明主旨的范围内进行各种变形和应用。
本申请以2014年12月2日在日本申请的日本特愿2014-244294号为优先权主张的基础进行申请,上述公开内容被引用到本申请说明书、权利要求书和附图中。
Claims (12)
1.一种图像处理装置,其特征在于,所述图像处理装置具有:
输入部,其输入根据前方视野和侧方视野的被摄体的光学像而生成的图像数据;
强调处理部,其针对通过所述输入部输入的所述图像数据,实施对该图像数据所表示的所述前方视野和所述侧方视野的图像的边缘进行强调的边缘强调处理;以及
校正处理部,其设置在所述强调处理部的后级侧,针对实施了所述边缘强调处理的所述图像数据中的作为所述前方视野的图像与所述侧方视野的图像的边界的区域即边界区域,实施与所述边缘强调处理不可换的校正处理。
2.根据权利要求1所述的图像处理装置,其特征在于,
所述校正处理部进行使所述前方视野的图像和所述侧方视野的图像中的至少一方与所述边界区域重叠的重叠处理,作为与所述边缘强调处理不可换的校正处理。
3.根据权利要求1所述的图像处理装置,其特征在于,
所述图像处理装置还具有变倍处理部,该变倍处理部设置在所述校正处理部的前级侧,对所述前方视野和所述侧方视野的图像实施变倍处理。
4.根据权利要求1所述的图像处理装置,其特征在于,
所述图像处理装置还具有边界校正范围设定部,该边界校正范围设定部设定所述校正处理部实施所述校正处理的所述边界区域的范围。
5.根据权利要求4所述的图像处理装置,其特征在于,
所述图像处理装置还具有强调度设定部,该强调度设定部设定所述强调处理部实施的所述边缘强调处理的强度,
所述边界校正范围设定部根据通过所述强调度设定部设定的所述边缘强调处理的强度,设定所述校正处理部实施所述校正处理的所述边界区域的范围。
6.根据权利要求4所述的图像处理装置,其特征在于,
所述图像处理装置还具有:
变倍处理部,其设置在所述校正处理部的前级侧,对所述前方视野和所述侧方视野的图像实施变倍处理;以及
变倍率设定部,其设定所述变倍处理部实施的所述变倍处理的变倍率,
所述边界校正范围设定部根据通过所述变倍率设定部设定的所述变倍率,设定所述校正处理部实施所述校正处理的所述边界区域的范围。
7.根据权利要求4所述的图像处理装置,其特征在于,
所述图像处理装置还具有第2输入部,该第2输入部输入取得了所述图像数据的摄像装置的固有信息,
所述边界校正范围设定部根据所述固有信息,设定所述校正处理部实施所述校正处理的所述边界区域的范围。
8.根据权利要求7所述的图像处理装置,其特征在于,
所述固有信息包含所述边界区域的配置的信息。
9.根据权利要求8所述的图像处理装置,其特征在于,
所述边界区域的配置的信息包含表示所述边界区域的内侧半径的信息和表示所述边界区域的外侧半径的信息中的至少一方。
10.根据权利要求9所述的图像处理装置,其特征在于,
所述边界区域的配置的信息包含表示所述边界区域的内侧半径的信息和表示所述边界区域的外侧半径相对于该内侧半径的比率的信息。
11.根据权利要求9所述的图像处理装置,其特征在于,
所述边界区域的配置的信息包含表示所述边界区域的外侧半径的信息和表示所述边界区域的内侧半径相对于该外侧半径的比率的信息。
12.一种图像处理装置的工作方法,其特征在于,所述图像处理装置的工作方法具有以下步骤:
输入部输入根据前方视野和侧方视野的被摄体的光学像而生成的图像数据的步骤;
强调处理部针对通过所述输入部输入的所述图像数据,实施对该图像数据所表示的所述前方视野和所述侧方视野的图像的边缘进行强调的边缘强调处理的步骤;以及
设置在所述强调处理部的后级侧的校正处理部针对实施了所述边缘强调处理的所述图像数据中的作为所述前方视野的图像与所述侧方视野的图像的边界的区域即边界区域,实施与所述边缘强调处理不可换的校正处理的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-244294 | 2014-12-02 | ||
JP2014244294 | 2014-12-02 | ||
PCT/JP2015/083198 WO2016088639A1 (ja) | 2014-12-02 | 2015-11-26 | 画像処理装置、画像処理装置の作動方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106231985A true CN106231985A (zh) | 2016-12-14 |
CN106231985B CN106231985B (zh) | 2018-01-23 |
Family
ID=56091585
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580019889.0A Active CN106231985B (zh) | 2014-12-02 | 2015-11-26 | 图像处理装置、图像处理装置的工作方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9781343B2 (zh) |
EP (1) | EP3117758B1 (zh) |
JP (1) | JP5974205B1 (zh) |
CN (1) | CN106231985B (zh) |
WO (1) | WO2016088639A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190004803A1 (en) * | 2017-06-30 | 2019-01-03 | Qualcomm Incorporated | Statistical correction for branch prediction mechanisms |
JP7235532B2 (ja) * | 2019-02-25 | 2023-03-08 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置、画像処理方法およびプログラム |
US10905309B2 (en) * | 2019-03-19 | 2021-02-02 | Reed Cam, Inc. | Method and apparatus for enforced provisioning and compliant usage authorization of endoscope applications |
US20210275000A1 (en) * | 2020-03-05 | 2021-09-09 | Stryker Corporation | Systems and methods for endoscope type detection |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020012128A1 (en) * | 1994-04-20 | 2002-01-31 | Masahito Yamamoto | Image processing method and apparatus |
DE102006038306A1 (de) * | 2005-08-17 | 2007-02-22 | Pentax Corp. | Verarbeitungseinheit zur Konturenverstärkung, Endoskopprozessor und Computerprogrammprodukt |
WO2010109726A1 (ja) * | 2009-03-23 | 2010-09-30 | オリンパスメディカルシステムズ株式会社 | 画像処理システム、外部装置およびその画像処理方法 |
JP2012138876A (ja) * | 2010-12-28 | 2012-07-19 | Fujitsu Ten Ltd | 画像生成装置、画像表示システム及び画像表示方法 |
JP2012142897A (ja) * | 2011-01-06 | 2012-07-26 | Ricoh Co Ltd | 画像処理装置、画像処理方法および画像処理プログラム |
US20130016198A1 (en) * | 2011-07-11 | 2013-01-17 | Olympus Corporation | Image processing device, endoscope apparatus, information storage device, and image processing method |
WO2013051314A1 (ja) * | 2011-10-06 | 2013-04-11 | 株式会社フジクラ | 画像補正装置、画像補正方法及び内視鏡装置 |
CN103841879A (zh) * | 2011-09-26 | 2014-06-04 | 奥林巴斯株式会社 | 内窥镜用图像处理装置、内窥镜装置和图像处理方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3872638B2 (ja) * | 2000-08-29 | 2007-01-24 | 株式会社日立製作所 | クルーズコントロールシステムおよびそれが搭載された車両 |
JP2013066648A (ja) * | 2011-09-26 | 2013-04-18 | Olympus Corp | 内視鏡用画像処理装置及び内視鏡装置 |
-
2015
- 2015-11-26 CN CN201580019889.0A patent/CN106231985B/zh active Active
- 2015-11-26 EP EP15864604.2A patent/EP3117758B1/en active Active
- 2015-11-26 JP JP2016520097A patent/JP5974205B1/ja active Active
- 2015-11-26 WO PCT/JP2015/083198 patent/WO2016088639A1/ja active Application Filing
-
2016
- 2016-10-17 US US15/295,085 patent/US9781343B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020012128A1 (en) * | 1994-04-20 | 2002-01-31 | Masahito Yamamoto | Image processing method and apparatus |
DE102006038306A1 (de) * | 2005-08-17 | 2007-02-22 | Pentax Corp. | Verarbeitungseinheit zur Konturenverstärkung, Endoskopprozessor und Computerprogrammprodukt |
WO2010109726A1 (ja) * | 2009-03-23 | 2010-09-30 | オリンパスメディカルシステムズ株式会社 | 画像処理システム、外部装置およびその画像処理方法 |
JP2012138876A (ja) * | 2010-12-28 | 2012-07-19 | Fujitsu Ten Ltd | 画像生成装置、画像表示システム及び画像表示方法 |
JP2012142897A (ja) * | 2011-01-06 | 2012-07-26 | Ricoh Co Ltd | 画像処理装置、画像処理方法および画像処理プログラム |
US20130016198A1 (en) * | 2011-07-11 | 2013-01-17 | Olympus Corporation | Image processing device, endoscope apparatus, information storage device, and image processing method |
CN103841879A (zh) * | 2011-09-26 | 2014-06-04 | 奥林巴斯株式会社 | 内窥镜用图像处理装置、内窥镜装置和图像处理方法 |
WO2013051314A1 (ja) * | 2011-10-06 | 2013-04-11 | 株式会社フジクラ | 画像補正装置、画像補正方法及び内視鏡装置 |
Also Published As
Publication number | Publication date |
---|---|
US9781343B2 (en) | 2017-10-03 |
CN106231985B (zh) | 2018-01-23 |
EP3117758B1 (en) | 2018-05-16 |
WO2016088639A1 (ja) | 2016-06-09 |
EP3117758A1 (en) | 2017-01-18 |
EP3117758A4 (en) | 2017-10-25 |
JPWO2016088639A1 (ja) | 2017-04-27 |
US20170034437A1 (en) | 2017-02-02 |
JP5974205B1 (ja) | 2016-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5434361B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6421794B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN106231985A (zh) | 图像处理装置、图像处理装置的工作方法 | |
JP6020950B1 (ja) | 内視鏡システム、および内視鏡システムの作動方法、並びにプログラム | |
US8774551B2 (en) | Image processing apparatus and image processing method for reducing noise | |
US8240852B2 (en) | Image processing method and image processing device | |
KR101821285B1 (ko) | 열화상 이미지 개선 장치 및 방법 | |
CN109639959B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
JP2010263423A (ja) | 画像処理方法および画像処理装置 | |
CN107734247A (zh) | 摄像装置、摄像方法和存储有摄像程序的存储介质 | |
JP4095494B2 (ja) | 眼科画像処理装置及び処理方法 | |
JP2015192338A (ja) | 画像処理装置および画像処理プログラム | |
JP2009211313A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
TWI482147B (zh) | 影像處理方法及影像顯示裝置 | |
KR101643724B1 (ko) | 안구 위치 식별 방법 및 그 장치, 안구 위치 추적 방법 및 그 장치 | |
JP5172283B2 (ja) | ステレオ画像処理装置、ステレオ画像処理方法およびプログラム | |
WO2021171444A1 (ja) | 教師データ生成装置、教師データ生成方法、記録装置及び記録方法 | |
JP2023540363A (ja) | カメラ感度を向上させ、同一の視点をマッチングするための光学装置 | |
US20200167902A1 (en) | Image normalization method and image processing device | |
CN111510697A (zh) | 图像处理设备、图像处理方法和存储介质 | |
JP2020187549A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2015225393A (ja) | 画像強調処理システムおよび電子内視鏡システム | |
JP2019079283A (ja) | 画像処理装置、撮像装置、画像処理方法、および、プログラム | |
JP4801626B2 (ja) | 輪郭強調装置 | |
CN111047520B (zh) | 图像处理装置、图像处理方法以及记录介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |