CN106659370B - 胶囊型内窥镜以及内窥镜系统 - Google Patents
胶囊型内窥镜以及内窥镜系统 Download PDFInfo
- Publication number
- CN106659370B CN106659370B CN201580037635.1A CN201580037635A CN106659370B CN 106659370 B CN106659370 B CN 106659370B CN 201580037635 A CN201580037635 A CN 201580037635A CN 106659370 B CN106659370 B CN 106659370B
- Authority
- CN
- China
- Prior art keywords
- frame frequency
- movement
- judgement
- photographed images
- type endoscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
- A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
胶囊型内窥镜(100)包含摄像部(110)、处理部(120)、通信部(130),该摄像部(110)拍摄时间序列的摄像图像,该处理部(120)根据摄像图像进行胶囊型内窥镜(100)的第一运动判定,并求出第一运动判定结果,该通信部(130)将摄像图像发送给胶囊型内窥镜(100)的外部装置(200),并接收第二运动判定结果,该第二运动判定结果是由外部装置(200)根据摄像图像而进行的胶囊型内窥镜(100)的第二运动判定的结果。处理部(120)根据第一运动判定结果和第二运动判定结果来控制摄像部(110)的帧频。
Description
技术领域
本发明涉及胶囊型内窥镜、内窥镜系统以及胶囊型内窥镜的动作方法等。
背景技术
由于胶囊型内窥镜是小型的,因此因节约电源等理由,为了节约摄像张数而进行帧频的控制。帧频的控制根据胶囊型内窥镜在消化道内运动的速度而进行,在运动慢的情况下降低帧频,在运动快的情况下提高帧频。
作为控制帧频的方法,例如在专利文献1中公开了下述的方法。在专利文献1的方法中,被吞咽到体内的胶囊主体用照相机拍摄摄像图像,并将该摄像图像发送到体外的接收装置。而且,体外的处理器装置根据接收到的多个摄像图像之间的相似度来检测运动量(分析胶囊主体的运动),并根据该运动量确定合适的帧频,将该帧频的信息发送给胶囊主体,从而控制胶囊主体的照相机的帧频。
并且,在专利文献2中公开了下述的方法。在专利文献2的方法中,被吞咽到体内的胶囊主体通过照相机来拍摄摄像图像,并将该摄像图像发送给体外的接收装置。而且,体外的处理器装置利用声音传感器来获取消化器官的蠕动的信息,并判定接收到的多个摄像图像之间的相似度,根据该蠕动的信息和相似度的判定结果测定胶囊主体的运动,并根据该测定结果设定普通帧频或特殊帧频中的任意一方,将该设定的帧频的信息发送给胶囊主体,从而控制胶囊主体的照相机的帧频。
现有技术文献
专利文献
专利文献1:日本特开2006-223892号公报
专利文献2:日本特开2010-35746号公报
发明内容
发明要解决的课题
如上所述,在以往的方法中,利用体外的处理器装置来控制帧频。然而,在该方法中,由于在胶囊型内窥镜与体外装置之间进行摄像图像或帧频的信息的交换要花费时间,因此存在帧频的控制相对于胶囊型内窥镜的运动的变化延迟的课题。例如,在胶囊型内窥镜在消化道内移动的速度急剧变快的情况下,若提高帧频的控制延迟,则会产生无法拍摄的区域,因而存在发生诊断遗漏的风险。
根据本发明的几个方式,能够提供能够缩短帧频控制的响应时间的胶囊型内窥镜、内窥镜系统以及胶囊型内窥镜的动作方法等。
用于解决课题的手段
本发明的一个方式涉及胶囊型内窥镜,该胶囊型内窥镜包含摄像部、处理部、通信部,该摄像部拍摄时间序列的摄像图像,该处理部根据所述摄像图像进行胶囊型内窥镜的第一运动判定,并求出第一运动判定结果,该通信部将所述摄像图像发送给所述胶囊型内窥镜的外部装置,并接收第二运动判定结果,该第二运动判定结果是由所述外部装置根据所述摄像图像而进行的所述胶囊型内窥镜的第二运动判定的结果,所述处理部根据所述第一运动判定结果和所述第二运动判定结果来控制所述摄像部的帧频。
根据本发明的一个方式,由胶囊型内窥镜的处理部进行第一运动判定,由外部装置进行第二运动判定,并根据该第一运动判定的结果和第二运动判定的结果来控制帧频。由此,能够缩短帧频控制的响应时间。
并且,本发明的另一方式涉及内窥镜系统,该内窥镜系统包含胶囊型内窥镜、外部装置,所述胶囊型内窥镜包含摄像部、第一处理部、第一通信部,该摄像部按时间序列拍摄摄像图像,该第一处理部根据所述摄像图像进行所述胶囊型内窥镜的第一运动判定,并输出第一运动判定结果,该第一通信部将所述摄像图像发送给所述外部装置,所述外部装置包含第二处理部、第二通信部,该第二处理部根据所述摄像图像进行所述胶囊型内窥镜的第二运动判定,并输出第二运动判定结果,该第二通信部将所述第二运动判定结果发送给所述第一通信部,所述第一处理部根据所述第一运动判定结果和所述第二运动判定结果来控制所述摄像部的帧频。
并且,本发明的再一方式涉及胶囊型内窥镜的动作方法,该胶囊型内窥镜的动作方法如下:拍摄时间序列的摄像图像,根据所述摄像图像进行胶囊型内窥镜的第一运动判定,求出第一运动判定结果,将所述摄像图像发送给所述胶囊型内窥镜的外部装置,接收第二运动判定结果,该第二运动判定结果是由所述外部装置根据所述摄像图像而进行的所述胶囊型内窥镜的第二运动判定的结果,根据所述第一运动判定结果和所述第二运动判定结果来控制拍摄所述摄像图像的帧频。
附图说明
图1是内窥镜系统的结构例。
图2是内窥镜系统的第一详细的结构例。
图3是第一运动判定部的详细的结构例。
图4是第一运动判定的流程图。
图5是第二运动判定部的详细的结构例。
图6是模板匹配处理的说明图。
图7是第二运动判定的流程图。
图8是帧频控制部的详细的结构例。
图9是帧频控制的流程图。
图10是基于第一运动判定的帧频的切换的流程图。
图11是基于第二运动判定的帧频的切换的流程图。
图12是第一变形例的基于第二运动判定的帧频的切换的流程图。
图13是第二变形例的基于第一运动判定的帧频的切换的流程图。
图14是第二变形例的基于第二运动判定的帧频的切换的流程图。
图15是第三变形例的第一运动判定的流程图。
图16是第四变形例的第一运动判定的流程图。
图17是第四变形例的基于第一运动判定的帧频的切换的流程图。
图18是第五变形例的第一运动判定的流程图。
图19是第五变形例的基于第一运动判定的帧频的切换的流程图。
图20是内窥镜系统的第二详细的结构例。
具体实施方式
下面,对本实施方式进行说明。另外,下面说明的本实施方式并不对权利要求书中记载的本发明的内容进行不当限定。并且,在本实施方式中说明的所有结构并不一定是本发明的必要结构要件。
1.本实施方式的概要
由于胶囊型内窥镜是小型的,因此无法使用处理能力高的处理器,从而很难在胶囊型内窥镜的内部进行运动判定等负荷大的处理。因此,以往,利用设置于体外的外部装置进行运动判定,而控制胶囊型内窥镜的帧频。根据胶囊型内窥镜在消化道内前进的速度(物理运动)而控制帧频,例如若运动变快则进行提高帧频的控制。
然而,由于需要从胶囊型内窥镜向外部装置发送图像(容量大的数据),因此存在从胶囊型内窥镜的运动的速度变化到帧频被变更为止产生时滞的课题。例如,若从胶囊型内窥镜的运动变快到提高帧频为止要花费时间,则帧频保持慢的状态在消化道内快速前进,因而可能会产生在图像中没拍到的区域。那么,可能会在医生进行诊断时看漏病变,或者无法进行准确的诊断。
图1示出能够解决上述的课题的本实施方式的内窥镜系统的结构例。内窥镜系统包含胶囊型内窥镜100、外部装置200。胶囊型内窥镜包含摄像部110、处理部120、通信部130。
摄像部110拍摄时间序列的摄像图像。处理部120根据该摄像图像进行摄像部110的第一运动判定,并求出第一运动判定结果。通信部130将摄像图像发送给胶囊型内窥镜100的外部装置200。外部装置200根据从通信部130发送的摄像图像进行摄像部110的第二运动判定,通信部130从外部装置200接收该第二运动判定结果。而且,处理部120根据第一运动判定结果和第二运动判定结果来控制摄像部110的帧频。
这里,所谓时间序列的摄像图像是一边通过消化道的内部一边拍摄的图像,是按所拍摄的时间顺序排列的图像。例如,时间序列的摄像图像可以是动画,或者也可以是按所给的时间间隔摄影的一连串的图像。并且,所谓帧频是摄像部110拍摄的每单位时间的图像的张数。或者也可以是拍摄的周期或时间间隔。
根据以上所述,在硬件的规模上存在限制的胶囊型内窥镜100中能够简单地进行第一运动判定而适应性地控制帧频。由于在胶囊型内窥镜100的内部进行运动判定,因此可以进行相对于胶囊型内窥镜100运动的速度的变化没有时滞的帧频控制,从而能够抑制诊断遗漏等。并且,能够利用外部装置200进行高精度的第二运动判定,从而能够准确地使帧频追随胶囊型内窥镜100运动的速度。
并且,在本实施方式中,处理部120根据第一运动判定结果进行确定帧频的第一判断,并根据该第一判断来控制帧频。并且,处理部120根据第二运动判定结果进行第二判断,即判断根据第一运动判定结果而确定的帧频是否合适,在判定为根据第一运动判定结果而确定的帧频不合适的情况下,根据第二运动判定结果来确定帧频并控制帧频。
例如在后述的实施方式中,在图9的步骤S112中进行第一运动判定,在步骤S113中根据第一运动判定的判定值来确定帧频,在步骤S114中切换帧频。而且,在步骤S116中进行第二运动判定,在步骤S118中对根据第一运动判定而设定的帧频是否合适进行判断。而且,在判断为不合适的情况下,根据第二运动判定的判定值来确定帧频,在步骤S119中切换帧频。
这样,可以通过在外部装置200中进行的高精度的第二运动判定来验证并修正在胶囊型内窥镜100中简单地进行的第一运动判定。即,根据第一运动判定而相对于胶囊型内窥镜100的运动的变化快速切换帧频,并且可以通过由硬件规模的限制相对较少的外部装置200进行高精度的第二运动判定来进行准确的帧频的控制。
并且,在本实施方式中,处理部120根据第一运动判定结果进行是否将帧频切换为比当前的帧频快的帧频的判断,并根据第二运动判定结果进行是否将帧频切换为比当前的帧频慢的帧频的判断。
例如在后述的实施方式中,在图13所示的流程的步骤S182中,根据第一运动判定的判定值来判定是否从低速帧频切换到高速帧频。像步骤S181、S184所示那样,在当前的帧频为高速帧频的情况下,不进行帧频的切换。并且,在图14所示的流程的步骤S203中,根据第二运动判定的判定值来判定是否从高速帧频切换到低速帧频。像步骤S201、S202所示那样,在当前的帧频为低速帧频的情况下,不进行帧频的切换。
如上所述,由于在胶囊型内窥镜100中进行简单的第一运动判定,因此如果与外部装置200进行的第二运动判定相比,则判定的精度相对较低。因此,当通过第一运动判定进行向慢的帧频的切换时,有可能虽然实际上运动快但以慢的帧频进行摄影,从而可能会拍摄遗漏。在这一点上,在本实施方式中由于根据第二运动判定进行向慢的帧频的切换,因此能够抑制上述那样的拍摄遗漏。
并且,容易发生拍摄遗漏的情况是在胶囊型内窥镜的运动的速度增加时,期望追随该增加而即时提高帧频。在这一点上,在本实施方式中由于根据第一运动判定而切换到快的帧频,因此在怀疑运动变快的情况下加快帧频从而能够抑制拍摄遗漏。并且,在该判断错误的情况下,由于根据第二运动判定进行修正,因此能够防止不必要地以高帧频进行摄影,从而节约消耗电流。
并且,在本实施方式中,外部装置200进行第二处理负荷的第二运动判定。另一方面,处理部120进行比第二处理负荷小的第一处理负荷的第一运动判定。
例如在后述的实施方式中,在第一运动判定中,在相同的像素位置比较2张摄像图像(例如取得像素值的差分)而求出SAD等,根据该SAD等判定运动的速度。另一方面,在第二运动判定中,在2张图像之间进行块匹配,根据各块的匹配结果判定运动的速度。
这样,由于与外部装置200相比在硬件的规模上存在限制,因此即使用处理能力相对较低的胶囊型内窥镜100的处理器也能够进行第一运动判定,从而能够快速变更帧频。与此同时,能够通过处理负荷大的第二运动判定来补偿第一运动判定,从而能够实现准确的运动判定。在上述的例子中,由于第一运动判定是简单的像素值的比较,没有块匹配那样的重的反复处理,因此,因在硬件的规模上存在限制而即使用处理能力相对较低的胶囊型内窥镜100的处理器也能够执行。
2.第一详细结构
2.1.内窥镜系统
下面,对本实施方式的详细内容进行说明。图2示出内窥镜系统的第一详细的结构例。内窥镜系统包含胶囊型内窥镜100(胶囊主体)、外部装置200(体外装置)。
胶囊型内窥镜100是如下内窥镜:它通过患者吞入(吞咽)而取入到患者的体内,一边利用消化道的蠕动在消化道内前进一边依次拍摄消化道内。在患者的腹部安装有用于与胶囊型内窥镜100之间交换无线电波的多个垫(天线)。在该垫上连接有与胶囊型内窥镜100进行通信的通信装置(接收装置),通信装置例如安装在患者的身体上。进行第二运动判定的外部装置200例如对应于该通信装置。或者,也可以与通信装置分开地设置信息处理装置(例如PC(Personal Computer:个人计算机)等),将该信息处理装置作为外部装置200而进行动作。
胶囊型内窥镜100包含摄像部110、处理部120、通信部130、光源部140、存储部150、以及A/D转换部160。处理部120包含图像处理部121、第一运动判定部122、控制部123、帧频控制部124。通信部130包含摄像图像发送部131、以及判定信息接收部132。
外部装置200包含处理部220、通信部230、存储部250、图像保存部270。处理部220包含图像处理部221、第二运动判定部222、控制部223。通信部230包含摄像图像接收部231、判定信息发送部232。
对各部的连接进行说明。在胶囊型内窥镜100中,摄像部110连接到A/D转换部160。A/D转换部160连接到图像处理部121和摄像图像发送部131。图像处理部121连接到第一运动判定部122。摄像图像发送部131经由无线而连接到外部装置200所具有的摄像图像接收部231。存储部150与第一运动判定部122双向连接。第一运动判定部122和判定信息接收部132连接到帧频控制部124。帧频控制部124连接到摄像部110。控制部123与摄像部110、A/D转换部160、图像处理部121、摄像图像发送部131、第一运动判定部122、存储部150、判定信息接收部132、帧频控制部124以及光源部140双向连接。
在外部装置200中,摄像图像接收部231经由图像处理部221而连接到第二运动判定部222。图像处理部221连接到图像保存部270。第二运动判定部222连接到判定信息发送部232。存储部250与第二运动判定部222双向连接。判定信息发送部232经由无线而连接到判定信息接收部132。控制部223与摄像图像接收部231、图像处理部221、图像保存部270、第二运动判定部222、存储部250、以及判定信息发送部232双向连接。
2.2.胶囊型内窥镜
接下来,对各部进行的处理和动作进行说明。首先对胶囊型内窥镜100进行说明。
光源部140射出的光根据来自控制部123的控制而被照射到胶囊型内窥镜100外的被摄体。来自该被摄体的反射光经由摄像部110的光学透镜系统而成像于摄像部110的摄像元件。从摄像元件输出的模拟摄像图像被传送到A/D转换部160。例如,摄像元件是原色单版(拜耳阵列)的摄像元件。
A/D转换部160根据来自控制部123的控制而将来自摄像部110的模拟摄像图像数字化,并将该图像作为数字摄像图像(下面省略为摄像图像)而传送到图像处理部121和摄像图像发送部131。
图像处理部121根据来自控制部123的控制而对来自A/D转换部160的原色单版的摄像图像进行图像处理。例如进行公知的插值处理、边缘强调处理、灰度转换处理等。在本实施方式中,由于抑制了搭载于胶囊型内窥镜100的图像处理用的电路的规模,因此仅对原色单板的摄像图像中的G像素(在拜耳阵列的情况下,在R和B的像素中缺失G像素)实施公知的插值处理。在该插值处理中,对缺失的G像素通过算术平均其周边的G像素的像素值来进行插值。将插值后的仅G像素的摄像图像传送到第一运动判定部122。插值完毕的G摄像图像作为亮度摄像图像而用于后段的运动判定中。
这样,通过图像处理部121仅对原色单版的摄像图像的G像素实施插值处理,从而与对RGB所有像素实施插值处理的情况相比能够减小安装规模。由于针对摄像图像的处理量较小,因此能够节约胶囊型内窥镜100的消耗电力。
另外,在上述中,以仅对G像素进行插值处理的情况为例进行了说明,但本实施方式并不限定于此。例如,也可以与G像素的插值处理相同,使用周边同色的像素对R像素和B像素进行插值。在这种情况下,通过下式(1)对每个像素计算亮度像素值Y(x,y)。图像处理部121根据来自控制部123的控制将亮度图像传送到第一运动判定部122。
Y(x,y)=a1*R(x,y)+b1*G(x,y)+c1*B(x,y) (1)
在上式(1)中,x是二维摄像图像的横轴坐标(例如水平扫描方向的坐标),y是二维摄像图像的纵轴坐标(例如垂直扫描方向的坐标)。Y(x,y)是摄像图像的坐标(x,y)的亮度像素值。R(x,y)是摄像图像的坐标(x,y)的R像素值,G(x,y)是摄像图像的坐标(x,y)的G像素值,B(x,y)是摄像图像的坐标(x,y)的B像素值。a1、b1、c1是用于计算亮度像素值Y(x,y)的规定系数。
图3示出第一运动判定部122的详细的结构例。第一运动判定部122包含图像缩小部401、相似度计算部402、运动判定部403、暂时保存部404。
图像处理部121经由图像缩小部401、相似度计算部402而连接到运动判定部403。图像缩小部401连接到暂时保存部404。存储部150与图像缩小部401、相似度计算部402、运动判定部403双向连接。运动判定部403连接到帧频控制部124。控制部123与图像缩小部401、相似度计算部402、运动判定部403以及暂时保存部404双向连接。
图像缩小部401根据来自控制部123的控制对来自图像处理部121的图像(插值完毕的仅G像素的摄像图像。下面省略为G摄像图像)实施缩小处理。在本实施方式中,对G摄像图像进行间除处理,从而缩小G摄像图像的尺寸(下面,将缩小后的G摄像图像称作缩小G摄像图像)。
具体而言,首先通过下式(2)来计算G摄像图像的间除处理用的跳过横宽尺寸和跳过纵宽尺寸。
“步宽”=“宽度”/“减小宽度”
“步高”=“高度”/“减小高度” (2)
在上式(2)中,“宽度”是G摄像图像的横宽尺寸,“高度”是G摄像图像的纵宽尺寸。“减小宽度”是缩小G摄像图像的横宽尺寸,“减小高度”是缩小G摄像图像的纵宽尺寸。“步宽”是横轴方向的间除间隔(跳过横宽尺寸),“步高”是纵轴方向的间除间隔(跳过纵宽尺寸)。
上述的参数“宽度”、“高度”、“减小宽度”以及“减小高度”事先存储于存储部150。而且,在实施缩小处理时,图像缩小部401根据来自控制部123的控制从存储部150读取。
另外,也可以事先将参数“步宽”和“步高”存储于存储部150。在这种情况下,不通过上式(1)进行计算就能实施缩小处理。
接下来,图像缩小部401根据来自控制部123的控制,在横轴方向上按跳过横宽尺寸“步宽”,在纵轴方向上按跳过纵宽尺寸“步高”选择(跳过)G摄像图像的像素,由该选择的像素构成缩小摄像图像。该跳过处理例如以G摄像图像的左上像素为基准而进行。
另外,在上述中,以进行间除缩小处理的情况为例进行了说明,但本实施方式并不限定于此。例如也可以是,以通过上述跳过处理而选择的像素为中心设定规定尺寸的块区域(例如3×3、5×5等),对该块区域内的所有像素值实施公知的算术平均处理或加权算术平均处理,并将该得到的像素值作为通过跳过处理而选择的像素的像素值而构成缩小摄像图像。
接下来,图像缩小部401根据来自控制部123的控制,将缩小处理后的缩小G摄像图像传送到相似度计算部402和暂时保存部404。保存在该暂时保存部404的是在时间序列上过去的缩小G摄像图像,并且为了计算与时间序列上下一个缩小G摄像图像的相似度而使用。具体而言,每当按时间序列取入缩小G摄像图像时,更新暂时保存部404所具有的时间上最早的缩小G摄像图像,并保存取入的(当前的)缩小G摄像图像。
在本实施方式中,计算当前的缩小G摄像图像与时间序列上过去的缩小G摄像图像的相似度,并根据该相似度来判断是否存在胶囊型内窥镜100或被摄体等的物理运动(下面省略为胶囊的物理运动)。下面,对该运动判定进行说明。
相似度计算部402根据来自控制部123的控制,使用来自图像缩小部401的当前的缩小G摄像图像和来自暂时保存部404的过去的缩小G摄像图像,通过下式(3)来计算SAD值(Sum of Absolute Difference:绝对差之和)。这里,判断为SAD值越接近0,2张缩小G摄像图像的相似度越高。相似度计算部402根据来自控制部123的控制将isad值传送到运动判定部403。
在上式(3)中,isad是SAD值。I是缩小G撮像图像的横轴坐标,j是缩小G摄像图像的纵轴坐标。M是缩小G摄像图像的横宽尺寸,N是缩小G摄像图像的纵宽尺寸。I(i,j)是当前的缩小G摄像图像的坐标(i,j)的像素值,I’(i,j)是过去的缩小G摄像图像的坐标(i,j)的像素值。
另外,在上述中,以根据时间序列的前后2张摄像图像来计算SAD值从而判断相似度的情况为例进行了说明,但本实施方式并不限定于此。例如,也可以通过下式(4)来计算SSD(Sum of Squared Difference:方差之和)值从而判断相似度,或者也可以通过下式(5)来计算NCC(Normalized Cross-Correction:归一化互相关)值从而判断相似度。
在上式(4)中,issd是SSD值。在上式(5)中,incc是NCC值。i、j、M、N、I(i,j)、I’(i,j)如上式(3)中说明的那样。
并且,在上述中,以根据不跳过时间序列而相邻的2张摄像图像来计算相似度的情况为例进行了说明,但本实施方式并不限定于此。例如,也可以按规定的间隔(时间或帧数)跳过摄像图像,根据时间序列上不相邻的摄像图像来计算相似度。例如,在将跳过间隔设定为1张的情况下,以隔着1张间隔的方式采用摄像图像。即,使用当前的摄像图像和时间序列上追溯过去的第二张的摄像图像来计算相似度。那么,能够将用于运动判定的处理量抑制为1/N(N为跳过间隔+1)。
接下来,对运动判定部403的动作进行说明。以下,以摄像帧频能够被设定为高速帧频(第一帧频)和低速帧频(第二帧频)这两级的情况为例进行说明。
图4示出第一运动判定的流程图。首先,运动判定部403根据来自控制部123的控制从存储部150读取事先保存的运动判定用的第一SAD阈值HA和第二SAD阈值LA(HA>LA)(步骤S1)。
接下来,运动判定部403对来自相似度计算部402的SAD值isad和阈值HA、LA进行比较。具体而言,判定SAD值isad是否为阈值HA以上(步骤S2)。在SAD值isad为阈值HA以上的情况下,将第一运动判定的判定值(控制信号值)设定为“2”(步骤S3)。这是运动大的判定。在SAD值isad比阈值HA小的情况下,判定SAD值isad是否为阈值LA以下(步骤S4)。在SAD值isad为阈值LA以下的情况下,将判定值设定为“0”(步骤S6)。这是运动小的判定。在SAD值isad为阈值LA以上的情况下,将判定值设定为“1”(步骤S5)。这是运动不大不小的判定。运动判定部403将上述的判定值传送到帧频控制部124。
另外,如后述的那样,在判定值“2”的情况下切换到高速帧频,在判定值“1”的情况下维持帧频,在判定值“0”的情况下切换到低速帧频。
如上所述,第一运动判定部122根据通过缩小处理而减少了像素数量的G摄像图像来计算相似度,因此能够减轻运动判定的处理负荷。由此,能够减小胶囊型内窥镜100的安装规模。并且,由于减小了针对摄像图像的处理量,因此也能够节约消耗电力。
另外,在上述中,以在缩小G摄像图像之后实施相似度计算和运动判定处理的情况为例进行了说明,但本实施方式并不限定于此。例如,也可以实施相似度计算和运动判定处理,而不缩小G摄像图像。即使在这种情况下,由于在相似度的计算(例如在上式(3))中不进行块匹配等高负荷的处理,因此也能够节约处理器的处理能力。并且,也可以采用如下结构:不对G摄像图像进行插值而进行控制,使得横轴方向的间除间隔“步宽”和纵轴方向的间除间隔“步高”成为规定的间隔,并提取原色拜耳原本具有的G像素来进行缩小处理。
2.3.外部装置
接下来,对外部装置200的各部进行的处理和动作进行说明。另外,由于胶囊型内窥镜100的帧频控制部124是使用来自外部装置200的第二运动判定来控制帧频的结构,因此关于帧频控制部124将在后面说明。
摄像图像接收部231经由无线通信接受从胶囊型内窥镜100传送的摄像图像,并将该摄像图像传送到图像处理部221和图像保存部270。图像保存部270保存该摄像图像。
图像处理部221根据来自控制部223的控制对来自摄像图像接收部231的摄像图像进行图像处理。例如实施公知的插值处理、颜色管理处理、边缘强调处理、灰度转换处理等。图像处理部221根据来自控制部223的控制将处理后的RGB 3板的摄像图像(在各像素上具有RGB像素值的图像)传送到图像保存部270。图像保存部270保存该RGB 3板的摄像图像。并且,图像保存部270根据RGB 3板的摄像图像通过上式(1)来计算亮度像素值。图像保存部270根据来自控制部223的控制将由亮度像素值构成的摄像图像(下面称作亮度图像)传送到第二运动判定部222。
图5示出第二运动判定部222的详细的结构例。第二运动判定部222包含区域分割部601、相似度计算部602、运动判定部603、暂时保存部604。
图像处理部221经由区域分割部601、相似度计算部602而连接到运动判定部603。图像处理部221连接到暂时保存部604。存储部250与区域分割部601、相似度计算部602、运动判定部603双向连接。运动判定部603连接到判定信息发送部232。控制部223与区域分割部601、相似度计算部602、运动判定部603以及暂时保存部604双向连接。
来自图像处理部221的亮度图像根据来自控制部223的控制而被传送到区域分割部601和暂时保存部604。保存在该暂时保存部604的是在时间序列上过去的亮度图像,为了计算与时间序列上下一个亮度图像的相似度而使用该亮度图像。暂时保存部604每当按时间序列取入亮度图像时,删除时间上最早的亮度图像,并保存取入的当前的亮度图像。
区域分割部601根据存储于存储部250的块区域尺寸的信息,将来自图像处理部221的当前的亮度图像分割为多个块区域,并将分割后的亮度图像传送到相似度计算部602。
相似度计算部602根据存储于存储部250的模板匹配处理用的检测区域尺寸的信息,进行来自区域分割部601的各块区域的亮度图像和来自暂时保存部604的过去的亮度图像的模板匹配处理(例如SAD、SSD、NCC等)。
图6示出模板匹配处理的例子。在图6中,通过纵宽“高度”和横宽“宽度”来表示亮度图像的图像尺寸,用块区域的纵宽“B_高度”和横宽“B_宽度”来表示块区域的尺寸。
相似度计算部602根据来自控制部223的控制,以块中心点SB(x,y)为块代表点检测块区域的运动量。此时,相似度计算部602进行关注块区域与检测区域的模板匹配处理。所谓关注块区域是依次被模板匹配处理的多个块区域中的作为当前处理对象的块区域。检测区域是根据来自存储部250的尺寸信息而相对过去的亮度图像设定的区域。尺寸信息是检测区域的开始坐标SA(x,y)和结束坐标EA(x,y),检测区域的纵宽和横宽分别比块区域的纵宽和横宽大。
相似度计算部602通过上式(3)来计算使关注块区域的左上像素与检测区域的左上像素(SA(x,y))一致的情况下的SAD值。一边向检测区域的右或下逐个偏移像素一边进行该处理,并对检测区域的所有像素计算SAD值。相似度计算部602从这些SAD值中提取最小的SAD值,作为关注块区域的代表SAD值。对所有块区域进行该处理,计算各块区域的代表SAD值,并将代表SAD传送到运动判定部603。
接下来,对运动判定部603的动作进行说明。图7示出第二运动判定的流程图。首先,运动判定部603根据来自控制部223的控制从存储部250读取事先保存的运动判定用的第三SAD阈值HB和第四SAD阈值LB(HB>LB)(步骤S81)。另外,阈值HB、LB可以与上述的阈值HA、LA相同,也可以不同。
接下来,运动判定部603对来自相似度计算部602的各块区域的代表SAD值和阈值HB、LB进行比较。具体而言,判定代表SAD值是否为阈值HB以上(步骤S82)。在代表SAD值为阈值HB以上的情况下,将运动判定用的第一计数值CH+1(步骤S83)。另外,计数值CH的初始值为0。在代表SAD值比阈值HB小的情况下,判定代表SAD值是否为阈值LB以下(步骤S84)。在代表SAD值为阈值LB以下的情况下,将运动判定用的第二计数值CL+1(步骤S85)。在代表SAD值比阈值LB大的情况下,不变更计数值CH、CL。运动判定部603在未对所有块区域结束处理的情况下返回到步骤S82,在结束的情况下前进到步骤S87(步骤S86)。
接下来,运动判定部603从存储部250读取事先保存的计数值CH用的第一计数阈值TCH和计数值CL用的第二计数阈值TCL(TCH>TCL)(步骤S87)。
接下来,运动判定部603对计数值CH、CL和计数阈值TCH、TCL进行比较。具体而言,判定计数值CH是否为计数阈值TCH以上(步骤S88)。在计数值CH为计数阈值TCH以上的情况下,将第二运动判定的判定值设定为“2”。这是运动大的判定。在计数值CH比计数阈值TCH小的情况下,判定计数值CL是否为计数阈值TCL以上(步骤S90)。在计数值CL为计数阈值TCL以上的情况下将判定值设定为“0”(步骤S91)。这是运动小的判定。在计数值CL比计数阈值TCL小的情况下将判定值设定为“1”(步骤S92)。这是运动不大不小的判定。运动判定部603将上述的判定值传送到判定信息发送部232,判定信息发送部232经由无线通信将判定值传送到判定信息接收部132。
另外,如后述那样,在判定值“2”的情况下切换到高速帧频,在判定值“0”的情况下切换到低速帧频。在判定值“1”的情况下,根据当前的帧频进行切换。
根据以上,在计数值CH为计数阈值TCH以上的情况下设定判定值“2”,在计数值CL为计数阈值TCL以上的情况下设定判定值“0”,在除此以外的情况下设定判定值“1”。
这里,计数值CH为计数阈值TCH以上并且有可能计数值CL为计数阈值TCL以上。关于这一点像以下那样对应。
设定为块区域的数量≥第一计数阈值TCH≥1,块区域的数量≥第二计数阈值TCL≥1。第一计数阈值TCH是用于判断胶囊型内窥镜100的物理运动大的块区域的数量的阈值。因此,若将第一计数阈值TCH设定得小,则切换为高速帧频(判定值“2”)的可能性变高。另一方面,第二计数阈值TCL是用于判断胶囊型内窥镜100的物理运动小的块区域的数量的阈值。因此,若将第二计数阈值TCL设定得大,则切换为低速帧频(判定值“0”)的可能性变高。
利用这些性质来设定期望的计数阈值,关于第一计数阈值TCH和第二计数阈值TCL的设定,有可能同时满足判定值为“2”的条件和判定值为“0”的条件。因此,为了不成为那样的情况,期望例如事先进行实验等来设定第一计数阈值TCH和第二计数阈值TCL。在如果同时满足判定值为“2”的条件和判定值为“0”的条件的情况下,从抑制诊断遗漏的观点考虑期望将判定值设定为“2”。在图7的流程中,在步骤S88中由于先进行计数值CH和计数阈值TCH的比较,因此判定值“2”优先。
如上所述,在外部装置200中由于胶囊型内窥镜100那样的硬件规模的限制相对较少,因此能够进行模板匹配处理。而且,对根据模板匹配处理的结果而判断为运动大的块区域的数量和判断为运动小的块区域的数量进行计数,并能够根据计数值进行胶囊型内窥镜100的运动判定。由此,与胶囊型内窥镜100进行的第一运动判定相比能够进行高精度的运动判定。
2.4.帧频控制部
接下来,对胶囊型内窥镜100的帧频控制部124的动作进行说明。图8示出帧频控制部124的详细的结构例。帧频控制部124包含切换判断部301、帧频调整部302。
第一运动判定部122经由切换判断部301和帧频调整部302而连接到摄像部110。判定信息接收部132连接到切换判断部301。存储部150与帧频调整部302双向连接。控制部123与切换判断部301和帧频调整部302双向连接。
图9示出帧频控制的流程图。首先,第一运动判定部122和摄像图像发送部131从图像处理部121获取摄像图像(步骤S111)。
接下来,在胶囊型内窥镜100中,第一运动判定部122进行第一运动判定(步骤S112)。接下来,切换判断部301根据来自控制部123的控制判断是否切换帧频(步骤S113)。在判断为需要切换的情况下,帧频调整部302切换摄像部110的帧频(步骤S114)。即,像步骤S101所示那样在当前的帧频为FR 1(例如低速帧频)的情况下,像步骤S102所示那样切换为帧频FR 2(例如高速帧频)。
并且,在外部装置200中,摄像图像接收部231接收摄像图像,第二运动判定部222从摄像图像接收部231获取摄像图像(步骤S115)。接下来,第二运动判定部222进行第二运动判定(步骤S116)。接下来,判定信息发送部232将第二运动判定的结果发送给判定信息接收部132(步骤S117)。接下来,切换判断部301根据来自控制部123的控制判断基于第一运动判定的结果的帧频切换控制(当前的帧频)是否合适(步骤S118)。在判断为合适的情况下,帧频调整部302维持当前的帧频。在判断为不合适的情况下,帧频调整部302切换摄像部110的帧频(步骤S119)。即,像步骤S102所示那样在当前的帧频为FR 2(例如高速帧频)的情况下,像步骤S103所示那样切换为帧频FR 3(例如低速帧频)。
更详细地对上述步骤S113、S118中的帧频的切换判断进行说明。图10示出基于第一运动判定的帧频的切换(步骤S113)的流程图。
在当前的帧频为低速帧频的情况下(步骤S141)进行以下的控制。切换判断部301在判定值为“2”的情况下,判断为需要进行帧频的切换(步骤S142),并切换为高速帧频(步骤S143)。另一方面,在判定值为“1”或“0”的情况下,判断为不需要进行帧频的切换(步骤S142),而维持低速帧频(步骤S144)。
在当前的帧频为高速帧频的情况下(步骤S141)进行以下的控制。切换判断部301在判定值为“0”的情况下,判断为需要进行帧频的切换(步骤S145),并切换为低速帧频(步骤S146)。另一方面,在判定值为“2”或“1”的情况下,判断为不需要进行帧频的切换(步骤S145),而维持高速帧频(步骤S144)。
如上所述,在判定值“2”的情况下切换为(或维持)高速帧频,在判定值“1”的情况下维持当前的帧频,在判定值“0”的情况下切换为(或维持)低速帧频。
图11示出基于第二运动判定的帧频的切换(步骤S117)的流程图。
在根据第一运动判定而设定低速帧频的情况下(步骤S161)进行以下的控制。切换判断部301在判定值为“2”或“1”的情况下,判断为基于第一运动判定的帧频切换不合适(步骤S162),并切换为高速帧频(步骤S163)。另一方面,在判定值为“0”的情况下,判断为基于第一运动判定的帧频切换合适(步骤S162),而维持低速帧频(步骤S164)。
在根据第一运动判定而设定高速帧频的情况下(步骤S161)进行以下的控制。切换判断部301在判定值为“1”或“0”的情况下,判断为基于第一运动判定的帧频切换不合适(步骤S165),并切换为低速帧频(步骤S166)。另一方面,在判定值为“2”的情况下,判断为基于第一运动判定的帧频切换合适(步骤S165),而维持高速帧频(步骤S164)。
如上所述,在第二运动判定的判定值与根据第一运动判定而设定的帧频一致的情况下,维持当前的帧频,在不一致的情况下,切换帧频。
根据以上的实施方式,处理部120在第一运动判定(图4的流程)中,在判定为在摄像图像中拍摄到的被摄体的运动量(SAD值isad)比第一运动量(阈值HA)大的情况下(步骤S2),将帧频切换为高速帧频(步骤S3,图10的流程)。并且,处理部120在第一运动判定中,在判定为运动量比第二运动量小的情况下(步骤S4),将帧频切换为比高速帧频慢的低速帧频(步骤S6,图10的流程),其中,该第二运动量比第一运动量小(阈值LA<HA)。
这样,通过用第一运动量和第二运动量来判定运动量,能够判断胶囊型内窥镜100的运动的速度。并且,能够判定相对于当前的帧频相对地运动变快的情况(判定值“2”)、合适的情况(判定值“1”)、变慢的情况(判定值“0”)。即,能够根据相对的运动的速度的变化来切换帧频。
并且,在本实施方式中,处理部120在帧频被设定为低速帧频的場情况下(图11的步骤S161),在第二运动判定中在判定为运动量比第三运动量大的情况下(图7的步骤S89、图11的步骤S162),将帧频切换为高速帧频(图11的步骤S163)。并且,处理部120在帧频被设定为高速帧频的情况下(图11的步骤S161),在第二运动判定中在判定为运动量比第四运动量小的情况下(图7的步骤S91、图11的步骤S165),将帧频切换为低速帧频(图11的步骤S166),其中,该第四运动量比第三运动量小。
这样,通过用第三运动量和第四运动量来判定运动量,能够判断根据第一运动判定而设定的帧频是否合适。即,在第二运动判定所示的运动的速度(判定值)与根据第一运动判定而设定的帧频不一致的情况下,能够切换帧频。
另外,在图7所示的第二运动判定的流程中,使用计数值CH、CL作为表示运动量的信息。运动量越大计数值CH越大,运动量越小计数值CL越大。即,计数值CH为阈值TCH以上的情况相当于运动量为第三运动量以上的情况,计数值CL为阈值TCL以上的情况相当于运动量为第四运动量以下的情况。
3.第一变形例
下面,对上述实施方式的变形例进行说明。图12示出第一变形例的流程图。在第一变形例中,仅在根据第一运动判定而切换为低速帧频的情况下,根据第二运动判定进行帧频的切换。
即,在根据第一运动判定而设定低速帧频的情况下(步骤S261)进行以下的控制。切换判断部301在判定值为“2”或“1”的情况下,判断为基于第一运动判定的帧频切换不合适(步骤S262),并切换为高速帧频(步骤S263)。另一方面,在判定值为“0”的情况下,判断为基于第一运动判定的帧频切换合适(步骤S262),而维持低速帧频(步骤S264)。
在根据第一运动判定而设定高速帧频的情况下(步骤S261),切换判断部301不管判定值如何都维持高速帧频(步骤S264)。
根据以上的实施方式,在帧频根据第一运动判定结果而从高速帧频切换为低速帧频的情况下(图12的S261),处理部120根据第二运动判定结果进行是否将帧频返回到高速帧频的第二判断(步骤S262)。而且,在帧频根据第一运动判定结果而从低速帧频切换为高速帧频的情况下(步骤S261),处理部120维持高速帧频,而不进行第二判断(步骤S264)。
由于在胶囊型内窥镜100中进行简单的第一运动判定,因此有可能虽然实际上运动快但切换为慢的帧频,从而可能会拍摄遗漏。在这一点上,根据本实施方式,通过外部装置200进行的高精度的第二运动判定,能够返回到高速帧频,从而能够抑制拍摄遗漏。并且,在胶囊型内窥镜100向低速帧频切换的情况下,由于即使是错误判断拍摄遗漏的可能性也较低,因此即使不通过外部装置200进行修正,从诊断遗漏的观点考虑也是安全的。
4.第二变形例
图13、图14示出第二变形例的流程图。在第二变形例中,根据第一运动判定仅进行从低速帧频向高速帧频的切换,根据第二运动判定仅进行从高速帧频向低速帧频的切换。
图13是基于第一运动判定的帧频的切换的流程图。在当前的帧频为低速帧频的情况下(步骤S181)进行以下的控制。切换判断部301在判定值为“2”的情况下(步骤S182),切换为高速帧频(步骤S183)。另一方面,在判定值为“1”或“0”的情况下(步骤S182),维持低速帧频(步骤S184)。
在当前的帧频为高速帧频的情况下(步骤S181)进行以下的控制。切换判断部301不管判定值如何都维持高速帧频(步骤S184)。即,不进行向低速帧频的切换。
图14是基于第二运动判定的帧频的切换的流程图。在根据第一运动判定而设定低速帧频的情况下(步骤201)进行以下的控制。切换判断部301不管判定值如何都维持低速帧频(步骤S202)。即,不进行向高速帧频的切换。
在根据第一运动判定而设定高速帧频的情况下(步骤S201)进行以下的控制。切换判断部301在判定值为“1”或“0”的情况下(步骤S203),切换为低速帧频(步骤S204)。另一方面,在判定值为“2”的情况下(步骤S203),维持高速帧频(步骤S202)。
另外,也可以根据第一运动判定仅进行从低速帧频向高速帧频的切换,根据第二运动判定进行从高速帧频向低速帧频的切换和从低速帧频向高速帧频的切换这两方。
根据以上的实施方式,处理部120在帧频被设定为高速帧频的情况下(图13的步骤S181),不管第一运动判定结果如何都将帧频维持为高速帧频(步骤S184)。另一方面,处理部120在帧频被设定为低速帧频的情况下(步骤S181),在第一运动判定中,在判定为在摄像图像中拍摄到的被摄体的运动量比第一运动量大的情况下(步骤S182的判定值“2”),将帧频切换为比低速帧频快的高速帧频(步骤S183)。
这样,在胶囊型内窥镜100进行的第一运动判定中不进行从高速帧频向低速帧频的切换。由此,通过简单的第一运动判定,没有可能虽然实际上运动快但切换为慢的帧频,从而能够抑制拍摄遗漏。
5.第三变形例
图15示出第三变形例的流程图。在上述的实施方式中进行相对的帧频切换,但在第三变形例中绝对地选择哪个帧频。
即,第一运动判定部122从存储部150读取第一阈值HA(步骤S41)。接下来,判定SAD值是否为阈值HA以上(步骤S42)。在SAD值为阈值HA以上的情况下,将第一运动判定的判定值设定为“2”(步骤S43)。在SAD值比阈值HA小的情况下,将判定值设定为“0”(步骤S44)。
帧频的切换控制如下。即,在图10中在上述的帧频的切换控制中判定值“1”的情况下,不管是高速帧频还是低速帧频都维持当前的帧频。在第二变形例中,没有该判定值“1”的情况,在判定值“2”的情况下切换为(或维持)高速帧频,在判定值“0”的情况下切换为(或维持)低速帧频。
另外,在第二运动判定中也可以采用输出判定值“2”或“0”的结构。在这种情况下,在图7的流程中,在步骤S81中读取阈值HB,省略步骤S84、S85,在步骤S87中读取计数阈值TCH,省略步骤S90、S92,在步骤S88中判定为“否”的情况下执行步骤S91。
6.第四变形例
图16、图17示出第四变形例的流程图。在第四变形例中,按n级(n为n≥3的自然数)切换帧频。以下,以按高速帧频、中速帧频、低速帧频这三级切换帧频的情况为例进行说明。
图16是第一运动判定的流程图。第一运动判定部122从存储部150读取第一~第三SAD阈值HD、HE、LD(HD>HE>LD)(步骤S21)。
接下来,第一运动判定部122判定SAD值是否为阈值HD以上(步骤S22)。在SAD值为阈值HD以上的情况下,将第一运动判定的判定值设定为“3”(步骤S23)。在SAD值比阈值HD小的情况下,判定SAD值是否为阈值HE以上(步骤S24)。在SAD值为阈值HE以上的情况下,将判定值设定为“2”(步骤S25)。在SAD值比阈值HE小的情况下,判定SAD值是否为阈值LD以上(步骤S26)。在SAD值为阈值LD以上的情况下,将判定值设定为“1”(步骤S27)。在SAD值比阈值LD小的情况下,将判定值设定为“0”(步骤S28)。
图17是基于第一运动判定的帧频切换的流程图。帧频控制部124在第一运动判定的判定值为“3”的情况下(步骤S221),切换为高速帧频(步骤S222)。在判定值为“2”的情况下(步骤S221),切换为比当前的帧频快一级的帧频(步骤S223)。例如从低速帧频切换为中速帧频。另外,在步骤S222、S223中在当前的帧频为高速帧频的情况下,维持高速帧频。
帧频控制部124在判定值为“1”的情况下(步骤S221),维持当前的帧频(步骤S224)。在判定值为“1”的情况下(步骤S221),切换为比当前的帧频慢一级的帧频(步骤S225)。例如从高速帧频切换为中速帧频。另外,在步骤S225中在当前的帧频为低速帧频的情况下,维持低速帧频。
另外,第二运动判定例如如下。在图7的流程中,新设置第三计数阈值TCH’,并在步骤S87中读取计数阈值TCH、TCH’、TCL(TCH>TCH’>TCL)。在步骤S88中在计数值CH为阈值TCH以上的情况下,在步骤S89中将判定值设定为“3”。在计数值CH比阈值TCH小的情况下,判定计数值CH是否为阈值TCH’以上,在计数值CH为阈值TCH’以上的情况下,将判定值设定为“2”,在计数值CH比阈值TCH’小的情况下前进到步骤S90。
基于第二运动判定的判定值的帧频控制与图17的流程相同。在选择与根据第一运动判定而设定的帧频不同的帧频的情况下进行帧频的切换。在选择与根据第一运动判定而设定的帧频相同的帧频的情况下,维持当前的帧频。
根据以上的实施方式,处理部120通过对运动量(SAD值)和第一~第三运动量(阈值HD、HE、LD)进行比较来确定进行向第一~第n帧频(高速、中速、低速帧频)中的最快的帧频的切换(步骤S222)、向比当前的帧频快一级的帧频的切换(步骤S223)、当前的帧频的维持、(步骤S224)、向比当前的帧频慢一级的帧频的切换(步骤S225)中的哪一个。
此时,处理部120根据以当前设定的帧频拍摄的摄像图像求出被摄体的运动量。
例如,在帧频为12fps、8fps、4fps这三级的情况下,分别根据12fps、8fps、4fps的摄像图像求出运动量。即,不管帧频如何都根据没有跳过的(时间序列中相邻的)摄像图像求出运动量。
并且,存储部150存储第一~第n帧频(高速、中速、低速帧频的值)、第一~第三运动量(阈值HD、HE、LD)、以及第一~第n帧频的切换控制与第一~第三运动量的对应关系(例如,阈值HD、HE、LD、根据该阈值HD、HE、LD而划分的判定值、以及判定值与帧频控制的对应)。
要想防止拍摄遗漏,期望总是以一定的距离间隔拍摄消化道。在以一定的距离间隔拍摄的情况下,帧之间的运动量表观上是一定的。即,如果适当地控制帧频使其与胶囊型内窥镜100的实际的运动的速度一致,并以一定的距离间隔拍摄,则不管帧频如何帧之间的运动量表观上为一定的。在运动的速度从该状态变化的情况下,由于帧之间的运动量变大或变小,因此只要检测该运动量就能够切换为合适的帧频。在这一点上,根据本实施方式,由于在保持该拍摄的帧频的状态下进行运动判定,因此能够进行相对的运动检测。即,像上述那样在运动的速度和帧频偏移的情况下,能够检测该偏移的方向,并使帧频追随该方向。由此,能够以适当的距离间隔拍摄消化道。并且,通过事先将需要的参数存储于存储部150,从而能够在胶囊型内窥镜100的内部进行运动判定,实现没有时滞的帧频控制。
另外,在第四变形例中是n≥3的情况,而第一详细的结构例是n=2的情况,因而n可以是n≥2。
并且,在本实施方式中,通信部130依照帧频适应性地调整摄像图像的发送速率,并将当前设定的帧频的摄像图像发送到外部装置200。
这样,在外部装置200中能够根据与在胶囊型内窥镜100中的第一运动判定相同条件的摄像图像进行第二运动判定。由此,通过第二运动判定能够准确地验证第一运动判定。
7.第五变形例
图18、图19示出第五变形例的流程图。在上述的第四变形例中进行相对的帧频切换,但在第五变形例中绝对地选择哪个帧频。
图18是第一运动判定的流程图。第一运动判定部122从存储部150读取第一、第二SAD阈值HD、LD(HD>LD)(步骤S61)。
接下来,第一运动判定部122判定SAD值是否为阈值HD以上(步骤S62)。在SAD值为阈值HD以上的情况下,将第一运动判定的判定值设定为“2”(步骤S63)。在SAD值比阈值HD小的情况下,判定SAD值是否为阈值LD以下(步骤S64)。在SAD值为阈值LD以下的情况下,将判定值设定为“0”(步骤S66)。在SAD值比阈值LD大的情况下,将判定值设定为“1”(步骤S65)。
图19是基于第一运动判定的帧频切换的流程图。帧频控制部124在第一运动判定的判定值为“2”的情况下(步骤S241),切换为高速帧频(步骤S242)。另外,在当前的帧频为高速帧频的情况下,维持高速帧频。在判定值为“1”的情况下(步骤S241),切换为中速帧频(步骤S243)。另外,在当前的帧频为中速帧频的情况下,维持中速帧频。在判定值为“0”的情况下(步骤S241),切换为低速帧频(步骤S244)。另外,在当前的帧频为低速帧频的情况下,维持低速帧频。
另外,第二运动判定例如与图7的流程相同。基于第二运动判定的判定值的帧频控制与图19的流程相同。在选择与根据第一运动判定而设定的帧频不同的帧频的情况下,进行帧频的切换。在选择与根据第一运动判定而设定的帧频相同的帧频的情况下,维持当前的帧频。
根据以上的实施方式,处理部120通过对运动量(SAD值)和第一~第n-1运动量(阈值HD、LD)进行比较来确定切换为第一~第n帧频(高速、中速、低速帧频)中的哪个帧频。
此时,处理部120不管帧频被设定为第一~第n帧频中的哪一个,都根据以该帧频拍摄的摄像图像以相同的帧频提取摄像图像并求出被摄体的运动量。
例如,在帧频为12fps、8fps、4fps这三级的情况下,在任意帧频中都以相同的4fps提取摄像图像,并根据该4fps的摄像图像求出运动量。即,在帧频为12fps的情况下,跳过2张(按每3张)选择摄像图像,在帧频为8fps的情况下,跳过1张(按每2张)选择摄像图像,在帧频为4fps的情况下,没有跳过地选择(时间序列中相邻的)摄像图像。
并且,存储部150存储第一~第n帧频(高速、中速、低速帧频的值)、第一~第n-1运动量(阈值HD、LD)、以及第一~第n帧频与第一~第n-1运动量的对应关系(例如阈值HD、LD、根据该阈值HD、LD而划分的判定值、以及判定值与帧频的对应)。
即使是相同的运动的速度,帧频越快帧之间的运动量表观上越小。因此,运动判定被帧频所左右。在这一点上,根据本实施方式,不管当前设定的帧频如何,都能够求出绝对的运动量并进行运动判定,从而能够进行不被帧频左右的稳定的帧频切换控制。并且,通过事先将需要的参数存储于存储部150,从而能够在胶囊型内窥镜100的内部进行运动判定,实现没有时滞的帧频控制。并且,由于用于运动判定的图像的帧频较小,因此能够节约消耗电力。
另外,在第五变形例中是n≥3的情况,而第三变形例是n=2的情况,因而n可以是n≥2。
并且,在本实施方式中,通信部130将摄像图像的发送速率设定为规定的发送速率,并将以上述的相同的帧频提取的摄像图像发送到外部装置200。
这样,在外部装置200中能够根据与在胶囊型内窥镜100中的第一运动判定相同条件的摄像图像进行第二运动判定。由此,通过第二运动判定能够准确地验证第一运动判定。并且,由于发送的摄像图像的帧频较小,因此能够节约胶囊型内窥镜100的消耗电力。
另外,在第四变形例中根据当前设定的帧频的摄像图像进行运动判定,在第五变形例中不管当前设定的帧频如何都以相同的帧频提取摄像图像并进行运动判定,但也可以构成为能够切换这些方法。
这样,例如能够根据患者和诊断内容等选择合适的帧频控制的方法。
8.第二详细结构
图20示出内窥镜系统的第二详细的结构例。内窥镜系统包含胶囊型内窥镜100(胶囊主体)、以及外部装置200(体外装置)。另外,对与第一详细的结构例相同的构成要素标注相同的标号,并适当省略其说明。下面,对与第一详细的结构例不同的部分进行说明。
在胶囊型内窥镜100中添加了图像保存部170,而在外部装置200中省略了图像保存部270。A/D转换部160与图像保存部270连接。并且,图像保存部270与控制部123双向连接。
摄像部110所拍摄的摄像图像被A/D转换部160进行A/D转换而传送给图像保存部170、图像处理部121、摄像图像发送部131。图像保存部170保存所传送的摄像图像。即,摄像图像被保存在胶囊型内窥镜100而不在外部装置200。
摄像图像发送部131在帧频控制部124进行基于第一运动判定的帧频切换的情况下,根据来自控制部123的控制将摄像图像传送到外部装置200。此时,传送时间序列的摄像图像中的用于第一运动判定的摄像图像。
另外,作为一个变形例,也可以是,摄像图像发送部131根据来自控制部123的控制,在根据第一运动判定而从高速帧频切换到低速帧频的情况下,将用于第一运动判定的摄像图像传送到外部装置200。在根据错误判定而切换为低速帧频的情况下,由于可能会引起拍摄遗漏,因此通过在该情况下传送摄像图像能够抑制诊断遗漏。并且,通过仅在切换为低速帧频的情况下传送摄像图像能够节约消耗电力。
在外部装置200中,摄像图像接收部231接收从胶囊型内窥镜100传送来的摄像图像。第二运动判定部222根据用于第一运动判定的摄像图像进行第二运动判定,判定信息发送部232将第二运动判定的结果传送到胶囊型内窥镜100。
根据以上的实施方式,通信部130在第一判断中作出了要变更帧频的判断的情况下,将用于第一运动判定结果的摄像图像发送给外部装置200。而且,处理部120根据第二运动判定结果进行第二判断,该第二运动判定结果是根据用于第一运动判定结果的摄像图像而判定的。
这样,每当实施基于第一运动判定的帧频的切换时,根据用于第一运动判定的摄像图像实施第二运动判定。由于第二运动判定用于验证第一运动判定,因此通过使用用于第一运动判定的摄像图像,能够仅根据验证所需的(合适的)摄像图像进行第二运动判定。并且,由于不根据不需要的摄像图像进行第二运动判定,因此能够节约消耗电力。
另外,本实施方式的胶囊型内窥镜、外部装置等也可以包含处理器和存储器。例如在图1的结构例中,也可以是,处理部120、处理部220对应于处理器,存储部150、存储部250对应于存储器。这里的处理器例如可以是CPU(Central Processing Unit:中央处理器)。但是处理器并不限定于CPU,可以使用GPU(Graphics Processing Unit:图形处理器)或DSP(Digital Signal Processor:数字信号处理器)等各种处理器。并且,处理器也可以是基于ASIC的硬件电路。并且,存储器保存能够通过计算机来读取的指令,通过处理器来执行该指令从而实现了本实施方式的胶囊型内窥镜、外部装置等的各部。这里的存储器可以是SRAM、DRAM等半导体存储器,也可以是寄存器或硬盘等。并且,这里的指令可以是构成程序的指令集的指令,也可以是对处理器的硬件电路指示动作的指令。
以上,对应用了本发明的实施方式及其变形例进行了说明,但本发明不直接限定于各实施方式及其变形例,可以在实施阶段中在不脱离发明的主旨的范围内对构成要素进行变形来具体化。并且,通过对上述各实施方式和变形例公开的多个构成要素进行适当组合,可以形成各种发明。例如,可以从各实施方式和变形例所记载的全部构成要素中删除几个构成要素。并且,可以对在不同的实施方式和变形例中说明的构成要素进行适当组合。这样,可以在不脱离发明主旨的范围内进行各种变形和应用。并且,在说明书或附图中,至少一次与更广义或同义的不同用语一起被记载的用语在说明书或附图的任何位置都能置换为该不同的用语。
标号说明
100:胶囊型内窥镜;110:摄像部;120:处理部;121:图像处理部;122:第一运动判定部;123:控制部;124:帧频控制部;130:通信部;131:摄像图像发送部;132:判定信息接收部;140:光源部;150:存储部;160:A/D转换部;170:图像保存部;200:外部装置;220:处理部;221:图像处理部;222:第二运动判定部;223:控制部;230:通信部;231:摄像图像接收部;232:判定信息发送部;250:存储部;270:图像保存部;301:切换判断部;302:帧频调整部;401:图像缩小部;402:相似度计算部;403:运动判定部;404:暂时保存部;601:区域分割部;602:相似度计算部;603:运动判定部;604:暂时保存部。
Claims (14)
1.一种胶囊型内窥镜,其特征在于,
该胶囊型内窥镜包含摄像部、处理部、通信部,
该摄像部拍摄时间序列的摄像图像,
该处理部根据所述摄像图像进行胶囊型内窥镜的第一运动判定,并求出第一运动判定结果,
该通信部将所述摄像图像发送给所述胶囊型内窥镜的外部装置,并接收第二运动判定结果,该第二运动判定结果是由所述外部装置根据所述摄像图像而进行的所述胶囊型内窥镜的第二运动判定的结果,
所述处理部根据所述第一运动判定结果和所述第二运动判定结果来控制所述摄像部的帧频。
2.根据权利要求1所述的胶囊型内窥镜,其特征在于,
所述处理部根据所述第一运动判定结果进行确定所述帧频的第一判断,并根据所述第一判断来控制所述帧频,
且所述处理部根据所述第二运动判定结果进行第二判断,即判断根据所述第一运动判定结果而确定的所述帧频是否合适,在判定为根据所述第一运动判定结果而确定的所述帧频不合适的情况下,根据所述第二运动判定结果来确定所述帧频并控制所述帧频。
3.根据权利要求2所述的胶囊型内窥镜,其特征在于,
所述处理部在所述第一运动判定中判定为在所述摄像图像中拍摄到的被摄体的运动量比第一运动量大的情况下,将所述帧频切换为高速帧频,
在所述第一运动判定中判定为所述运动量比第二运动量小的情况下,将所述帧频切换为比所述高速帧频慢的低速帧频,其中,该第二运动量比所述第一运动量小。
4.根据权利要求3所述的胶囊型内窥镜,其特征在于,
所述处理部在所述帧频被设定为所述低速帧频的情况下,在所述第二运动判定中判定为所述运动量比第三运动量大的情况下,将所述帧频切换为所述高速帧频,
在所述帧频被设定为所述高速帧频的情况下,在所述第二运动判定中判定为所述运动量比第四运动量小的情况下,将所述帧频切换为所述低速帧频,其中,该第四运动量比所述第三运动量小。
5.根据权利要求3所述的胶囊型内窥镜,其特征在于,
在根据所述第一运动判定结果把所述帧频从所述高速帧频切换成了所述低速帧频的情况下,所述处理部根据所述第二运动判定结果进行是否将所述帧频恢复为所述高速帧频的所述第二判断,
在根据所述第一运动判定结果把所述帧频从所述低速帧频切换成了所述高速帧频的情况下,维持所述高速帧频而不进行所述第二判断。
6.根据权利要求2所述的胶囊型内窥镜,其特征在于,
所述处理部在所述帧频被设定为比低速帧频快的高速帧频的情况下,不管所述第一运动判定结果如何,都将所述帧频维持为所述高速帧频,
在所述帧频被设定为所述低速帧频的情况下,在所述第一运动判定中判定为在所述摄像图像中拍摄到的被摄体的运动量比第一运动量大的情况下,将所述帧频切换为所述高速帧频。
7.根据权利要求2所述的胶囊型内窥镜,其特征在于,
在所述第一判断中作出了要变更所述帧频的判断的情况下,所述通信部将用于所述第一运动判定结果的所述摄像图像发送给所述外部装置,
所述处理部根据所述第二运动判定结果进行所述第二判断,所述第二运动判定结果是根据用于所述第一运动判定结果的所述摄像图像而判定的。
8.根据权利要求1所述的胶囊型内窥镜,其特征在于,
所述处理部根据所述第一运动判定结果进行是否将所述帧频切换为比当前的帧频快的帧频的判断,
并根据所述第二运动判定结果进行是否将所述帧频切换为比所述当前的帧频慢的帧频的判断。
9.根据权利要求1所述的胶囊型内窥镜,其特征在于,
该胶囊型内窥镜包含存储部,该存储部存储第一~第n帧频、第一~第n-1运动量、以及所述第一~第n帧频与所述第一~第n-1运动量的对应关系,其中,n为2以上的自然数,
所述处理部不管所述帧频被设定为所述第一~第n帧频中的哪一个,都从以所述帧频拍摄的所述摄像图像中以相同的帧频提取摄像图像而求出被摄体的运动量,
且所述处理部通过对所述运动量和所述第一~第n-1运动量进行比较来确定切换为所述第一~第n帧频中的哪个帧频。
10.根据权利要求9所述的胶囊型内窥镜,其特征在于,
所述通信部将所述摄像图像的发送速率设定为规定的发送速率,并将以所述相同的帧频提取的摄像图像发送到所述外部装置。
11.根据权利要求1所述的胶囊型内窥镜,其特征在于,
该胶囊型内窥镜包含存储部,该存储部存储第一~第n帧频、第一~第三运动量、以及所述第一~第n帧频的切换控制与所述第一~第三运动量的对应关系,其中,n为2以上的自然数,
所述处理部根据以所述帧频拍摄的所述摄像图像求出被摄体的运动量,并通过对所述运动量和所述第一~第三运动量进行比较来确定进行向所述第一~第n帧频中最快的帧频的切换、向比当前帧频快一级的帧频的切换、所述当前帧频的维持、向比所述当前帧频慢一级的帧频的切换中的哪一个。
12.根据权利要求11所述的胶囊型内窥镜,其特征在于,
所述通信部依照所述帧频适应性地调整所述摄像图像的发送速率,并将以所述帧频提取的所述摄像图像发送到所述外部装置。
13.根据权利要求1所述的胶囊型内窥镜,其特征在于,
所述外部装置进行第二处理负荷的所述第二运动判定,
所述处理部进行比所述第二处理负荷小的第一处理负荷的所述第一运动判定。
14.一种内窥镜系统,其特征在于,
该内窥镜系统包含胶囊型内窥镜、外部装置,
所述胶囊型内窥镜包含摄像部、第一处理部、第一通信部,
该摄像部按时间序列拍摄摄像图像,
该第一处理部根据所述摄像图像进行所述胶囊型内窥镜的第一运动判定,并输出第一运动判定结果,
该第一通信部将所述摄像图像发送给所述外部装置,
所述外部装置包含第二处理部、第二通信部,
该第二处理部根据所述摄像图像进行所述胶囊型内窥镜的第二运动判定,并输出第二运动判定结果,
该第二通信部将所述第二运动判定结果发送给所述第一通信部,
所述第一处理部根据所述第一运动判定结果和所述第二运动判定结果来控制所述摄像部的帧频。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-145606 | 2014-07-16 | ||
JP2014145606A JP6425931B2 (ja) | 2014-07-16 | 2014-07-16 | カプセル型内視鏡及び内視鏡システム |
PCT/JP2015/062777 WO2016009700A1 (ja) | 2014-07-16 | 2015-04-28 | カプセル型内視鏡、内視鏡システム及びカプセル型内視鏡の作動方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106659370A CN106659370A (zh) | 2017-05-10 |
CN106659370B true CN106659370B (zh) | 2018-11-13 |
Family
ID=55078204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580037635.1A Expired - Fee Related CN106659370B (zh) | 2014-07-16 | 2015-04-28 | 胶囊型内窥镜以及内窥镜系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10405736B2 (zh) |
JP (1) | JP6425931B2 (zh) |
CN (1) | CN106659370B (zh) |
DE (1) | DE112015002957T5 (zh) |
WO (1) | WO2016009700A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6249867B2 (ja) * | 2014-04-18 | 2017-12-20 | オリンパス株式会社 | カプセル内視鏡システム、カプセル内視鏡、受信装置、カプセル内視鏡の撮像制御方法、及びプログラム |
WO2017046911A1 (ja) | 2015-09-17 | 2017-03-23 | オリンパス株式会社 | カプセル内視鏡システム |
KR102010000B1 (ko) * | 2017-05-23 | 2019-08-12 | 아주대학교산학협력단 | 캡슐내시경의 촬영 제어 방법 및 시스템 |
WO2019053973A1 (ja) * | 2017-09-15 | 2019-03-21 | オリンパス株式会社 | カプセル型内視鏡システム、カプセル型内視鏡及び受信装置 |
CN108784637B (zh) * | 2018-06-22 | 2020-05-01 | 重庆金山科技(集团)有限公司 | 医用胶囊内窥镜自适应图像帧率调整方法及帧率调整系统 |
CN111345772B (zh) * | 2018-12-20 | 2022-06-10 | 重庆金山医疗技术研究院有限公司 | 一种调节图像采集帧率的方法及胶囊内窥镜系统 |
JP7325211B2 (ja) * | 2019-04-09 | 2023-08-14 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
CN111281316A (zh) * | 2020-01-15 | 2020-06-16 | 安翰科技(武汉)股份有限公司 | 胶囊内窥镜的控制方法、系统,电子设备及可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101674769A (zh) * | 2007-09-06 | 2010-03-17 | i3系统公司 | 能够控制图像的帧率的胶囊型内窥镜 |
CN102048519A (zh) * | 2010-12-23 | 2011-05-11 | 南方医科大学南方医院 | 一种拍摄频率自动调节的胶囊内镜及其方法 |
KR20140067782A (ko) * | 2012-11-27 | 2014-06-05 | 주식회사 인트로메딕 | 캡슐형 내시경 및 캡슐형 내시경의 촬영 속도 제어 방법 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6709387B1 (en) * | 2000-05-15 | 2004-03-23 | Given Imaging Ltd. | System and method for controlling in vivo camera capture and display rate |
US7983458B2 (en) * | 2005-09-20 | 2011-07-19 | Capso Vision, Inc. | In vivo autonomous camera with on-board data storage or digital wireless transmission in regulatory approved band |
US20080051642A1 (en) * | 2006-08-24 | 2008-02-28 | Hagai Krupnik | Device, system and method of displaying in -vivo images at variable rate |
JP5622350B2 (ja) * | 2007-12-05 | 2014-11-12 | オリンパスメディカルシステムズ株式会社 | 被検体内導入装置および被検体内情報取得システム |
JP2009195271A (ja) * | 2008-02-19 | 2009-09-03 | Fujifilm Corp | カプセル内視鏡システム |
JP2010035746A (ja) * | 2008-08-04 | 2010-02-18 | Fujifilm Corp | カプセル内視鏡システム、カプセル内視鏡及びカプセル内視鏡の動作制御方法 |
CN102612338B (zh) * | 2009-11-20 | 2016-05-04 | 基文影像公司 | 用于控制体内装置的功率消耗的系统和方法 |
JP5972865B2 (ja) * | 2010-04-28 | 2016-08-17 | ギブン イメージング リミテッドGiven Imaging Ltd. | 生体内画像の部分を表示するシステム及びその作動方法 |
US11363938B2 (en) * | 2013-03-14 | 2022-06-21 | Ormco Corporation | Feedback control mechanism for adjustment of imaging parameters in a dental imaging system |
US9911203B2 (en) * | 2013-10-02 | 2018-03-06 | Given Imaging Ltd. | System and method for size estimation of in-vivo objects |
-
2014
- 2014-07-16 JP JP2014145606A patent/JP6425931B2/ja not_active Expired - Fee Related
-
2015
- 2015-04-28 WO PCT/JP2015/062777 patent/WO2016009700A1/ja active Application Filing
- 2015-04-28 CN CN201580037635.1A patent/CN106659370B/zh not_active Expired - Fee Related
- 2015-04-28 DE DE112015002957.5T patent/DE112015002957T5/de not_active Withdrawn
-
2016
- 2016-12-27 US US15/391,793 patent/US10405736B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101674769A (zh) * | 2007-09-06 | 2010-03-17 | i3系统公司 | 能够控制图像的帧率的胶囊型内窥镜 |
CN102048519A (zh) * | 2010-12-23 | 2011-05-11 | 南方医科大学南方医院 | 一种拍摄频率自动调节的胶囊内镜及其方法 |
KR20140067782A (ko) * | 2012-11-27 | 2014-06-05 | 주식회사 인트로메딕 | 캡슐형 내시경 및 캡슐형 내시경의 촬영 속도 제어 방법 |
Also Published As
Publication number | Publication date |
---|---|
US10405736B2 (en) | 2019-09-10 |
JP2016019707A (ja) | 2016-02-04 |
US20170105610A1 (en) | 2017-04-20 |
JP6425931B2 (ja) | 2018-11-21 |
WO2016009700A1 (ja) | 2016-01-21 |
DE112015002957T5 (de) | 2017-04-06 |
CN106659370A (zh) | 2017-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106659370B (zh) | 胶囊型内窥镜以及内窥镜系统 | |
US11816895B2 (en) | Target detection method, system, and apparatus, storage medium, and computer device | |
US11068698B2 (en) | Generating animated three-dimensional models from captured images | |
US10885372B2 (en) | Image recognition apparatus, learning apparatus, image recognition method, learning method, and storage medium | |
Kong et al. | Learning spatiotemporal representations for human fall detection in surveillance video | |
US20190252073A1 (en) | System and method for diagnosing gastrointestinal neoplasm | |
CN108229288B (zh) | 神经网络训练及衣服颜色检测方法、装置、存储介质、电子设备 | |
US20100277650A1 (en) | Scene-change detection device | |
US20080119691A1 (en) | Capsule Endoscope Image Display Controller | |
CN113743384B (zh) | 一种胃部图片识别方法及装置 | |
CN110738116B (zh) | 活体检测方法及装置和电子设备 | |
CN103581520A (zh) | 摄影设备、动作预想装置以及运动体的摄影方法 | |
US20210059569A1 (en) | Fall risk evaluation method, fall risk evaluation device, and non-transitory computer-readable recording medium in which fall risk evaluation program is recorded | |
CN112149602B (zh) | 动作计数方法、装置、电子设备及存储介质 | |
US20100310239A1 (en) | Image processing apparatus | |
CN108053407B (zh) | 数据处理方法及数据处理系统 | |
Abinaya et al. | Deep learning-based segmental analysis of fish for biomass estimation in an occulted environment | |
CN109767453A (zh) | 信息处理装置、背景图像更新方法和非暂态计算机可读存储介质 | |
JP2021071794A (ja) | 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム | |
US20230039714A1 (en) | Detection of Contacts Among Event Participants | |
CN113706558A (zh) | 图像分割方法、装置及计算机设备 | |
Guo et al. | Sheep face image dataset and DT-YOLOv5s for sheep breed recognition | |
KahsayGebreslassie et al. | Automated gastrointestinal disease recognition for endoscopic images | |
Oliva Maza et al. | An ORB-SLAM3-based approach for surgical navigation in ureteroscopy | |
Gomes et al. | Unsupervised neural network for homography estimation in capsule endoscopy frames |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181113 Termination date: 20200428 |