CN111345772B - 一种调节图像采集帧率的方法及胶囊内窥镜系统 - Google Patents

一种调节图像采集帧率的方法及胶囊内窥镜系统 Download PDF

Info

Publication number
CN111345772B
CN111345772B CN201811564082.7A CN201811564082A CN111345772B CN 111345772 B CN111345772 B CN 111345772B CN 201811564082 A CN201811564082 A CN 201811564082A CN 111345772 B CN111345772 B CN 111345772B
Authority
CN
China
Prior art keywords
image
frame rate
parameter set
capsule
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811564082.7A
Other languages
English (en)
Other versions
CN111345772A (zh
Inventor
刘欣
陈容睿
王春
邬墨家
严莎莎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Jinshan Medical Technology Research Institute Co Ltd
Original Assignee
Chongqing Jinshan Medical Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Jinshan Medical Technology Research Institute Co Ltd filed Critical Chongqing Jinshan Medical Technology Research Institute Co Ltd
Priority to CN201811564082.7A priority Critical patent/CN111345772B/zh
Publication of CN111345772A publication Critical patent/CN111345772A/zh
Application granted granted Critical
Publication of CN111345772B publication Critical patent/CN111345772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了一种调节图像采集帧率的方法以及胶囊内窥镜系统,该方法包括:S1,控制器分别基于连续采集的前后两幅图像中的全部或部分像素点获取第一图像参数集合和第二图像参数集合;S2,控制器基于第一图像参数集合和第二图像参数集合得到前后两幅图像的相似度值;S3,控制器将前后两幅图像的相似度值与相似度阈值进行比较并根据比较结果调节图像采集帧率。通过前后图像关联性来调节图像采集频率,避免重复拍摄、减少医生的读片工作量和内窥镜功耗,当图片差异大时增大采样帧率来避免漏检及增加有效图片数量,该方法无需改变胶囊内窥镜系统的硬件结构,且帧率调节依据图像之间的相似性而非胶囊处于消化道中的位置,帧率控制更精准。

Description

一种调节图像采集帧率的方法及胶囊内窥镜系统
技术领域
本发明涉及医疗器械领域,特别是涉及一种调节图像采集帧率的方法以及胶囊内窥镜系统。
背景技术
胶囊内窥镜系统在检测病灶过程中,由于受到患者体内腔道的物理影响,胶囊的运动速度和姿态是时刻变化的,当胶囊长时间处于静止或者微动状态的时候,图片内容和范围变化较小,存在大量相同或相似的图片,会增大读片医生的工作量和眼睛疲劳;当胶囊处于快速运动状态时,图片内容和范围更新较快,可能存在图像采集频率较低使得漏拍病灶或者有效图片数量较少不能满足详细诊断病灶情况的问题,因此,合理控制内窥镜胶囊系统采集图片的帧率十分重要。
现有技术中,公开号为CN102048519B的中国专利披露了一种拍摄频率自动调节的胶囊内镜及其方法,该方法根据胶囊内镜运动与否来自动调节拍摄帧率,实现对胶囊内镜拍摄帧率的控制,从而达到节省胶囊内镜的电量,降低漏拍率,减少重复图像的数量。但该专利需要在胶囊内镜内加设磁感应线圈,在外部设置磁场产生装置产生稳定磁场,增加了硬件成本,使硬件系统变得复杂,降低了系统可靠性。
现有技术中,公开号为CN101674769A的中国专利披露了一种能够控制图像的帧率的胶囊型内窥镜,通过确定插入体内的胶囊型内窥镜的位置或与胶囊型内窥镜的移动相关的信息来控制胶囊型内窥镜的帧率,以实现仅使用一个胶囊型内窥镜来拍摄体内的每个器官的图像。在该专利中,体内的胶囊型内窥镜的位置可以通过检测胶囊型内窥镜的移动速度/角速度、所拍摄的多个图像之间的相似性来确定。主要判断依据为由于食物在食道中快速移动但在小肠中移动缓慢,因此检测胶囊型内窥镜的移动速度/角速度来确定胶囊型内窥镜的位置。图像之间低的相似性水平表示胶囊型内窥镜的快速移动,而高的相似性水平表示胶囊型内窥镜的缓慢移动来确定胶囊内窥镜的位置。胶囊型内窥镜的位置,即为位于食道、胃、小肠和大肠中的哪个位置,并根据食物在各消化道器官的移动速度来调节帧率,如需要较快的帧率来获取与诸如食物在其中快速且频繁地移动的食道的内部器官相关的图像信息,如食物在其中缓慢且有限地移动的小肠的内部器官中则需要较慢的帧率。但是,该专利主要通过判断内窥镜胶囊所在的位置(消化器官)来设置对应的帧率,并非依据内窥镜胶囊的不与位置关联的实际运动状态导致的连续图像间的关联性来设置帧率,尤其未涉及在同一个消化器官内的运动状态变化时是否调节图像采集帧率的问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题,特别创新地提出了一种调节图像采集帧率的方法以及胶囊内窥镜系统。
为了实现本发明的上述目的,根据本发明的第一个方面,本发明提供了一种调节图像采集帧率的方法,包括:
S1,控制器分别基于连续采集的前后两幅图像中的全部或部分像素点获取第一图像参数集合和第二图像参数集合;
S2,控制器基于第一图像参数集合和第二图像参数集合得到前后两幅图像的相似度值;
S3,控制器将前后两幅图像的相似度值与相似度阈值进行比较并根据比较结果调节图像采集帧率。
上述技术方案的有益效果为:该方法通过实时监控前后图像之间的关联性(即相似度)来调节图像采集频率,能够避免重复拍摄、减少医生的读片工作量和内窥镜功耗,当图片差异大时能够增大采样帧率来避免漏检以及增加有效图片数量,该方法无需改变胶囊内窥镜系统的硬件结构,成本低,并且该方法对帧率的调节依据采集的图像之间的相似性而不依据内窥镜胶囊处于消化道中的哪个位置,帧率控制更精准。
在本发明的一种优选实施方式中,所述第一图像参数集合和第二图像参数集合中的元素为像素点的灰度值或色彩度值。
上述技术方案的有益效果为:灰度值或色彩度值易获得,且为图像中像素点的主要特征,利用其计算相似度使相似度结果更为准确,且便于运算。
在本发明的一种优选实施方式中,所述前后两幅图像的相似度值为第一图像参数集合和第二图像参数集合的差值集合中所有元素的总和。
上述技术方案的有益效果为:该计算方法运算量少,通过差值求和能够消除图像中局部干扰像素点对图像整体相似度判断的影响,以及消除系统误差带来的影响。
在本发明的一种优选实施方式中,所述S1包括:
控制器分别基于前后两幅图像中位置对应的一条或两条对角线上的像素点获取第一图像参数和第二图像参数;
或者控制器分别基于前后两幅图像中位置对应的每间隔n行和/或间隔m列的像素点获取第一图像参数和第二图像参数;
所述n为正整数,所述m为正整数。
上述技术方案的有益效果为:采用图像中能够反映图像大体特征的部分像素点的图像参数来设置第一图像参数集合和第二图像参数集合,能够极大地减少运算量,提高调节帧率的效率,使内窥镜系统帧率调节实时性更好。
在本发明的一种优选实施方式中,所述S3中根据比较结果调节图像采集帧率的步骤包括:
当前后两幅图像的相似度值大于相似度阈值时,减小图像采集帧率,当前后两幅图像的相似度值等于相似度阈值时,图像采集帧率不变,当前后两幅图像的相似度值小于相似度阈值时,增大图像采集帧率。
上述技术方案的有益效果为:当前后两幅图像的相似度值大于相似度阈值时,表明图像之间的差异性较小,说明胶囊长时间处于静止或者微动状态,应减小图像采集帧率,避免对重复图像的反复拍摄,减少功耗和医生的重复检查图片的次数;当前后两幅图像的相似度值小于相似度阈值时,表明图像之间的差异性较大,说明胶囊内窥镜处于快速运动状态,需要增大图像采集帧率以保持在单位时间内对图片的数量获取增大,从而避免对病灶的漏检。
在本发明的一种优选实施方式中,所述S3包括:
设当前时刻的前后两幅图像的相似度值为D1,设前t时刻的前后两幅图像的相似度值为D0;
当D1大于相似度阈值时,若D1>D0,增大图像采集帧率的减小幅度,若D1<D0,减小图像采集帧率的减小幅度;
当D1小于相似度阈值时,若D1<D0,增大图像采集帧率的增大幅度,若D1>D0,减小图像采集帧率的增大幅度;
所述t大于等于一幅图像的采集周期。
上述技术方案的有益效果为:当相邻图像的相似度值大于相似度阈值的趋势增大时,表明图像间越来越相似,应该加大帧率减小的幅度,以更低的帧率采集图像,当相邻图像的相似度值大于相似度阈值的趋势增小时,表明图像间的相似度减小了,即慢慢不太相似了,这时应该减小帧率减小的幅度,即不能继续减小帧率了,避免图像画面突变时会漏检;当相邻图像的相似度值小于相似度阈值的趋势增大时,表明图像间差异越来越大,应该加大帧率的增大的幅度,即以更大的帧率采集图像,避免漏检,当相邻图像的相似度值小于相似度阈值的趋势增小时,表明图像间的差异慢慢变小了,这时应该减小帧率增大的幅度,避免采集过多重复图像。
在本发明的一种优选实施方式中,所述S2包括:
S21,控制器获取采集前后两幅图像时的内窥镜胶囊姿态角度,分别记为第一姿态角度和第二姿态角度;
S22,将第一姿态角度融合入第一图像参数集合,第二姿态角度融合入第二图像参数集合,控制器基于融合了第一姿态角度的第一图像参数集合和融合了第二姿态角度的第二图像参数集合计算前后两幅图像的相似度值。
上述技术方案的有益效果为:将姿态角度和图像参数集合融合后作为判断图像间相似性的数据基础,能够避免胶囊内窥镜在不同位置拍摄到相似画面情形的漏检,不遗漏有效图片。
在本发明的一种优选实施方式中,所述S22中控制器基于融合了第一姿态角度的第一图像参数集合和融合了第二姿态角度的第二图像参数集合计算前后两幅图像的相似度值D为:
Figure BDA0001914077030000061
或者
Figure BDA0001914077030000062
其中,第一姿态角度为
Figure BDA0001914077030000063
H1为采集当前图像时内窥镜胶囊的航向角,
Figure BDA0001914077030000064
为采集当前图像时内窥镜胶囊的俯仰角,θ1为采集当前图像时内窥镜胶囊的横滚角;
Figure BDA00019140770300000611
为H1
Figure BDA0001914077030000066
和θ1中的最大角,第二姿态角度为
Figure BDA0001914077030000067
H2为采集当前图像的上一图像时内窥镜胶囊的航向角,
Figure BDA0001914077030000068
为采集当前图像的上一图像时内窥镜胶囊的俯仰角,θ2为采集当前图像的上一图像时内窥镜胶囊的横滚角,
Figure BDA00019140770300000612
为H2
Figure BDA00019140770300000610
和θ2中的最大角;A为第一图像参数集合,Ai为第一图像参数集合地i个像素点的图像参数;B为第二图像参数集合,Bi为第二图像参数集合地i个像素点的图像参数;I为第一图像参数集合和第二图像参数集合中像素点的个数。
上述技术方案的有益效果为:给出了融合方式和姿态角度融合后前后两幅图像的相似度值的计算公式。
为了实现本发明的上述目的,根据本发明的第二个方面,本发明提供了一种胶囊内窥镜系统,包括胶囊内窥镜、记录仪,所述胶囊包括摄像头、发射单元和姿态传感器,所述记录仪包括接收单元和控制器,所述接收单元接收发射单元传递的摄像头拍摄的图像数据和姿态传感器获取的胶囊内窥镜的姿态信息至控制器,控制器按照上述任一调节图像采集帧率的方法调节摄像头的图像采集帧率。
上述技术方案的有益效果为:当胶囊长时间处于静止或者微动状态的时候,通过该系统处理方式,减少胶囊的采样帧率,避免对重复图像的反复拍摄,减少功耗和医生的重复检查图片的次数。反之,当胶囊处于快速运动状态时,需要增加拍摄帧率,保持在单位时间内对图片的数量获取增大,从而避免对病灶的漏检。记录仪采用上述方法后,可以依据胶囊在病灶的运行姿态,自由的在2-5FPS之间切换,依据胶囊实际运行,可有效节省功耗,且避免重复图像的拍摄。
在本发明的一种优选实施方式中,所述控制器包括处理器和计算图像相似度值的计算单元,所述计算单元为FPGA。
上述技术方案的有益效果为:控制器采用异构形式,通过专用的高速运算芯片PFGA来计算相似度值,能够提高系统调节帧率的效率。
附图说明
图1是本发明一具体实施方式中调节图像采集帧率的方法总流程图;
图2是本发明一具体实施方式中前后两幅图像的相似度值的计算示意图;
图3是本发明一具体实施方式中胶囊内窥镜系统的系统框图;
图4是本发明一具体实施方式中第一图像参数集合和第二图像参数集合基于图像对角线上像素点获取的示意图;
图5是本发明一具体实施方式中第一图像参数集合和第二图像参数集合基于图像间隔行或列获取的示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,除非另有规定和限定,需要说明的是,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
本发明公开了一种调节图像采集帧率的方法,如图1所示,该方法包括:
S1,控制器分别基于连续采集的前后两幅图像中的全部或部分像素点获取第一图像参数集合和第二图像参数集合;
S2,控制器基于第一图像参数集合和第二图像参数集合得到前后两幅图像的相似度值;
S3,控制器将前后两幅图像的相似度值与相似度阈值进行比较并根据比较结果调节图像采集帧率。
在本实施方式中,控制器将前后整幅图像按照同样的标准划分像素点,像素点总数和排列相同,当前图像中的每个像素点在前一幅图像中都有位置对应的像素点。为便于计算,第一图像参数集合和第二图像参数集合可为一维集合,但两个集合中相同序号的元素关联的两个像素点在前后图像中的位置对应。
在本实施方式中,控制器可提取前后两幅图像中所有像素点的图像参数来计算相似度,这样计算的相似度较准确,但是运算量可能较大,控制器也可从两幅图像中提取最能反映图像特征的位置对应的部分像素点的图像参数来计算相似度值,如上半幅像素点或下半幅像素点等,这样能够减少运算量,相似度值计算的准确性依赖于选择的部分像素点是否能够反映整幅图像的特征。
在本实施方式中,相似度阈值可根据多次试验后取效果较好时设置的数值的平均值获得。
在本发明的一种优选实施方式中,第一图像参数集合和第二图像参数集合中的元素为像素点的灰度值或色彩度值。
在本发明的一种优选实施方式中,前后两幅图像的相似度值为第一图像参数集合和第二图像参数集合的差值集合中所有元素的总和。
在本实施方式中,在系统接收到图像划分好像素点后,进行二值化处理获得每个像素点的灰度值并进行缓存,或者将像素点的色彩度值(即RGB值)进行缓存,以便后续计算。如图2所示,图片N代表当前图像,图片N-1代表前一幅图像,优选的,将位置对应的两个像素点(如图2中的像素点p1和p1′)的RGB值相减后求得色彩度差值,再将前后两幅图像中所有位置对应的两个像素点(此时第一图像参数集合和第二图像参数集合中分别包含了前后两幅图像的全部像素点的图像参数)的色彩度差值求和即得到前后两幅图像的相似度值D:
Figure BDA0001914077030000101
其中,A为第一图像参数集合,Ai为第一图像参数集合地i个像素点的图像参数;B为第二图像参数集合,Bi为第二图像参数集合地i个像素点的图像参数;I为第一图像参数集合和第二图像参数集合中像素点的个数。优选的,为方便人们的思维习惯,可以将算式
Figure BDA0001914077030000102
(D≠0)或算式P-D(P>>D)作为前后两幅图像的相似度值,这样相似度值越大就代表了前后两幅图像越相似,相似度值越小就代表了前后两幅图像越不相似。
在本发明的一种优选实施方式中,S1包括:
控制器分别基于前后两幅图像中位置对应的一条或两条对角线上的像素点获取第一图像参数和第二图像参数;
或者控制器分别基于前后两幅图像中位置对应的每间隔n行和/或间隔m列的像素点获取第一图像参数和第二图像参数;
n为正整数,m为正整数。
在本实施方式中,图片N代表当前图像,图片N-1代表前一幅图像,控制器分别基于前后两幅图像中位置对应的一条或两条对角线上的像素点获取第一图像参数和第二图像参数,两条对角线上的像素点如图4所示意的连线上的所有像素点。控制器分别基于前后两幅图像中位置对应的每间隔n行和/或间隔m列的像素点获取第一图像参数和第二图像参数,如图5所示的连线上的像素点为每间隔1行和间隔1列的所有像素点。
在本发明的一种优选实施方式中,S3中根据比较结果调节图像采集帧率的步骤包括:
当前后两幅图像的相似度值大于相似度阈值时,减小图像采集帧率,当前后两幅图像的相似度值等于相似度阈值时,图像采集帧率不变,当前后两幅图像的相似度值小于相似度阈值时,增大图像采集帧率。
在本实施方式中,优选的,为相似度阈值设置一个调节区间,该区间范围较小,如为相似度阈值的正负10%范围内,只要计算得到的前后两幅图像的相似度值落入该相似度阈值的调节区间,则认为当前后两幅图像的相似度值等于相似度阈值,不需要调节图像采集帧率。当前后两幅图像的相似度值低于该相似度阈值的调节区间的下限,增大图像采集帧率,当前后两幅图像的相似度值高于该相似度阈值的调节区间的上限,减小图像采集帧率,这样使得帧率调节控制平缓,控制过充较小。
在本发明的一种优选实施方式中,S3包括:
设当前时刻的前后两幅图像的相似度值为D1,设前t时刻的前后两幅图像的相似度值为D0;
当D1大于相似度阈值时,若D1>D0,增大图像采集帧率的减小幅度,若D1<D0,减小图像采集帧率的减小幅度;
当D1小于相似度阈值时,若D1<D0,增大图像采集帧率的增大幅度,若D1>D0,减小图像采集帧率的增大幅度;
t大于等于一幅图像的采集周期。
在本发明的一种优选实施方式中,S2包括:
S21,控制器获取采集前后两幅图像时的内窥镜胶囊姿态角度,分别记为第一姿态角度和第二姿态角度;
S22,将第一姿态角度融合入第一图像参数集合,第二姿态角度融合入第二图像参数集合,控制器基于融合了第一姿态角度的第一图像参数集合和融合了第二姿态角度的第二图像参数集合计算前后两幅图像的相似度值。
优选的,S22中控制器基于融合了第一姿态角度的第一图像参数集合和融合了第二姿态角度的第二图像参数集合计算前后两幅图像的相似度值D为:
Figure BDA0001914077030000121
或者
Figure BDA0001914077030000122
其中,第一姿态角度为
Figure BDA0001914077030000123
H1为采集当前图像时内窥镜胶囊的航向角,
Figure BDA0001914077030000124
为采集当前图像时内窥镜胶囊的俯仰角,θ1为采集当前图像时内窥镜胶囊的横滚角;
Figure BDA0001914077030000125
为H1
Figure BDA0001914077030000126
和θ1中的最大角,第二姿态角度为
Figure BDA0001914077030000127
H2为采集当前图像的上一图像时内窥镜胶囊的航向角,
Figure BDA0001914077030000128
为采集当前图像的上一图像时内窥镜胶囊的俯仰角,θ2为采集当前图像的上一图像时内窥镜胶囊的横滚角,
Figure BDA0001914077030000129
为H2
Figure BDA00019140770300001210
和θ2中的最大角;A为第一图像参数集合,Ai为第一图像参数集合地i个像素点的图像参数;B为第二图像参数集合,Bi为第二图像参数集合地i个像素点的图像参数;I为第一图像参数集合和第二图像参数集合中像素点的个数。
在本实施方式中,前后图像的相似度值D的不同的计算公式,其对应的相似度阈值也不相同,需要根据选择的计算公式多次试验后去效果较好时设置的数值取平均值。
本发明还公开了一种胶囊内窥镜系统,其系统框图如图3所示,该系统包括胶囊内窥镜、记录仪,胶囊包括摄像头、发射单元和姿态传感器,记录仪包括接收单元和控制器,接收单元接收发射单元传递的摄像头拍摄的图像数据和姿态传感器获取的胶囊内窥镜的姿态信息至控制器,控制器按照上述调节图像采集帧率的方法调节摄像头的图像采集帧率。
在本实施方式中,接收单元和发射单元通过WIFI等无线网络双向通信,传递图像数据和控制命令等。发射单元连续发射摄像头拍摄的图片信息和姿态信息至记录仪中的接收单元,再由接收单元传递给控制器,控制器中的相似度计算单元计算当前接收到的图像与接收的前一图像的相似度值,并将该相似度值传递给控制器中的处理器,并与预存的相似度阈值比较,基于该比较结果按照上述方法调节帧率,并将该帧率调节命令通过接收单元传递至发射单元,再由发射单元传递至摄像头。记录仪采用上述方法后,可以依据胶囊在病灶的运行姿态,自由的在2-5FPS之间切换,依据胶囊实际运行,可有效节省功耗,且避免重复图像的拍摄。
在本发明的一种优选实施方式中,控制器包括处理器和计算图像相似度值的计算单元,计算单元为FPGA。
在本实施方式中,处理器优选但不限于为MCU,与FPGA通过片间串口或并口连接通信。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种调节图像采集帧率的方法,其特征在于,包括:
S1,控制器分别基于连续采集的前后两幅图像中的全部或部分像素点获取第一图像参数集合和第二图像参数集合;
S2,控制器基于第一图像参数集合和第二图像参数集合得到前后两幅图像的相似度值;具体包括:
S21,控制器获取采集前后两幅图像时的内窥镜胶囊姿态角度,分别记为第一姿态角度和第二姿态角度;
S22,将第一姿态角度融合入第一图像参数集合,第二姿态角度融合入第二图像参数集合,控制器基于融合了第一姿态角度的第一图像参数集合和融合了第二姿态角度的第二图像参数集合计算前后两幅图像的相似度值;
其中,控制器基于融合了第一姿态角度的第一图像参数集合和融合了第二姿态角度的第二图像参数集合计算前后两幅图像的相似度值D为:
Figure FDA0003618050060000011
或者
Figure FDA0003618050060000012
其中,第一姿态角度为
Figure FDA0003618050060000013
H1为采集当前图像时内窥镜胶囊的航向角,
Figure FDA0003618050060000014
为采集当前图像时内窥镜胶囊的俯仰角,θ1为采集当前图像时内窥镜胶囊的横滚角;
Figure FDA0003618050060000015
为H1
Figure FDA0003618050060000016
和θ1中的最大角,第二姿态角度为
Figure FDA0003618050060000017
H2为采集当前图像的上一图像时内窥镜胶囊的航向角,
Figure FDA0003618050060000018
为采集当前图像的上一图像时内窥镜胶囊的俯仰角,θ2为采集当前图像的上一图像时内窥镜胶囊的横滚角,
Figure FDA0003618050060000021
为H2
Figure FDA0003618050060000022
和θ2中的最大角;A为第一图像参数集合,Ai为第一图像参数集合地i个像素点的图像参数;B为第二图像参数集合,Bi为第二图像参数集合地i个像素点的图像参数;I为第一图像参数集合和第二图像参数集合中像素点的个数;
S3,控制器将前后两幅图像的相似度值与相似度阈值进行比较并根据比较结果调节图像采集帧率。
2.如权利要求1所述的调节图像采集帧率的方法,其特征在于,所述第一图像参数集合和第二图像参数集合中的元素为像素点的灰度值或色彩度值。
3.如权利要求1所述的调节图像采集帧率的方法,其特征在于,所述前后两幅图像的相似度值为第一图像参数集合和第二图像参数集合的差值集合中所有元素的总和。
4.如权利要求1所述的调节图像采集帧率的方法,其特征在于,所述S1包括:
控制器分别基于前后两幅图像中位置对应的一条或两条对角线上的像素点获取第一图像参数和第二图像参数;
或者控制器分别基于前后两幅图像中位置对应的每间隔n行和/或间隔m列的像素点获取第一图像参数和第二图像参数;
所述n为正整数,所述m为正整数。
5.如权利要求1所述的调节图像采集帧率的方法,其特征在于,所述S3中根据比较结果调节图像采集帧率的步骤包括:
当前后两幅图像的相似度值大于相似度阈值时,减小图像采集帧率,当前后两幅图像的相似度值等于相似度阈值时,图像采集帧率不变,当前后两幅图像的相似度值小于相似度阈值时,增大图像采集帧率。
6.如权利要求5所述的调节图像采集帧率的方法,其特征在于,所述S3还包括:
设当前时刻的前后两幅图像的相似度值为D1,设前t时刻的前后两幅图像的相似度值为D0;
当D1大于相似度阈值时,若D1>D0,增大图像采集帧率的减小幅度,若D1<D0,减小图像采集帧率的减小幅度;
当D1小于相似度阈值时,若D1<D0,增大图像采集帧率的增大幅度,若D1>D0,减小图像采集帧率的增大幅度;
所述t大于等于一幅图像的采集周期。
7.一种胶囊内窥镜系统,包括胶囊内窥镜、记录仪,其特征在于,所述胶囊包括摄像头、发射单元和姿态传感器,所述记录仪包括接收单元和控制器,所述接收单元接收发射单元传递的摄像头拍摄的图像数据和姿态传感器获取的胶囊内窥镜的姿态信息至控制器,控制器按照权利要求1-6之一所述的方法调节摄像头的图像采集帧率。
8.如权利要求7所述的胶囊内窥镜系统,其特征在于,所述控制器包括处理器和计算图像相似度值的计算单元,所述计算单元为FPGA。
CN201811564082.7A 2018-12-20 2018-12-20 一种调节图像采集帧率的方法及胶囊内窥镜系统 Active CN111345772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811564082.7A CN111345772B (zh) 2018-12-20 2018-12-20 一种调节图像采集帧率的方法及胶囊内窥镜系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811564082.7A CN111345772B (zh) 2018-12-20 2018-12-20 一种调节图像采集帧率的方法及胶囊内窥镜系统

Publications (2)

Publication Number Publication Date
CN111345772A CN111345772A (zh) 2020-06-30
CN111345772B true CN111345772B (zh) 2022-06-10

Family

ID=71188515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811564082.7A Active CN111345772B (zh) 2018-12-20 2018-12-20 一种调节图像采集帧率的方法及胶囊内窥镜系统

Country Status (1)

Country Link
CN (1) CN111345772B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932586B (zh) * 2020-08-03 2021-10-08 深圳市资福医疗技术有限公司 一种胶囊内窥镜的帧率调节系统和方法
CN112022067B (zh) * 2020-11-06 2021-01-12 安翰科技(武汉)股份有限公司 图像处理方法、电子设备及可读存储介质
CN112685128B (zh) * 2021-02-03 2023-05-02 湖南映客互娱网络信息有限公司 一种直播图片色情检测和图片过滤的方法
CN116684668B (zh) * 2023-08-03 2023-10-20 湖南马栏山视频先进技术研究院有限公司 一种自适应的视频帧处理方法及播放终端

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101674769A (zh) * 2007-09-06 2010-03-17 i3系统公司 能够控制图像的帧率的胶囊型内窥镜
CN101778592A (zh) * 2007-08-13 2010-07-14 奥林巴斯医疗株式会社 体内观察系统和体内观察方法
CN102048519A (zh) * 2010-12-23 2011-05-11 南方医科大学南方医院 一种拍摄频率自动调节的胶囊内镜及其方法
KR20140067782A (ko) * 2012-11-27 2014-06-05 주식회사 인트로메딕 캡슐형 내시경 및 캡슐형 내시경의 촬영 속도 제어 방법
CN104887173A (zh) * 2015-06-24 2015-09-09 重庆金山科技(集团)有限公司 一种无线电胶囊型医用装置
CN105310635A (zh) * 2015-07-23 2016-02-10 安翰光电技术(武汉)有限公司 胶囊内窥镜拍摄图像的控制方法
CN106659370A (zh) * 2014-07-16 2017-05-10 奥林巴斯株式会社 胶囊型内窥镜、内窥镜系统以及胶囊型内窥镜的动作方法
CN207970082U (zh) * 2017-05-27 2018-10-16 重庆金山医疗器械有限公司 一种胶囊内镜系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4512834B2 (ja) * 2005-03-22 2010-07-28 国立大学法人大阪大学 カプセル内視鏡画像表示制御装置
JP5566133B2 (ja) * 2010-03-05 2014-08-06 キヤノン株式会社 フレームレート変換処理装置
US9545192B2 (en) * 2012-05-04 2017-01-17 Given Imaging Ltd. System and method for automatic navigation of a capsule based on image stream captured in-vivo
JP6177083B2 (ja) * 2013-10-02 2017-08-09 オリンパス株式会社 データ受信装置、カプセル内視鏡システム、データ受信方法、及びプログラム
WO2016148247A1 (ja) * 2015-03-18 2016-09-22 国立研究開発法人理化学研究所 球状体の回転の測定装置、測定方法、ならびに、プログラム
US9489745B1 (en) * 2015-06-12 2016-11-08 Google Inc. Using depth maps of a scene to identify movement of a video camera
JP6557524B2 (ja) * 2015-06-22 2019-08-07 株式会社メガチップス 受信装置及びこれを用いた画像伝送システム
CN106974612B (zh) * 2017-02-28 2019-05-14 重庆金山医疗器械有限公司 一种胶囊式内窥镜的通信监控方法及系统
CN108784637B (zh) * 2018-06-22 2020-05-01 重庆金山科技(集团)有限公司 医用胶囊内窥镜自适应图像帧率调整方法及帧率调整系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101778592A (zh) * 2007-08-13 2010-07-14 奥林巴斯医疗株式会社 体内观察系统和体内观察方法
CN101674769A (zh) * 2007-09-06 2010-03-17 i3系统公司 能够控制图像的帧率的胶囊型内窥镜
CN102048519A (zh) * 2010-12-23 2011-05-11 南方医科大学南方医院 一种拍摄频率自动调节的胶囊内镜及其方法
KR20140067782A (ko) * 2012-11-27 2014-06-05 주식회사 인트로메딕 캡슐형 내시경 및 캡슐형 내시경의 촬영 속도 제어 방법
CN106659370A (zh) * 2014-07-16 2017-05-10 奥林巴斯株式会社 胶囊型内窥镜、内窥镜系统以及胶囊型内窥镜的动作方法
CN104887173A (zh) * 2015-06-24 2015-09-09 重庆金山科技(集团)有限公司 一种无线电胶囊型医用装置
CN105310635A (zh) * 2015-07-23 2016-02-10 安翰光电技术(武汉)有限公司 胶囊内窥镜拍摄图像的控制方法
CN207970082U (zh) * 2017-05-27 2018-10-16 重庆金山医疗器械有限公司 一种胶囊内镜系统

Also Published As

Publication number Publication date
CN111345772A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN111345772B (zh) 一种调节图像采集帧率的方法及胶囊内窥镜系统
JP3952777B2 (ja) インビボカメラのキャプチャレートおよび表示レートを制御するためのシステム
US10405736B2 (en) Capsule endoscope, endoscope system, and method for operating capsule endoscope
JP4496019B2 (ja) 生体内で撮影された画像ストリームの伝送を減らすための方法
KR100876673B1 (ko) 촬영 속도 조절이 가능한 캡슐형 내시경
WO2015104644A2 (en) Light modulation in eye tracking devices
CN110897596A (zh) 自动调节胶囊拍摄速率的方法、内窥镜、记录仪及系统
WO2015049947A1 (ja) データ受信装置、カプセル内視鏡システム、データ受信方法、及びプログラム
JP2001358984A (ja) 動画像処理カメラ
US11317791B2 (en) System and method for wireless capsule endoscope with adaptive frame rate
WO2022037534A1 (zh) 基于图像的位置探测方法、电子设备及可读存储介质
CN104887173A (zh) 一种无线电胶囊型医用装置
US20230419482A1 (en) Image processing method, and electronic device and readable storage medium
CN111932586A (zh) 一种胶囊内窥镜的帧率调节系统和方法
KR101281125B1 (ko) 캡슐형 내시경의 데이터 처리 방법, 캡슐형 내시경 및 캡슐형 내시경으로부터 전송된 데이터의 처리 장치
TWI666922B (zh) 影像動態壓縮系統及其方法
JP2022160891A (ja) 映像解析装置、脈波検出装置、および映像解析方法
JP2011172783A (ja) 画像処理装置、及び電子内視鏡システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210918

Address after: 401120 1-1, 2-1, 3-1, building 5, No. 18, Cuiping Lane 2, Huixing street, Yubei District, Chongqing

Applicant after: Chongqing Jinshan Medical Technology Research Institute Co.,Ltd.

Address before: 401120 1 office buildings, Jinshan International Industrial City, 18 of Nei sang Road, Hui Xing street, Yubei District, Chongqing.

Applicant before: CHONGQING JINSHAN MEDICAL APPLIANCE Co.,Ltd.

GR01 Patent grant
GR01 Patent grant