CN103034987A - 一种多聚焦图像文件格式及生成装置及图像文件处理方法 - Google Patents
一种多聚焦图像文件格式及生成装置及图像文件处理方法 Download PDFInfo
- Publication number
- CN103034987A CN103034987A CN2012105432727A CN201210543272A CN103034987A CN 103034987 A CN103034987 A CN 103034987A CN 2012105432727 A CN2012105432727 A CN 2012105432727A CN 201210543272 A CN201210543272 A CN 201210543272A CN 103034987 A CN103034987 A CN 103034987A
- Authority
- CN
- China
- Prior art keywords
- image
- distance
- multiple focussing
- image file
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
本发明涉及一种多聚焦图像文件格式及生成装置及图像文件处理方法。其特征是:图像文件由至少两个不同像距的图像构成,所述图像像距或像间距值记录在所述图像文件中;装置由一组摄像透镜、至少两组单聚焦成像组件构成,所述单聚焦成像组件包括分光镜、成像单元,分光镜将摄像透镜的部分光线分配给所述的成像单元成像;装置由成像透镜、变焦装置、成像单元组成;装置由一组成像透镜、至少两组前后排列且不在同一像距平面的线阵感光单元构成,所述线阵感光单元通过旋转扫描形成图像;有益效果是:通过多聚焦图像生成装置可以拍摄远近不同物体的所有聚焦面图像,并生成一种多聚焦图像文件格式,这样可以在后期对图像文件进行处理。
Description
技术领域
本发明涉及一种多聚焦图像文件格式及生成装置及图像文件处理方法。
背景技术
图像文件格式是记录和存储影像信息的格式,对数字图像进行存储、处理、传播,必须采用一定的图像格式,也就是把图像的像素按照一定的方式进行组织和存储,把图像数据存储成文件就得到图像文件。图像文件格式决定了应该在文件中存放何种类型的信息,文件如何与各种应用软件兼容,文件如何与其它文件交换数据。
目前图片图像格式有:BMP(Bitmap)格式、TIFF(TagImage File Format)格式(TIFF格式可加入作者、版权、备注以及自定义信息)、GIF(Graphic Interehange Format)格式(一种LZw压缩格式)、JPEG格式(Joint Photographic Experts Group,联合图片专家组)、、PDF(Portable Document Format)格式、PNG格式等。
目前视频图像格式有:微软视频 :wmv、asf、asx ;Real Player :rm、 rmvb ;MPEG视频 :mpg、mpeg、mpe ;手机视频 :3gp ;Apple视频 :mov ;Sony视频 :mp4、m4v ;其他常见视频:avi、dat、mkv、flv、vob等。视频文件是一种容器封装格式,即一个容器里面包裹着不同的轨道,使用的容器的格式关系到视频档的可扩展性。
上述图片图像及视频图像文件是二维图像像素集合,即某一聚焦平面的所有图像像素集合,由于物体远近距离不同(物距不同),所以像距也不同,通过光学聚焦后的图像平面有清晰的部分(聚焦点),有模糊的部分(非聚焦点),二维图像记录方式不能将远近不同的所有物体的成像聚焦点记录下来。
目前三维图像记录方式有STL、DXF、IGS、PLY、obj、3ds等格式的图形文件作为数据交换接口,对图形进行交互式立体显示,如 IGS是一种通用的三维图纸交流格式,用于solidedge、Pro/E等数控加工,这类图像文件格式的像素点是三维坐标格式,而且每个像素点是精确的物体三维坐标,即用三维坐标描述物体,本发明提出的图像格式是用三维坐标描述光学聚焦平面所有的图像像素,这些图像像素有清晰的聚焦点,也有模糊的非聚焦点,和现有的三维建模图像格式有区别。
发明内容
本发明所述图像包括图片图像及视频图像。
本发明一种多聚焦图像文件格式即文件编码方法或文件编码格式。
图片图像文件一般包含文件头结构(FILEHEADER)、信息头结构(INFOHEADER)、位图颜色表(RGBQUAD)、位图像素数据,其中文件头结构、信息头结构定义文件的属性特征即信息项,位图颜色表、位图像素数据是储存图像的逻辑位置。
视频图像文件由文件头、索引块和数据块组成,其中数据块包含实际数据流,即图像和声音序列数据,索引块包括数据块列表和它们在文件中的位置,以提供文件内数据随机存取能力,文件头包括文件的通用信息,定义数据格式,所用的压缩算法等参数,由数据流生成视频图像文件的帧图像。
一种多聚焦图像文件格式,其特征是:图像文件由至少两个不同像距的图像构成。
一种多聚焦图像文件格式,其特征是:图像文件由至少两个不同像距的图像构成,所述图像像距值记录在所述图像文件中。
一种多聚焦图像文件格式,其特征是:图像文件由至少两个不同像距的图像构成,所述图像之间的像间距值记录在所述图像文件中。
一种多聚焦图像文件格式,其特征是:图像文件由至少两个不同像距的图像构成,所述图像像距或像间距值记录在所述图像文件中。
所述一种多聚焦图像文件格式,其特征是:图像文件中包含焦距数值。
所述一种多聚焦图像文件格式,其特征是:图像文件中包含清晰度值摘要或索引。
所述一种多聚焦图像文件格式,其特征是:图像文件中包含分区坐标及像距组成的索引列表;或分区坐标及像距标签组成的索引列表。
一种多聚焦图像文件格式,其特征是:图像文件由至少两个不同像距的图像构成,所述图像的图像像素点坐标由三维坐标描述即x、y、z,其中x、y描述图像的像素点在像距聚焦面的位置,z描述像素点在x、y决定的平面的法向距参照平面的距离。
一种多聚焦图像视频文件编码格式,封装形式包含视频轨、音频轨,其特征是:封装形式中包含多个视频轨,每个视频轨有其像距标签或像间距标签。
所述多聚焦图像视频文件编码格式,其特征是:封装形式中还包含图像清晰度值摘要或索引。
一种多聚焦图像生成装置,其特征是:装置由一组成像透镜、至少两组单聚焦成像组件构成,所述单聚焦成像组件包括分光镜、成像单元,分光镜将成像透镜的部分光线分配给所述的成像单元成像。
一种多聚焦图像生成装置,其特征是:装置由一组成像透镜、至少两组前后排列叠加的透明成像单元构成,所述透明成像单元负责不同像距的图像成像。
一种多聚焦图像生成装置,其特征是:装置由成像透镜、变焦装置、成像单元组成,所述变焦装置负责成像变焦,变焦装置同时负责提供相应的像距数值,所述变焦装置在摄像时处于往复运动状态,一个往复运动周期获得的一组图像为一个多聚焦图像文件。
所述一种多聚焦图像生成装置,其特征是:在摄像时变焦装置的运动是匀速的。
所述一种多聚焦图像生成装置,其特征是:在摄像时变焦装置的运动是震子运动方式即正弦波方式。
所述一种多聚焦图像生成装置,其特征是:在摄像时变焦装置的运动是步进方式。
一种多聚焦图像生成装置,其特征是:装置由一组成像透镜、至少两组前后不遮光排列且不在同一像距平面的线阵感光单元构成,所述线阵感光单元通过运动扫描生成图像。
所述的一种多聚焦图像生成装置,其特征是:线阵感光单元的运动扫描方式是单臂旋转扫描、或双臂旋转扫描、或圆柱状旋转扫描、或平行扫描。
所述的一种多聚焦图像生成装置,其特征是:线阵感光单元和成像透镜的光路中设置柱状失真矫正透镜。
所述的一种多聚焦图像生成装置,其特征是:线阵感光单元和成像透镜之间的距离可调。
所述成像单元或线阵感光单元是CCD或COMS元件。
所述的一种多聚焦图像生成装置应用于照相机、摄像机、显微镜。
一种多聚焦图像文件处理方法,其步骤是:A、获取多聚焦图像文件;B、确定主聚焦面图像;C、提取相邻聚焦面图像;D、将相邻聚焦面图像和主聚焦面图像进行清晰度图像融合处理形成融合图像1;E、提取另一相邻聚焦面图像;F、将另一相邻聚焦面图像和融合图像1进行清晰度图像融合处理形成融合图像2;G、提取次相邻聚焦面图像;H、将次相邻聚焦面图像和融合图像2进行清晰度图像融合处理形成融合图像3;I、提取另一次相邻聚焦面图像;J、将另一次相邻聚焦面图像和融合图像3进行清晰度图像融合处理形成融合图像4;K、重复上述图像融合处理直至形成最终融合图像。
所述一种多聚焦图像文件处理方法,其特征是步骤D~K还包括如下子步骤:a、两幅图像进行融合处理前有调整图像尺寸的步骤,即调整其中一幅图像的尺寸后和另一幅图像尺寸完全吻合;b、两幅图像进行图像融合处理时两幅图像的像素点是择一选取,即融合图像的像素点是两幅图像的像素点的择一选取结果。
或,考虑到主聚焦面图像的清晰显示,其特征是步骤D~K还包括如下子步骤:主聚焦面图像和相邻聚焦面图像融合时择一选择主聚焦面图像中清晰的图像像素形成融合图像1;图像1和另一相邻聚焦面图像融合时择一选择图像1中清晰的图像像素形成融合图像2;依次将融合后的图像和其它聚焦面图像进行融合时择一选择融合后的图像中清晰的图像像素形成最终融合图像。
所述一种多聚焦图像文件处理方法,其特征是步骤D~K还包括如下子步骤:a、两幅图像进行融合处理前有调整图像像素点x、y坐标的步骤,即调整其中一幅图像的图像像素点x、y坐标和另一幅图像的图像像素点x、y坐标完全一致;b、两幅图像进行图像融合处理时两幅图像的像素点是择一选取,即融合图像的像素点是两幅图像的像素点的择一选取结果。
一种多聚焦图像文件处理方法,其特征是:进行图像显示时是提取某一像距的图像进行当前显示,显示控制的触发方式至少是如下方式之一:控制按钮触发方式、控制按钮鼠标拖动触发方式、鼠标坐标触发方式、鼠标坐标及按键触发方式、触屏触发方式、触屏触动点坐标及触屏触发方式、眼球关注点触发方式。
所述提取某一像距的图像的步骤还包括:对图像清晰度进行判断的步骤;或检索查询清晰度值摘要或索引并确定清晰度值最高的步骤,或确定由分区坐标及像距组成的索引列表中像距的步骤;或确定由分区坐标及像距标签组成的索引列表中像距标签的步骤。
一种多聚焦图像文件处理方法,其步骤是:S1、由摄像头获取眼球图像,通过识别跟踪软件判断眼球的关注点,并确定关注点坐标;S2、根据关注点的坐标在多聚焦图像文件中提取关注点区域清晰的图像进行当前显示。
进一步,步骤S2中还包括根据眼球关注点坐标在多聚焦图像清晰度索引或摘要中查找关注点区域清晰的对应图像,即某一像距值的图像,并将所述对应的图像作为当前图像在显示界面显示。
目前图像融合技术有:中国专利公告200910104632.1公开了一种利用Fisher分类与小波变换的多聚焦图像融合方法;中国专利公告200910147247.5图像处理设备、成像设备、图像处理方法及程序;中国专利公告201010527509.3一种基于小波变换和领域特征的多聚焦图像融合方法;中国专利公告200710064739.9一种图像合成方法及装置;中国专利公告200810017326.X基于成像机理与非采样Contourlet变换多聚焦图像融合方法。
本发明的有益效果是:通过多聚焦图像生成装置可以拍摄远近不同物体的所有聚焦面图像,并生成一种多聚焦图像文件格式,这样可以在后期对图像文件进行处理,比如取出某一物体的聚焦图像,或对图像进行融合处理,生成一种远近物体均聚焦的清晰图像,或者根据摄像装置的焦距、物体的像距、聚焦面的像间距计算物体的距离和物体的相对距离,或生成物体的立体图像。采用分光镜及线阵多聚焦成像堆的实施方案可以解决拍摄活动多聚焦图像的难题。基于眼球跟踪装置浏览多聚焦图像,可以实现人眼关注点对现实世界的模拟,即多聚焦显示装置实现变焦显示,形成一种全新的图像观看方式,包括图片和视频。
附图说明
图1为透镜成像聚焦时像距随物距变化的关系图。
图2为本发明多聚焦图像生成装置采用分光镜的实施方案。
图3为本发明多聚焦图像生成装置采用透明成像单元的实施方案。
图4为图3中透明成像单元中图像像素坐标描述方式。
图5为本发明多聚焦图像生成装置采用成像单元往复运动的实施方案。
图6为本发明多聚焦图像生成装置采用线阵感光单元布置在契形斜面上并跟随斜面在x轴方向往复运动扫描成像的实施方案。
图7为本发明多聚焦图像生成装置采用双臂线阵感光单元旋转扫描成像的实施方案。
图8为图7中双臂线阵感光单元z轴方向的视图。
图9为图7中双臂线阵感光单元z轴方向立体布置图。
图10为本发明多聚焦图像生成装置采用单臂线阵感光单元旋转扫描成像的实施方案。
图11为图10中单臂线阵感光单元z轴方向的视图。
图12为图10中单臂线阵感光单元z轴方向立体布置图。
图13为本发明多聚焦图像生成装置采用线阵感光单元布置在直径不同的圆柱结构上旋转扫描成像的实施方案。
图14为本发明图像文件格式属性表。
图15为本发明文件格式结构图。
图16为阶梯扫描信号电压u、时间t、z轴位移关系图。
图17为本发明成像单元合成多聚焦图像文件的步骤图。
图18为本发明线阵感光单元生成多聚焦图像文件的步骤图。
图19为本发明图像融合的一种方法。
图20为本发明提供的一种图像浏览器或视频播放器界面图。
图21为本发明多聚焦图像文件生成三维图像的步骤。
图22为线阵运动编码器图像编码原理。
图23为空间三维图像成像原理。
图24为基于人眼关注点的多聚焦图像观看方式原理图。
图25为多聚焦图像文件建立清晰度摘要或索引的原理图。
图26为采用像距标签为标识的一种图像清晰区域摘要或索引表。
图27为图26建立图像清晰区域摘要或索引表中像距标签k值的步骤。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
图1为透镜成像聚焦时像距随物距变化的关系图。透镜成像公式(又称高斯成像公式)形式为:1/f=1/u+1/v
其中f为焦距,凸正凹负;u为物距;v为像距,实正虚负。
公式变换为:v=f*u/(u-f),实像的成像范围为像距f~2f,对应的物距为∞~2f
v对u求导数为: v'=-f^2*(u-f)^(-2),可以得出:越靠近2f的导数绝对值越大,即斜率越大,即像距的变化率越大;越靠近f的导数绝对值越小,即斜率越小,即像距的变化率越小。
图示说明,要获取不同物距物体的清晰图像,靠近2f附近的成像单元要密集布置,靠近f附近的成像单元可以稀疏布置;或关键像距位置密集布置;或成像单元布置在f~2f之间某一段形成多聚焦成像堆,成像单元之间的距离可调,多聚焦成像堆和成像透镜之间的距离可调。
同时图示也说明,根据需要,只要布置有限数量的成像单元就可以获得不同物距物体的清晰图像。
如果在f~2f全域布置成像单元,形成全聚焦图像。
如果采用全景镜头,如鱼眼镜头,可以形成全景全聚焦图像。
对于成像透镜组,如变焦系统,本发明所述成像范围f~2f是变焦系统的成像区域。
本发明光学成像原理以物体位于∞~2f,成像范围位于f~2f的单透镜为例说明,对于物体位于2f ~f,成像范围则为2f ~∞,如显微镜、电影放映的屏幕,所以本发明所述成像范围f~2f不再适合,可以用成像区域来表述,所以本发明所述成像范围f~2f概念理解为成像区域,多聚焦成像堆位于成像区域。
所述多聚焦成像堆应用于照相机、摄像机、显微镜。
事实上,照相机、摄像机所拍摄的物体一般在远大于2f的位置,所以成像区域一般位于接近f的位置,显微镜的成像一般在远大于物镜2f的位置,所以实际应用中是关键像距位置密集布置成像单元,较佳的实施方案是采用一定像距方向厚度的多聚焦成像堆作为成像单元,应用于所需的成像区域。
图2为本发明多聚焦图像生成装置采用分光镜的实施方案。201、202、203、204、205是不同距离的物体,206为成像透镜,207、210、211、214、215为布置在不同像距的成像单元,208、209、212、213为分光镜,分光镜的作用是透射一部分光,反射一部分光,这样可以把光线分为两个投射方向。这里以选取5个不同距离的物体为例说明,通过调节成像单元的像距,使成像单元207位于物体201的聚焦面,成像单元210位于物体202的聚焦面,成像单元211位于物体203的聚焦面,成像单元214位于物体204的聚焦面,成像单元215位于物体205的聚焦面,分光镜208负责将一部分光线分配给成像单元207,分光镜209负责将一部分光线分配给成像单元210,分光镜212负责将一部分光线分配给成像单元211,分光镜213负责将一部分光线分配给成像单元214,这样每个成像单元均可以获取各自聚焦面物体的清晰图像。
图3为本发明多聚焦图像生成装置采用透明成像单元的实施方案。301、302、303是不同距离的物体,304是成像透镜,305、306、307为排列叠加在一起的透明成像单元,至少2个排列叠加在一起的透明成像单元组成三维成像单元,图中以3个透明成像单元组成的三维成像单元为例,通过调节三维成像单元的像距,透明成像单元305位于物体301的聚焦面,透明成像单元306位于物体302的聚焦面,透明成像单元307位于物体303的聚焦面,这样在三维成像单元中形成不同距离物体的清晰图像。
进一步,所述透明成像单元密集布置,例如透明成像单元之间的距离等于透明成像单元像素的距离,这样就形成三维成像堆或三维成像单元,在三维成像堆或三维成像单元中,任一像素点都可以通过x,y,z坐标描述确定,这样就可以记录透镜成像空间内所有的像素点,在图像重现时可以截取任一像距平面的图像进行平面显示,所述截取任一像距平面的图像表现形式为某一像距的图像。另外,也可以将所有像素点进行空间立体图显示。
图4为图3中透明成像单元中图像像素坐标描述方式。p1是透明成像单元305中的某一像素点,像素点的坐标是(x1,y1,z1),其中x1,y1是图像像素点在图像平面的二维坐标,所述二维坐标是现有图像文件格式中图像像素位置的表达封装方式,z1是像素点在z轴方向的位置表达,可以是绝度距离,如p1像素点距离成像透镜中心的距离,或距离焦点的距离,也可以是相对距离,如透明成像单元之间的相对距离。同理p2是透明成像单元306中的某一像素点,像素点的坐标是(x2,y2,z2),p3是透明成像单元307中的某一像素点,像素点的坐标是(x3,y3,z3)。
透明成像单元排列叠加在一起的距离可以是等距或不等距,如靠近2f的位置布置密集,靠近f位置布置稀疏;或关键像距位置密集布置;或透明成像单元布置在f~2f之间某一段形成多聚焦成像堆,多聚焦成像堆和成像透镜之间的距离可调。
图5为本发明多聚焦图像生成装置采用成像单元往复运动的实施方案。401是物体,402是成像透镜,403是远距聚焦位置,即最远处物体的聚焦位置,404是近距聚焦位置,即最近处物体的聚焦位置,405是运动驱动装置,即摄像伺服装置。装置在摄像过程中,由运动驱动装置驱动成像单元沿z轴方向往复运动,一个运动周期形成一个完整图像格式包,所述图像格式包至少包含2个聚焦面图像帧。
运动驱动装置的运动方式有:1、直线运动方式,即成像单元在z轴方向,在f~2f之间以匀速来回往复运动;2、振子运动方式,即成像单元在z轴方向,在f~2f之间以正弦波震动方式来回往复运动,振幅为焦距f,震动周期为T,则像距v可以表达为:v=0.5*f*sin(2∏t/T),v对时间求导为:v'=f*(∏/T)* cos(2∏t/T),参数v及 v'用于图像格式编码,∏为圆周率;3、步进运动方式,即中途有瞬间静止的运动方式,即成像单元在z轴方向,在f~2f之间来回往复运动过程中至少有2个静止时间段,静止时间段为一个图像帧周期。
运动驱动装置的运动方式由运动扫描信号控制,运动扫描信号根据运动方式相应地分为:1、线性扫描信号,即可以驱动成像单元沿z轴方向以均匀速度来回往复运动;2、正弦波扫描信号,即可以驱动成像单元沿z轴方向以正弦波震动方式来回往复运动;3、阶梯扫描信号,即可以驱动成像单元沿z轴方向来回往复运动,运动过程中至少有2个静止时间段,静止时间段为一个图像帧周期FT,图16为阶梯扫描信号电压u、时间t、z轴位移关系图,z1、z2、 z3分别为成像单元在z轴的3个静止点,静止时间段为FT,即一个图像帧周期,3个静止点分别对应电压值u1、u2、u3,即电压值u1、u2、u3在FT静止时间段保持不变。u-z图可以看出成像单元随扫描电压值移动,即发生的位移由电压值控制。
根据人眼的视觉暂留,一般最低为24Hz,如果选取运动驱动装置的扫描频率为24Hz,即周期约0.04秒,成像单元图像帧周期必须小于0.04秒,如选取1/500秒,则一个运动周期内可以容纳20帧不同像距的图像,这样就可以形成多聚焦活动图像。
对于振子运动方式,考虑到震动物体的固有频率,实施时通过调节成像单元的附加质量及固定装置的弹性使固有频率和驱动扫描信号频率一致。
所述运动方式即运动扫描方式,即成像单元按运动方式在透镜成像区域来回往复扫描运动。
对于拍摄一组图像的照相机装置,可以采用拍摄拍摄过程中成像单元仅完成一个运动扫描周期,拍摄过程记录所有图像像素点的坐标(x,y,z),形成多聚焦图像文件。
图6为本发明多聚焦图像生成装置采用线阵感光单元布置在契形斜面上并跟随斜面在x轴方向往复运动扫描成像的实施方案。601、602、603为不同距离的物体,604为成像透镜,605为契形斜面,契形斜面605上布置有线阵感光单元,606为线阵感光单元之一,线阵感光单元由点光电芯片组成,目前扫描仪就是采用的这种线阵感光单元扫描成像的,两个相邻线阵感光单元在z轴方向的垂直投影距离为h,h值可以作为像距值参数,线阵感光单元布置在z轴投影距离f~2f之间,可以是等距布置或不等距布置,如靠近2f的位置布置密集,靠近f位置布置稀疏。装置在摄像时,契形斜面605在x投影方向来回往复运动,这样不同像距的线阵感光单元通过x方向扫描,获取不同像距的聚焦面图像。契形斜面605在x投影方向以匀速来回往复运动的方式,或振子运动方式,即契形斜面605在x投影方向以正弦波震动方式来回往复运动。
所述运动方式即运动扫描方式,即线阵感光单元按运动方式在透镜成像区域来回往复扫描运动。
所述线阵感光单元的扫描运动为平行扫描,即线阵感光单元在x轴方向的往复运动轨迹是相互平行的。
线阵感光单元的构造是将感光点光电芯片排列在一直线上,光电芯片一般为CCD或COMS,同时,每个感光点还负责像素点的三基色分离,现有技术有:滤光片色分离技术、三CCD色分离技术、单CCD色分离扫描技术。线阵感光单元的感光点获取的像素点信号是模拟信号,所以还有将模拟信号转化为数字信号的过程,即A/D转换。线阵感光单元是一种一维图像传感器,现有的一维图像传感器用于传统的扫描仪。
图7为本发明多聚焦图像生成装置采用双臂线阵感光单元旋转扫描成像的实施方案。701、702、703为不同距离的物体,704为成像透镜,705、706、707、708、709、710为双臂线阵感光单元,711为转轴,双臂线阵感光单元的中心点连接在转轴711上。装置摄像时,双臂线阵感光单元705、706、707、708、709、710随转轴711转动扫描不同像距的聚焦面,生成不同像距聚焦面的图像。
本实施方案的运动方式是双臂线阵感光单元在透镜成像区域旋转形成聚焦面的运动扫描方式。
图8为图7中双臂线阵感光单元z轴方向的视图。双臂线阵感光单元可以均匀布置也可以不均匀布置。或关键像距位置密集布置。或双臂线阵感光单元布置在f~2f某一段,双臂线阵感光单元之间的距离可调,双臂线阵感光单元和成像透镜之间的距离可调,即双臂线阵感光单元可以在z轴方向来回移动进行调节。
图9为图7中双臂线阵感光单元z轴方向立体布置图。双臂线阵感光单元布置在f~2f之间,可以是等距布置或不等距布置,如靠近2f的位置布置密集,靠近f位置布置稀疏。或关键像距位置密集布置。或双臂线阵感光单元布置在f~2f某一段形成线阵多聚焦成像堆,双臂线阵感光单元之间的距离可调,双臂线阵感光单元和成像透镜之间的距离可调,即线阵多聚焦成像堆可以在z轴方向来回移动进行调节。
图10为本发明多聚焦图像生成装置采用单臂线阵感光单元旋转扫描成像的实施方案。1001、1002、1003为不同距离的物体,1004为成像透镜,1005、1006、1007、1008、1009、1010为单臂线阵感光单元,1011为转轴,单臂线阵感光单元的一端连接在转轴1011上。装置摄像时,单臂线阵感光单元1005、1006、1007、1008、1009、1010随转轴1011转动扫描不同像距的聚焦面,生成不同像距聚焦面的图像。
本实施方案的运动方式是单臂线阵感光单元在透镜成像区域旋转形成聚焦面的运动扫描方式。
图11为图10中单臂线阵感光单元z轴方向的视图。单臂线阵感光单元可以均匀布置也可以不均匀布置;或关键像距位置密集布置;或单臂线阵感光单元布置在f~2f某一段形成线阵多聚焦成像堆,单臂线阵感光单元之间的距离可调,单臂线阵感光单元和成像透镜之间的距离可调,即线阵多聚焦成像堆可以在z轴方向来回移动进行调节。
图12为图10中单臂线阵感光单元z轴方向立体布置图。单臂线阵感光单元布置在f~2f之间,可以是等距布置或不等距布置,如靠近2f的位置布置密集,靠近f位置布置稀疏;或关键像距位置密集布置;或单臂线阵感光单元布置在f~2f某一段形成线阵多聚焦成像堆,单臂线阵感光单元之间的距离可调,单臂线阵感光单元和成像透镜之间的距离可调,即线阵多聚焦成像堆可以在z轴方向来回移动进行调节。
图13为本发明多聚焦图像生成装置采用线阵感光单元布置在直径不同的圆柱结构上旋转扫描成像的实施方案。1301、1302、1303为线阵感光单元,1304为转轴,1305为柱状失真矫正透镜,线阵感光单元布置在不同半径的圆周上且前后不遮光,布置的径向距离为f~2f之间,通过线阵感光单元在不同半径的圆周转动扫描生成不同像距聚焦面的图像。
本实施方案的运动方式是线阵感光单元在透镜成像区域柱状旋转形成聚焦柱面的运动扫描方式。
线阵感光单元在径向布置的方式可以是径向等间距布置或径向不等间距布置,如靠近2f的位置布置密集,靠近f位置布置稀疏。或线阵感光单元在关键像距位置密集布置。或线阵感光单元布置在f~2f之间的某一段形成线阵多聚焦成像堆,线阵感光单元径向间距可调,转轴和成像透镜之间的距离可调,即转轴1304可以在z轴方向来回移动调节,或者说线阵多聚焦成像堆可以在z轴方向来回移动调节。
事实上,照相机、摄像机所拍摄的物体一般在远大于2f的位置,所以成像区域一般位于接近f的位置,显微镜的成像一般在远大于物镜2f的位置,所以实际应用中是关键像距位置密集布置成像单元,较佳的实施方案是采用一定像距方向厚度的线阵多聚焦成像堆作为成像单元,应用于所需的成像区域。
本实施方案即圆柱状扫描实施方案,考虑到圆柱状扫描会产生柱状图像失真,可以在成像透镜的光路中设置柱状失真矫正透镜1305来矫正柱状图像失真,具体可以设置在成像透镜和线阵感光单元之间的光路中。
图14为本发明图像文件格式属性表。传统图像文件格式属性表中有:宽度、高度、水平分辨率、垂直分辨率、位深度、帧数、设备、焦距、颜色表示、ISO速度、时间、地址等,图14例的图像文件格式中包含数个不同聚焦面的图像,由不同聚焦面图像封装而成,除传统图像属性外增加聚焦面间距、像距参数。
聚焦面间距即像间距。
所述不同聚焦面的图像即成像透镜的成像区域空间中某一截面图像。
图14例中,聚焦面间距是等距的,即2mm,聚焦面间距可以是不等距的,如靠近2f的位置布置密集,靠近f位置布置稀疏。或关键像距位置密集布置。
另外,聚焦面间距及像距在本发明多聚焦图像文件格式中不是必需的,不同像距的图像可以排列打包到多聚焦图像文件中,仅用排列序号区分不同像距的图像。
另外,对于多聚焦图像中不同像距的图像也可以利用现有的软件进行打包处理,形成一个由不同像距图像组成的文件包,所述不同像距图像根据像距值大小进行排序编号,所述编号可以作为不同像距图像的文件名。
图15为本发明文件格式结构图。文件由文件头、信息头、像距值、位图颜色表、位图像素数据组成,文件中封装数个不同聚焦面的图像,分别为1~n,像距值可以是绝对像距值,也可以是相邻聚焦面的间距,信息头中还可以包含焦距值。
另外,像距值及像间距在本发明多聚焦图像文件格式中不是必需的,不同像距的图像可以排列打包到多聚焦图像文件中,仅用排列序号区分不同像距的图像。
进一步,所述信息头中增加多聚焦图像中图像清晰度值摘要或索引。
或所述信息头中包含分区坐标及像距组成的索引列表;或分区坐标及像距标签组成的索引列表。
另外,对于多聚焦图像中不同像距的图像也可以利用现有的软件进行打包处理,形成一个由不同像距图像组成的文件包,所述不同像距图像根据像距值大小进行排序编号,所述编号写入各自对应的图像文件的文件头或信息头。
图17为本发明成像单元合成多聚焦图像文件的步骤图。成像单元获取的图像文件由像距编码器进行编码处理,生成多聚焦图像文件,像距编码器的编码参数来自像距数据,像距数据可以是绝对像距,或相对像距如成像单元之间的相对距离。另外,像距数值在本发明多聚焦图像文件格式中不是必需的,不同像距的图像可以排序打包到多聚焦图像文件中,仅用排列序号区分不同像距的图像。当然,不排除用现有的软件对不同像距的图像进行排序打包。
对于图2本发明多聚焦图像生成装置采用分光镜的实施方案及图3本发明多聚焦图像生成装置采用透明成像单元的实施方案。这两个实施方案的成像单元间隔距离是预定的或确定的,即像距数据是确定值,提取像距数据确定值通过像距编码器写入封装文件形成多聚焦图像文件格式。
对于图5本发明多聚焦图像生成装置采用成像单元往复运动的实施方案。这个方案的像距数值由运动驱动装置确定,运动驱动装置的运动方式由运动扫描信号控制,运动扫描信号根据运动方式相应地分为:1、线性扫描信号,即可以驱动成像单元沿z轴方向以均匀速度来回往复运动,像距的位置可以表达为:v=β*(U/T)*t,v为即时像距,β为固定系数,U为扫描电压峰值,T为扫描周期,t为某一时刻时间;2、正弦波扫描信号,即可以驱动成像单元沿z轴方向以正弦波震动方式来回往复运动,像距的位置可以表达为:v=0.5*f*sin(2∏t/T),v为即时像距,振幅为焦距f,震动周期为T,t为某一时刻时间;3、阶梯扫描信号,即可以驱动成像单元沿z轴方向来回往复运动,运动过程中至少有2个静止时间段,静止时间段为一个图像帧周期FT,图16为阶梯扫描信号电压u、时间t、z轴位移关系图,z1、z2、 z3分别为成像单元在z轴的3个静止点,静止时间段为FT,即一个图像帧周期,3个静止点分别对应电压值u1、u2、u3,即电压值u1、u2、u3在FT静止时间段保持不变,u-z图可以看出成像单元随扫描电压值移动,即发生的位移由电压值控制。所述线性扫描信号、或正弦波扫描信号、或阶梯扫描信号通过模数计算(A/D转换)生成像距值,像距值或像间距值通过像距编码器写入封装文件形成多聚焦图像文件格式。
多聚焦图像文件生成步骤为:1、获取至少两个成像单元的图像文件;2、获取像距值或像间距值;3、将像距值或像间距值写入封装文件即多聚焦图像文件,或多聚焦图像编码格式文件。
多聚焦视频图像文件生成步骤为:1、获取至少两个成像单元的视频图像文件;2、获取所述视频图像文件的像距或像间距;3、将像距值或像间距值写入封装文件,像距值或像间距值是视频图像文件的标签。
图18为本发明线阵感光单元生成多聚焦图像文件的步骤图。1、线阵感光单元运动扫描生成相应图像像素点,图像像素即亮度值及颜色值;2、由线阵运动编码器标定线阵感光单元扫描生成的图像像素点的坐标;3、由图像像素点及其坐标生成线阵帧图像;4、通过像距编码器将线阵感光单元的间距值或像距值写入封装文件形成多聚焦图像文件格式。另外,像距数值在本发明多聚焦图像文件格式中不是必需的,不同像距的图像可以排列打包到多聚焦图像文件中,仅用排列序号区分不同像距的图像。当然,不排除用现有的软件对不同像距的图像进行排序打包。
线阵运动编码器的功能是对线阵感光单元获取的像素点的坐标进行标定排序,形成图像数据,即线阵感光单元的各点在起始点到终止点扫描获取的图像像素点的像素值和对应坐标映射的数据。
对于图6本发明多聚焦图像生成装置采用线阵感光单元布置在契形斜面上并跟随斜面在x轴方向往复运动扫描成像的实施方案。线阵运动编码器是直线扫描运动编码器,由直线线阵运动编码器标定线阵单元扫描生成的图像像素坐标。例如某一线阵感光单元上的某一像素点p,坐标表达为(x,y,z),y由p点的物理位置决定,z由线阵感光单元在z轴方向的位置决定,x可以描述为x=A*(t/T),A为契形斜面在x轴方向的最大运动位移(有正负值,表示运动方向),T为往复运动周期,t为某一时刻时间。
对于图7本发明多聚焦图像生成装置采用双臂线阵感光单元旋转扫描成像的实施方案及图10本发明多聚焦图像生成装置采用单臂线阵感光单元旋转扫描成像的实施方案。线阵运动编码器是旋转扫描运动编码器,由旋转线阵运动编码器标定线阵单元扫描生成的图像像素坐标。例如某一线阵感光单元上的某一像素点p,极坐标表达为(r,ωt,z),r为p点到转轴中心的径向距离,ω为旋转角速度,z由线阵感光单元在z轴方向的位置决定,t为某一时刻时间。
对于图13本发明多聚焦图像生成装置采用线阵感光单元布置在直径不同的圆筒上旋转扫描成像的实施方案。线阵运动编码器是园柱状旋转扫描运动编码器,由园柱状旋转扫描运动编码器标定线阵单元扫描生成的图像像素坐标。例如某一线阵感光单元上的某一像素点p,极坐标表达为(r,ωt,y),r为线阵感光单元的旋转半径,ω为旋转角速度,y为p点的y轴坐标,t为某一时刻时间。
图19为本发明图像融合的一种方法。这里以2个聚焦面的图像为例,多聚焦图像格式文件中封装2个图像,1901为一个图像,图像中A为清晰区域,b为模糊区域,1902为另一个图像, a为模糊区域,B为清晰区域,1903为调整图像尺寸步骤,即将图像1901和图像1902进行归一化处理,使两幅图像的像素值一致,1904图像为1902图像的归一化处理图像,1904图像像素值和1901图像像素值一致,1905为图像融合处理步骤,即对1901的图像像素和1904的图像像素进行择一选取,这里择一选取清晰图像像素,最后得到图像1906,图像1906的像素组成是A和B,即全幅清晰的图像。
本发明的多聚焦图像文件格式中包含焦距值,像距值,通过成像公式可以计算得出不同聚焦面(或点)物体的物距,即不同物体的距离。成像公式为:1/f=1/u+1/v,如果已知f和v就可以计算出u=f*v/(v-f),其步骤为:1、获取多聚焦图像文件;2、进行清晰度识别,获取清晰区域像素的像距;3、根据像距v及焦距f 计算物距u= f*v/(v-f);4、获取多聚焦图像文件中各物体或物体部分的物距即距离。
图20为本发明提供的一种图像浏览器或视频播放器界面图。图像浏览器或视频播放器包含菜单栏、图像浏览或视频播放窗口、像距调节钮、归一化按钮、图像融合按钮、立体化按钮,归一化按钮可以对图像尺寸进行归一化处理,以便使不同像距的图像尺寸一致,图像融合按钮可以对所显示的图像进行融合处理,得到处处清晰的图像,立体化按钮可以对多聚焦图像文件进行处理生成立体图像,像距调节按钮可以选择不同像距的图像进行当前显示。
由于多聚焦图像文件由不同像距的图像排列组成,即分像距层组成,显示时只能选择某一层进行平面显示。
进一步,基于眼球跟踪装置浏览多聚焦图像,可以实现人眼关注点对现实世界的模拟,系统由眼球跟踪装置、计算机装置(图像处理装置)组成,计算机装置安装多聚焦图像显示软件,所述软件提供浏览窗口,浏览器像距调节按钮由眼球跟踪装置的信号控制,眼球跟踪装置负责解析眼球的关注点,多聚焦图像显示软件有判断关注点区域图像清晰度步骤,多聚焦图像显示软件通过选取关注点区域图像清晰的图像作为当前显示。
作为另一种实施方案,鼠标坐标作为眼球关注点指引,其步骤是:1、提取鼠标坐标;2、根据鼠标坐标确定图像显示界面的关注点坐标;3、将关注点区域清晰的图像作为当前显示,即对应像距的图像作为当前显示。鼠标坐标作为眼球关注点指引有两种触发方式:鼠标坐标直接触发,或根据鼠标坐标由鼠标按键触发,如按动左键。
再一实施方案,即触摸屏图像显示控制触发方式,触摸屏即触屏,包括单点触屏和多点触屏,其图像显示处理步骤是:1、提取触屏触动点坐标;2、根据触屏触动点坐标确定图像显示界面的关注点坐标;3、将关注点区域清晰的图像作为当前显示,即对应像距的图像作为当前显示。当然,不排除直接触动触屏的显示控制触发方式。
一种多聚焦图像文件处理方法,其特征是:进行图像显示时是提取某一像距的图像进行当前显示,显示控制的触发方式至少是如下方式之一:控制按钮触发方式、控制按钮鼠标拖动触发方式、鼠标坐标触发方式、鼠标坐标及按键触发方式、触屏触发方式、触屏触动点坐标及触屏触发方式、眼球关注点触发方式。
所述提取某一像距的图像的步骤还包括:对图像清晰度进行判断的步骤;或检索查询清晰度值摘要或索引并确定清晰度值最高的步骤,或确定由分区坐标及像距组成的索引列表中像距的步骤;或确定由分区坐标及像距标签组成的索引列表中像距标签的步骤。
图像显示处理步骤即多聚焦图像文件处理的一种方法。
图21为本发明多聚焦图像文件生成三维图像的步骤。1、获取多聚焦图像文件;2、图像像素清晰度判断,即对多聚焦图像文件中不同像距的图像进行清晰度判断;3、获取清晰度图像像素及三维坐标,对于同一像距的图像的像素点坐标x、y是已知的, 坐标z的数值是相同的,也是已知的;4、生成空间三维图像,空间三维图像是实物通过成像透镜在f~2f之间形成的空间实像,空间实像和实物以透镜中心点成几何中心对称,实物位于2f~∞之间;5、空间三维图像归一化处理,将所有不同像距的图像统一为同一尺寸,如:归一化系数β,图像1的像距为v1,图像2像距为v2,则β=(v2-f)/(v1-f),将图像1的尺寸统一到图像2,图像1尺寸*β=图像2尺寸;5、生成实体三维图像,通过归一化处理后,空间三维图像坐标转化为实体三维坐标,即实物真实坐标的图像映射坐标。
考虑到成像单元或线阵感光单元在成像透镜成像区域f~2f中不能无限布置,也就是说布置的数量是有限的,生成实体三维图像的步骤为:A、获取多聚焦图像文件;B、提取图像1数据并进行清晰度判断,同时获取清晰部分的像素及三维坐标;C、提取图像2数据并进行清晰度判断,同时获取清晰部分的像素及三维坐标,同时计算对图1的归一化系数β1=(像距1-f)/(像距2-f);D、提取图像n数据并进行清晰度判断,同时获取清晰部分的像素及三维坐标,同时计算对图1的归一化系数βn=(像距1-f)/(像距n-f);E、获取步骤B~C中获取的清晰部分的像素及三维坐标生成空间三维图像;F、将图像2坐标乘以系数β1,图像n坐标乘以系数βn,计算生成实体三维图像。
图22为线阵运动编码器图像编码原理。2201为线阵感光单元某一感光点,其运动轨迹中瞬间的位置为p,可以用(x,x,z)笛卡尔坐标描述,或(r,ωt,y)极坐标描述;2203为图像的行数据,即一个扫描行的数据;2202为2203行数据中的一个像素点数据,2202像素点数据对应的是p点的像素值,像素值即像素的亮度与色度,一般用三基色的亮度表示;2204为一个像素点数据数据的读取周期;2205为图像的行扫描周期;2206为线阵感光单元某一感光点2201的运动轨迹。这样,线阵感光单元的所有感光点通过运动将获取的图像像素值及坐标映射到图像数据块,形成线阵帧图像。当然,线阵感光单元的感光点获取的像素点信号是模拟信号,所以还有将模拟信号转化为数字信号的过程,即A/D转换。
考虑到线阵运动为规则运动,即匀速运动、或震动、或匀速转动,为了减少系统开销,可以不使用像素点读取周期,只使用行扫描周期,行扫描周期信号上升沿启动像素点读取操作,行扫描周期信号下降沿关闭像素点读取操作,从而完成一个图像行扫描读取。如果线阵运动是匀速运动或匀速转动,则像素点数据是均匀排布的,如果线阵运动是震动方式,则像素点数据是正弦排布的,可以通过函数算法将像素点还原为线性排列。
图23为空间三维图像成像原理。ABCD为物体,通过成像透镜形成A1B1C1D1空间三维图像,f为成像透镜焦距,F为成像透镜焦点,v1为A1D1像距,v2为B1C1像距,A2B2C2D2为处理生成的实体三维图像,图中忽略平面聚焦坐标,只研究纵向深度坐标。根据成像公式1/f=1/u+1/v可以得出如下结论:位于∞~2f的真实世界物体的光学图像被成像透镜“非线性压缩”在f~2f的空间,真实世界物体的物理尺寸及坐标是线性的,“非线性压缩”算法服从成像公式,通过成像公式算法可以计算实体三维图像的平面聚焦坐标及纵向坐标,如将A1B1C1D1空间三维图像计算出A2B2C2D2实体三维图像,事实上可以转化为D1C1段任一点尺寸的实体三维图像,我们假设转化到A1D1尺寸,即A1D1=A2D2,通过三角函数关系:B1C1/A1D1=(v2-f)/(v1-f),这样将B1C1的坐标转化为B2C2的坐标。
在数学上可以理解为:真实世界的线性三维坐标通过1/f=1/u+1/v算法映射到f~2f空间的非线性三维矩阵,像距v的定义域为(f,2f】,即{v︳f<v≤2f}。
图24为基于人眼关注点的多聚焦图像观看方式原理图。2401为摄像头,2402为显示界面,2403为眼球,p点是眼球关注点,坐标为(x,y),由摄像头2401和识别跟踪软件构成眼球跟踪装置,显示界面2402为多聚焦图像显示软件的显示界面,多聚焦图像显示软件可以根据需要任意显示多聚焦图像文件中不同像距的图像,并将所需要的图像作为当前图像在显示界面中显示,其工作过程是:1、由摄像头获取眼球图像,通过识别跟踪软件判断眼球的关注点p,并确定其坐标(x,y);2、对多聚焦图像文件中所有不同像距的图像位于p(x,y)点区域的图像进行清晰度判断,并确定其中一在p点区域清晰度最高的对应像距图像,即p点区域清晰的母体图像;3、将p点区域清晰的母体图像作为显示界面当前图像。
进一步,为了提高图像切换速度,将多聚焦图像用虚拟方格进行清晰度标定,并将标定值形成索引或摘要记录在多聚焦图像文件中,这样确定关注点后可以通过索引或摘要立即显示所需的图像。这样,工作过程为:1、由摄像头获取眼球图像,通过识别跟踪软件判断眼球的关注点p,并确定其坐标(x,y);2、根据p点的坐标(x,y)确定索引或摘要中对应的图像,即某一像距值的图像;3、将所述对应的图像作为当前图像在显示界面显示。
对于视频图像,多聚焦图像视频文件编码格式包含封装的视频轨、音频轨,视频轨有其像距标签或像间距标签,进一步添加图像清晰度标定值索引或摘要,其工作过程为:1、由摄像头获取眼球图像,通过识别跟踪软件判断眼球的关注点p,并确定其坐标(x,y);2、根据p点的坐标(x,y)确定索引或摘要中对应的视频轨,即某一像距标签的视频轨;3、将所述对应的视频轨作为当前视频在显示界面显示。
进一步,在进行眼球的关注点p显示前有提取并显示其它相邻像距图像的步骤,其目的是解决图像切换对人眼产生的突变感,同时也可以让人眼感觉到变焦视觉感。
现有的眼球跟踪技术有:中国专利公告03133764.3视觉跟踪智能控制方法,中国专利公告200710090883.X基于粒子滤波的视觉跟踪方法及系统,中国专利公告200810121650.6基于眼球跟踪的网页文本个性化搜索方法,中国专利公告200910096060.7基于眼球跟踪的英文文本自动摘要方法。
一种多聚焦图像显示装置,其特征是:装置由眼球跟踪装置和图像显示装置组成,眼球跟踪装置由摄像头和识别跟踪软件构成,摄像头负责获取眼球图像,识别跟踪软件负责对摄像头获取的眼球图像进行识别跟踪以确定眼球关注点坐标,图像显示装置包含多聚焦显示软件,多聚焦显示软件根据确定的眼球关注坐标提取相应图像进行当前显示。
图25为多聚焦图像文件建立清晰度摘要或索引的原理图。由于系统频繁插入图像清晰度判断会增加系统开销,为了提高图像切换速度,在多聚焦图像文件中增加清晰度标定值摘要或索引,2501为多聚焦图像文件中的某一像距图像,2502为2501图像中清晰的区域,同理,2504为2503图像中清晰的区域,2506为2505图像中清晰的区域。具体处理过程为:1、对多聚焦图像中所有图像用虚拟方格进行分区;2、对各分区进行清晰度判断形成清晰度值;3、将清晰度值形成摘要或索引;3、将摘要或索引添加到多聚焦图像文件中,或将摘要或索引封装到视频文件中。
清晰度值即对图像的清晰度进行判断,并形成数值表达。或者说清晰度值是图像清晰度的数值表达。
图像显示的步骤是:1、选定要显示的图像小区域,确定区域坐标;2、检索查询清晰度值摘要或索引并确定所述小区域清晰度值最高的对应像距图像;3、提取所述对应像距图像进行当前显示。
图26为采用像距标签为标识的一种图像清晰区域摘要或索引表。首先对多聚焦图像中所有的不同像距的图像进行虚拟方格分区,通过清晰度比对形成摘要或索引表中x,y,k数组,其中x,y为图像清晰区域的方格坐标,k为某一像距图像的像距标签标识,由k值确定此方格(即图像清晰的方格)是哪一对应像距的图像,如x3,y3,ki数组表示在方格坐标x3,y3区域图像清晰的图像是ki标识的对应像距图像。
当然,像距标签可以直接替换为像距值,即用像距值标识不同像距的图像。
图像显示的步骤是:1、选定要显示的图像小区域,确定方格坐标x,y;2、在由方格坐标及像距标签组成的索引列表中唯一地确定像距标签k;3、通过像距标签k确定对应像距的图像进行当前显示。
图27为图26建立图像清晰区域摘要或索引表中像距标签k值的步骤。1、获取多聚焦图像文件;2、赋值像距标签k值,即对多聚焦图像文件中所有的不同像距的图像进行标识编号;3、对图像进行方格分区,以x,y坐标确定方格在显示界面的位置,不同像距的图像方格分区在显示界面的位置坐标x,y是一致的;4、方格分区清晰度比对,即对不同像距图像相同x,y坐标的方格分区进行清晰度比对,选取清晰度最高的方格对应的图像k值,此方格的数组即为x,y,k
另外,方格分区内清晰度不一定是均匀的,有跃变的情况,对于有跃变的方格可以放弃处理。
当然,像距标签k值可以直接替换为像距值,即用像距值标识不同像距的图像。
考虑到分区不一定采用方格分区,一种多聚焦图像文件格式,其特征是:图像文件中包含分区坐标及像距组成的索引列表;或分区坐标及像距标签组成的索引列表。
所述像距标签即根据图像像距对图像进行的编号或标识。
Claims (12)
1.一种多聚焦图像文件格式,其特征是:图像文件由至少两个不同像距的图像构成。
2.一种多聚焦图像文件格式,其特征是:图像文件由至少两个不同像距的图像构成,所述图像的图像像素点坐标由三维坐标描述即x、y、z,其中x、y描述图像的像素点在像距聚焦面的位置,z描述像素点在x、y决定的平面的法向距参照平面的距离。
3.一种多聚焦图像视频文件编码格式,封装形式包含视频轨、音频轨,其特征是:封装形式中包含多个视频轨,每个视频轨有其像距标签或像间距标签。
4.根据权利要求1或2或3所述的一种多聚焦图像文件格式,其特征是:图像文件中包含清晰度值摘要或索引。
5.根据权利要求1或2或3所述的一种多聚焦图像文件格式,其特征是:图像文件中包含分区坐标及像距组成的索引列表;或分区坐标及像距标签组成的索引列表。
6.一种多聚焦图像生成装置,其特征是:装置由一组成像透镜、至少两组单聚焦成像组件构成,所述单聚焦成像组件包括分光镜、成像单元,分光镜将成像透镜的部分光线分配给所述的成像单元成像。
7.一种多聚焦图像生成装置,其特征是:装置由一组成像透镜、至少两组前后排列叠加的透明成像单元构成,所述透明成像单元负责不同像距的图像成像。
8.一种多聚焦图像生成装置,其特征是:装置由一组成像透镜、至少两组前后不遮光排列且不在同一像距平面的线阵感光单元构成,所述线阵感光单元通过运动扫描生成图像。
9.根据权利要求8所述的一种多聚焦图像生成装置,其特征是:线阵感光单元的运动扫描方式是单臂旋转扫描、或双臂旋转扫描、或圆柱状旋转扫描、或平行扫描。
10.一种多聚焦图像文件处理方法,其特征是:进行图像显示时是提取某一像距的图像进行当前显示,显示控制的触发方式至少是如下方式之一:控制按钮触发方式、控制按钮鼠标拖动触发方式、鼠标坐标触发方式、鼠标坐标及按键触发方式、触屏触发方式、触屏触动点坐标及触屏触发方式、眼球关注点触发方式。
11.一种多聚焦图像文件处理方法,其步骤是:S1、由摄像头获取眼球图像,通过识别跟踪软件判断眼球的关注点,并确定关注点坐标;S2、根据关注点的坐标在多聚焦图像文件中提取关注点区域清晰的图像进行当前显示。
12.一种多聚焦图像文件处理方法,其步骤是:A、获取多聚焦图像文件;B、确定主聚焦面图像;C、提取相邻聚焦面图像;D、将相邻聚焦面图像和主聚焦面图像进行清晰度图像融合处理形成融合图像1;E、提取另一相邻聚焦面图像;F、将另一相邻聚焦面图像和融合图像1进行清晰度图像融合处理形成融合图像2;G、提取次相邻聚焦面图像;H、将次相邻聚焦面图像和融合图像2进行清晰度图像融合处理形成融合图像3;I、提取另一次相邻聚焦面图像;J、将另一次相邻聚焦面图像和融合图像3进行清晰度图像融合处理形成融合图像4;K、重复上述图像融合处理直至形成最终融合图像。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210543272.7A CN103034987B (zh) | 2012-12-16 | 2012-12-16 | 一种多聚焦图像文件格式及生成装置及图像文件处理方法 |
CN201510143494.3A CN104700382B (zh) | 2012-12-16 | 2012-12-16 | 一种多聚焦图像文件处理方法 |
CN201510143495.8A CN104700383B (zh) | 2012-12-16 | 2012-12-16 | 一种多聚焦图像生成装置及多聚焦图像文件处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210543272.7A CN103034987B (zh) | 2012-12-16 | 2012-12-16 | 一种多聚焦图像文件格式及生成装置及图像文件处理方法 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510143494.3A Division CN104700382B (zh) | 2012-12-16 | 2012-12-16 | 一种多聚焦图像文件处理方法 |
CN201510143495.8A Division CN104700383B (zh) | 2012-12-16 | 2012-12-16 | 一种多聚焦图像生成装置及多聚焦图像文件处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103034987A true CN103034987A (zh) | 2013-04-10 |
CN103034987B CN103034987B (zh) | 2015-10-21 |
Family
ID=48021855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210543272.7A Active CN103034987B (zh) | 2012-12-16 | 2012-12-16 | 一种多聚焦图像文件格式及生成装置及图像文件处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103034987B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103237162A (zh) * | 2013-04-15 | 2013-08-07 | 华中科技大学 | 光学数据采集装置及产生输出与场景对应图像数据的方法 |
CN105323460A (zh) * | 2014-06-04 | 2016-02-10 | 佳能株式会社 | 图像处理设备及其控制方法 |
CN105659579A (zh) * | 2013-12-27 | 2016-06-08 | 华为终端有限公司 | 一种摄像显示方法及摄像显示装置 |
CN108965686A (zh) * | 2017-05-17 | 2018-12-07 | 中兴通讯股份有限公司 | 拍照的方法及装置 |
CN112707272A (zh) * | 2020-12-22 | 2021-04-27 | 精英数智科技股份有限公司 | 基于视频智能识别的绳条抖动检测方法、装置及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050007673A1 (en) * | 2001-05-23 | 2005-01-13 | Chaoulov Vesselin I. | Compact microlenslet arrays imager |
CN101881607A (zh) * | 2010-06-10 | 2010-11-10 | 上海理工大学 | 一种检测平面误差系统 |
US20100302508A1 (en) * | 2009-06-02 | 2010-12-02 | Nidek Co., Ltd. | Ophthalmic photographing apparatus |
CN202957905U (zh) * | 2012-12-16 | 2013-05-29 | 吴凡 | 一种多聚焦图像生成及显示装置 |
-
2012
- 2012-12-16 CN CN201210543272.7A patent/CN103034987B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050007673A1 (en) * | 2001-05-23 | 2005-01-13 | Chaoulov Vesselin I. | Compact microlenslet arrays imager |
US20100302508A1 (en) * | 2009-06-02 | 2010-12-02 | Nidek Co., Ltd. | Ophthalmic photographing apparatus |
CN101881607A (zh) * | 2010-06-10 | 2010-11-10 | 上海理工大学 | 一种检测平面误差系统 |
CN202957905U (zh) * | 2012-12-16 | 2013-05-29 | 吴凡 | 一种多聚焦图像生成及显示装置 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103237162A (zh) * | 2013-04-15 | 2013-08-07 | 华中科技大学 | 光学数据采集装置及产生输出与场景对应图像数据的方法 |
CN105659579A (zh) * | 2013-12-27 | 2016-06-08 | 华为终端有限公司 | 一种摄像显示方法及摄像显示装置 |
CN105659579B (zh) * | 2013-12-27 | 2019-08-20 | 华为终端有限公司 | 一种摄像显示方法及摄像显示装置 |
CN105323460A (zh) * | 2014-06-04 | 2016-02-10 | 佳能株式会社 | 图像处理设备及其控制方法 |
US9936121B2 (en) | 2014-06-04 | 2018-04-03 | Canon Kabushiki Kaisha | Image processing device, control method of an image processing device, and storage medium that stores a program to execute a control method of an image processing device |
CN105323460B (zh) * | 2014-06-04 | 2018-09-18 | 佳能株式会社 | 图像处理设备及其控制方法 |
CN108965686A (zh) * | 2017-05-17 | 2018-12-07 | 中兴通讯股份有限公司 | 拍照的方法及装置 |
CN112707272A (zh) * | 2020-12-22 | 2021-04-27 | 精英数智科技股份有限公司 | 基于视频智能识别的绳条抖动检测方法、装置及系统 |
CN112707272B (zh) * | 2020-12-22 | 2022-12-02 | 精英数智科技股份有限公司 | 基于视频智能识别的绳条抖动检测方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN103034987B (zh) | 2015-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103034987B (zh) | 一种多聚焦图像文件格式及生成装置及图像文件处理方法 | |
CN100449572C (zh) | 图像再现的运动控制 | |
CN1144157C (zh) | 用于从顺序的2d图象数据产生3d模型的系统和方法 | |
JP2004015106A (ja) | 画像処理装置および画像処理方法、プログラムおよびプログラム記録媒体、並びにデータ構造およびデータ記録媒体 | |
JPH10512060A (ja) | 3次元イメージングシステム | |
KR20100120613A (ko) | 입체이미지 디스플레이 및 터치 제어 기능을 갖춘 디지털 이미지 캡쳐장치 | |
US20190200096A1 (en) | File generation device, file generation method, reproducing device, and reproducing method | |
CN202957905U (zh) | 一种多聚焦图像生成及显示装置 | |
Gurrieri et al. | Acquisition of omnidirectional stereoscopic images and videos of dynamic scenes: a review | |
Hu et al. | 4dlfvd: A 4d light field video dataset | |
Belhi et al. | Investigating 3D holoscopic visual content upsampling using super-resolution for cultural heritage digitization | |
Wu et al. | Depth mapping of integral images through viewpoint image extraction with a hybrid disparity analysis algorithm | |
CN104700383B (zh) | 一种多聚焦图像生成装置及多聚焦图像文件处理方法 | |
CN104700382B (zh) | 一种多聚焦图像文件处理方法 | |
JPH10111951A (ja) | 画像処理方法および装置および記憶媒体 | |
Drobnitzky et al. | Survey and systematization of 3D object detection models and methods | |
EP0831423A2 (en) | Image processing method and apparatus | |
Ikeya et al. | Capturing method for integral three-dimensional imaging using multiviewpoint robotic cameras | |
Guo et al. | Elemental image array generation based on discrete viewpoint pickup and window interception in integral imaging | |
Ai et al. | Motion parallax enhanced 3-D integral imaging display from the commercial plenoptic camera | |
KR20140092460A (ko) | 2차원 이미지의 홀로그램 이미지 변환 장치 및 그 방법 | |
Athineos et al. | Photorealistic integral photography using a ray-traced model of capturing optics | |
Maesen et al. | Omnidirectional free viewpoint video using panoramic light fields | |
JP2017073710A (ja) | 要素画像群生成装置及びそのプログラム | |
Lee et al. | Spatio-Temporal Outdoor Lighting Aggregation on Image Sequences Using Transformer Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C41 | Transfer of patent application or patent right or utility model | ||
CB03 | Change of inventor or designer information |
Inventor after: Qin Cheng Inventor after: Song Bingzhong Inventor before: Wu Fan |
|
COR | Change of bibliographic data | ||
TR01 | Transfer of patent right |
Effective date of registration: 20170123 Address after: 300143 Tianjin city Hebei District Zhang Zhuang Road No. 86 Patentee after: TIANJIN YINBO PRINTING GROUP CO., LTD. Address before: 226001 Jiangsu Province, Nantong City Chongchuan District Beiyuan Village No. 3 building 14 room 404 Patentee before: Wu Fan |