CN115086544A - 拍摄方法及装置、位置偏移量计算方法、程序、记录介质 - Google Patents

拍摄方法及装置、位置偏移量计算方法、程序、记录介质 Download PDF

Info

Publication number
CN115086544A
CN115086544A CN202210115085.2A CN202210115085A CN115086544A CN 115086544 A CN115086544 A CN 115086544A CN 202210115085 A CN202210115085 A CN 202210115085A CN 115086544 A CN115086544 A CN 115086544A
Authority
CN
China
Prior art keywords
image
imaging
original
images
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210115085.2A
Other languages
English (en)
Inventor
安田拓矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Publication of CN115086544A publication Critical patent/CN115086544A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明的拍摄方法包括:每当获取一个原图像,将与原图像对应的图像数据存储在存储器的工序;计算原图像间的位置偏移量的工序。针对原图像的每一个,基于拍摄时的拍摄视场间的位置关系预先设定表示拍摄视场与该原图像重叠而成为位置偏移量的计算对象的其他原图像即计算对象图像的数量的对象图像数。当新获取原图像时,计算原图像与已获取的计算对象图像之间的位置偏移量。针对存储在存储器中的原图像中的、进行了位置偏移量的计算的计算对象图像的数量达到对象图像数的原图像,从存储部释放与该原图像对应的图像数据。在将拍摄对象物分割成多个拍摄视场进行拍摄时,即使是有限的存储器资源也能够不损害实时性地计算图像间的位置偏移量。

Description

拍摄方法及装置、位置偏移量计算方法、程序、记录介质
技术领域
本发明涉及将拍摄对象物分割成多个拍摄视场并进行拍摄的拍摄技术。
背景技术
在需要比拍摄单元的拍摄视场更广范围的图像时,有时根据将拍摄对象物分割成多个拍摄视场而拍摄到的原图像来制作合成图像。在这样的情况下,使相邻的拍摄视场彼此局部地重叠来进行拍摄,基于重叠部分的图像内容来校正原图像间的位置偏移并进行合成。例如,在国际公开第2019/053839号公报(专利文献1)中记载的技术中,通过在以局部相互重叠的方式拍摄到的多个图像间计算位置偏移量,基于其结果来合成多个图像,从而得到一个广角图像。
另外,在这样将拍摄对象物分割成多个拍摄视场的情况下,特别是根据拍摄对象物的形状、物理性质来动态地决定图像的配置的方法,例如记载于日本特开2018-040569号公报(专利文献2)。
在使用计算机装置等的运算处理装置进行基于图像内容的位置偏移校正时,需要将作为校正对象的图像的数据保存在存储器中。但是,在图像的尺寸较大的情况下,则需要大量的存储器资源。作为避免由此引起的存储器资源不足的方法,例如,可以考虑压缩图像来削减数据量、或者使图像数据保存至硬盘驱动器等大容量存储装置等。
然而,在基于压缩后的图像的位置偏移校正中,存在位置偏移量的计算精度降低的情况。另外,在将图像数据保存在存储装置的方法中,在计算位置偏移量时,需要一边将图像数据从存储装置向存储器传送一边进行运算。由此,可能产生运算处理所需时间变长并损害实时性等问题。
发明内容
本发明是鉴于上述问题完成的,其目的在于提供一种将拍摄对象物分割成多个拍摄视场而进行拍摄的技术,即使是有限的存储器资源也能够不损害实时性地计算图像间的位置偏移量。
本发明的一个方式是一种拍摄方法,将拍摄对象物分割成多个拍摄视场并进行拍摄,包括:一边使所述拍摄视场相互不同且使相邻的所述拍摄视场彼此局部重叠一边对所述拍摄对象物进行拍摄,获取多个原图像的工序;每当获取一个所述原图像时,将与该原图像对应的图像数据存储于存储器的工序;以及计算所述多个原图像之间的位置偏移量的工序。
另外,本发明的另一个方式一种拍摄装置,具有:图像获取部,一边使拍摄视场相互不同且使相邻的所述拍摄视场彼此局部重叠一边对拍摄对象物进行拍摄,获取多个原图像;存储器,临时地存储与所述原图像对应的图像数据;以及位置偏移量计算部,计算所述多个原图像之间的位置偏移量。
在这些发明中,针对所述原图像的每一个,基于拍摄时的所述拍摄视场间的位置关系而预先设定对象图像数,该对象图像数表示所述拍摄视场与该原图像重叠而成为所述位置偏移量的计算对象的其他所述原图像即计算对象图像的数量。当新获取所述原图像时,基于彼此的重叠部分的图像内容来计算该原图像与在所述存储器中存储有所述图像数据的已获取的所述计算对象图像之间的位置偏移量。另外,针对所述存储器中存储有所述图像数据的所述原图像中的、与原图像之间进行了所述位置偏移量的计算的所述计算对象图像的数量达到所述对象图像数的该原图像,从所述存储器释放与该原图像对应的所述图像数据。
在这样地构成的发明中,在将拍摄对象物分割成多个拍摄视场的原图像并进行拍摄的情况下,针对原图像的每一个设定“对象图像数”。对象图像数是与该原图像之间成为位置偏移量的计算对象的其他原图像的数量,能够基于拍摄时的拍摄视场间的位置关系而被预先设定。在此基础上,在各原图像与该原图像之间相互成为位置偏移量的计算对象的计算对象图像之间计算位置偏移量。
该“对象图像数”换言之相当于将各原图像应用于与其他一个原图像之间的位置偏移计算处理的次数。针对通过拍摄而获取的多个原图像中的、与该原图像之间进行了位置偏移量的计算的计算对象图像的数量达到“对象图像数”的该原图像,在以后的位置偏移量的计算中不被用作“计算对象图像”。因此,不需要将该原图像的图像数据保存在存储器中。如果将这样的图像数据从存储器释放、即允许其他数据向该图像数据所占据的存储器上的存储区域进行写入,则避免了不需要的图像数据挤占存储器的存储资源。例如,能够删除该图像数据,保存新获取的图像数据。
这样,在本发明中,针对通过使拍摄视场不同而对拍摄对象物进行分割拍摄到的原图像中的每一个,预先求出用于在与该原图像之间计算位置偏移量的其他原图像的数量作为对象图像数。而且,针对各原图像中的、用于与原图像之间位置偏移量的计算的其他原图像的数量达到对象图像数的该原图像,将图像数据从存储器释放。
因此,无需将全部的原图像存储在存储器中,能够减小处理所需的存储器容量。另一方面,对于在以后的计算处理中使用的图像,维持图像数据被保持在存储器中的状态,因此避免了损害计算处理的实时性。
另外,本发明的另一个方式是一种位置偏移量计算方法,所述位置偏移量计算方法将拍摄对象物分割为多个拍摄视场,并且计算使相邻的所述拍摄视场彼此局部重叠而拍摄到的多个原图像间的位置偏移量,包括:获取与所述原图像对应的图像数据并存储在存储器的工序;以及计算所述多个原图像之间的位置偏移量的工序。
在此,针对所述原图像的每一个,基于拍摄时的所述拍摄视场间的位置关系预先设定对象图像数,所述对象图像数表示所述拍摄视场与该原图像重叠而成为所述位置偏移量的计算对象的其他所述原图像即计算对象图像的数量。而且,基于彼此的重叠部分的图像内容来计算一个所述原图像与在所述存储器中存储有所述图像数据的已获取的所述计算对象图像之间的位置偏移量。针对在所述存储器中存储有所述图像数据的所述原图像中的、与原图像之间进行了所述位置偏移量的计算的所述计算对象图像的数量达到所述对象图像数的该原图像,从所述存储器释放与该原图像对应的所述图像数据。
另外,本发明的另一个方式是使计算机执行上述位置偏移计算方法的各工序的程序、以及非临时地记录有该程序的记录介质。
在这样构成的发明中,与上述发明同样地,为了计算位置偏移量而残留应保存在存储器中的图像数据,并且能够删除不需要的图像数据。由此,能够在不损害处理的实时性的情况下,实现存储器使用量的削减。
以上,根据本发明,针对多个原图像的每一个,预先求出用于与该原图像之间计算位置偏移的其他原图像的数量(对象图像数)。并且,在成为计算处理的对象的其他原图像的数量达到对象图像数的时间点,该原图像的图像数据被从存储器释放。这样一来,即使是有限的存储器资源也能够不损害实时性的情况下计算图像间的位置偏移量。
附图说明
图1是表示本发明的拍摄装置的第一实施方式的概略结构的图。
图2A是表示分割成多个拍摄视场的拍摄的分配例的图。
图2B是表示分割成多个拍摄视场的拍摄的分配例的图。
图3A是表示用作本实施方式的事例的原图像的例子的图。
图3B是表示用作本实施方式的事例的原图像的例子的图。
图4A是表示原图像的拍摄顺序与可计算的原图像的关系的图。
图4B是表示原图像的拍摄顺序与可计算的原图像的关系的图。
图5是表示本实施方式的拍摄处理的原理的时序图。
图6是将图5的拍摄处理具体化的流程图。
图7是表示拍摄处理的变形例的流程图。
图8A是表示重新拍摄的要否判断处理的两个例子的流程图。
图8B是表示重新拍摄的要否判断处理的两个例子的流程图。
图9是表示变形例中的各部的状态变化的时序图。
图10是表示拍摄处理单元和图像处理单元分体构成的拍摄装置的结构例的图。
图11是表示拍摄处理单元的动作的流程图。
图12是表示图像处理单元的动作的流程图。
附图标记说明
1、2 拍摄装置
10 试样容器
13 拍摄部(图像获取部)
21 拍摄处理单元(图像获取部)
22 图像处理单元(图像处理部)
141、221 CPU(图像处理部)
144、224 存储器
具体实施方式
<第一实施方式>
图1是表示本发明的拍摄装置的第一实施方式的概略结构的图。该拍摄装置1是对被称为培养皿的平型且上表面开口的试样容器10所承载的细胞等原始试样进行拍摄的装置。向试样容器10注入规定量的作为培养基M的液体,在该液体中以规定的培养条件培养的细胞等成为该拍摄装置1的拍摄对象物。培养基可以是添加了适当的试剂的培养基,也可以是以液状注入试样容器10后凝胶化的培养基。
此外,虽然在此例示将拍摄对象物作为原始试样的情况进行说明,但本发明中的拍摄对象物并不限定于此。例如,也可以将在适当的载体上承载的组织切片、病理标本等作为拍摄对象物。另外,试样容器也可以是具备多个孔的所谓孔板,承载于各孔的原始试样成为拍摄对象物。
另外,例如,对于形成有规则图案的印刷基板、半导体芯片或晶片、显示器用面板等工业制品,也能够将本发明应用于检查品质、评价工艺的拍摄。
拍摄装置1具有:保持架11,用于保持试样容器10;照明部12,配置于保持架11的上方;拍摄部13,配置于保持架11的下方;以及控制部14,具有控制这些各部的动作的CPU141。保持架11与试样容器10的下表面周缘部抵接并使试样容器10保持大致水平姿势。
照明部12朝向由保持架11保持的试样容器10射出照明光。作为照明光的光源,例如,能够使用白色LED(Light Emitting Diode)。使用组合了光源与适当的照明光学系统而成的构件作为照明部12。通过照明部12,从上方对试样容器10内的拍摄对象物照明。
在由保持架11保持的试样容器10的下方设置有拍摄部13。在拍摄部13中,试样容器10的正下方位置配置有后述的拍摄光学系统,拍摄光学系统的光轴朝向铅垂方向。图1是侧视图,图的上下方向表示铅垂方向。
由拍摄部13对试样容器10内的拍摄对象物进行拍摄。具体而言,从照明部12射出并从试样容器10的上方向液体入射的光对拍摄对象物进行照明。从试样容器10的底面向下方透过的光经由包括拍摄部13的对物透镜131在内的拍摄光学系统入射至拍摄元件132的受光面。由拍摄元件132对由拍摄光学系统在拍摄元件132的受光面上成像的拍摄对象物的像进行拍摄。拍摄元件132是具有二维的受光面的区域图像传感器,例如能够使用CCD传感器或CMOS传感器。
拍摄部13通过设置在控制部14的机械控制部146能够在水平方向以及铅垂方向上移动。具体而言,机械控制部146基于来自CPU141的控制指令使驱动机构15动作,并使拍摄部13移动。通过向水平方向的移动,拍摄部13相对于试样容器10在水平方向上移动。另外,通过在铅垂方向上的移动来调整焦点。
驱动机构15在使拍摄部13在水平方向上移动时,在图中由虚线箭头所示,使照明部12与拍摄部13一体地移动。即,照明部12以该光中心与拍摄部13的光轴大致一致的方式配置,在拍摄部13在水平方向上移动时,与其连动地移动。由此,即使在拍摄部13相对于试样容器10移动的情况下,照明部12的光中心也始终位于拍摄部13的光轴上,在任何位置处对于拍摄对象物的照明条件是一定的,能够良好地保持拍摄条件。
从拍摄部13的拍摄元件132输出的图像信号向控制部14发送。即,图像信号输入至设置于控制部14的AD转换器(A/D)143并转换为数字图像数据。CPU141基于接收到的图像数据适当地执行图像处理。
控制部14还具有用于暂时地存储图像数据和运算中的数据的存储器144、以及用于将CPU141应执行的程序、由CPU141生成的数据存储保存的存储装置145。存储器144能够从CPU144高速访问,另一方面,存储容量比存储装置145小。存储装置145例如是硬盘驱动器(HDD),存储容量较大,但访问速度比存储器144慢。这些根据目的而分开使用。CPU141通过调用并执行存储于存储装置145中的控制程序,从而进行后述的各种运算处理。
除此以外,在控制部14设置有接口(IF)部142。接口部142具有接受来自用户的操作输入、进行对用户提示处理结果等信息的用户接口功能、以及与经由通信线路连接的外部装置之间进行数据交换的功能。为了实现用户接口功能,在接口部142上连接有接受来自用户的操作输入的输入接受部147、显示输出对用户的消息、处理结果等的显示部148。
拍摄部13的拍摄视场根据拍摄倍率而变化。特别是在高倍率的拍摄中,有时存在拍摄视场的尺寸比试样容器10的底面尺寸小的情况。在这样的情况下,为了拍摄试样容器10的整体,将成为拍摄对象的范围分割为多个拍摄视场进行拍摄,通过图像处理对这样得到的多个原图像进行合成,制成大尺寸的图像。
图2A和图2B是表示将试样容器分割成多个拍摄视场进行拍摄的情况的分配例的图。图2A是表示将试样容器10分割成多个拍摄视场进行拍摄的情况的图像的配置的例子的图。另外,图2B是表示用于拍摄试样容器的拍摄部13的扫描移动路径、更具体而言是拍摄部13的光轴的轨迹的图。为了以下的说明,设定将图的横向作为X方向、将纵向作为Y方向的坐标轴。由于以与底面水平的方式保持试样容器10,因此XY平面相当于水平面。
在拍摄部13的拍摄视场FV无法覆盖试样容器10的整体的情况下,如图2A所示,试样容器10被分割成多个原图像Im1~Im16并被拍摄。通过将这些原图像Im1~Im16通过拍摄后的图像处理拼接起来进行合成,来制作收纳有试样容器10的整体的合成图像It。为了能够进行原图像间的平滑的拼接以及相互的位置偏移校正,以在相邻的原图像之间一部分区域相互重叠的方式进行原图像的分配。
使拍摄部13沿着试样容器10的底面相对地扫描移动,在此期间进行多次拍摄,由此获取这些原图像。具体而言,如图2B中折线箭头所示,通过组合拍摄部13的X方向的移动和Y方向的移动,从而使拍摄部13沿着试样容器10的底面扫描移动。通过在该过程中进行多次拍摄,能够获取原图像。图2B中的黑点P1~P16示出了拍摄部13的光轴位于该黑点的位置时进行拍摄。以下,将这样进行拍摄的拍摄部13的位置称为“拍摄位置”。
更具体而言,使拍摄部13相对于试样容器10向(+X)方向扫描移动,以规定的时机反复进行拍摄。例如,在拍摄位置P1获取原图像Im1,在拍摄位置P2获取原图像Im2。同样地,在拍摄位置P3获取原图像Im3,在拍摄位置P4获取原图像Im4,之后,拍摄部13向(+Y)方向进给规定间距。
接着,拍摄部13向(-X)方向移动,在拍摄位置P8、P7、P6、P5分别进行拍摄,分别获取原图像Im8、Im7、Im6、Im5。进而,拍摄部13在向(+Y)方向移动后,一边再次向(+X)方向移动,一边拍摄到原图像Im9、Im10、Im11、Im12。最后,一边向(-X)方向移动,一边拍摄到原图像Im16、Im15、Im14、Im13。这样,原图像的配置与拍摄顺序未必一致。
通过适当地设定拍摄计划(schedule),能够进行与所提供的原图像的分配相应的拍摄,该拍摄计划规定了拍摄部13向(+X)方向或(-X)方向的扫描移动中的拍摄时机和向Y方向的进给间距的组合。以下,有时将向X方向的扫描移动称为“主扫描移动”,将向Y方向的扫描移动称为“副扫描移动”。
在该例中,虽然将试样容器10分割成16个拍摄视场FV并进行拍摄,但是针对拍摄对象物的拍摄视场的分配并不限定于此,是任意的。若预先知道拍摄对象物的大小与拍摄部13的拍摄视场FV的大小的关系,则满足覆盖拍摄对象物的整体并且使彼此一部分重叠这样的条件的原图像的配置可以考虑各种方式。
以下,对这样将拍摄对象物分割成多个拍摄视场进行拍摄,并将这样得到的多个原图像最终合成为一个来制成整体图像的本实施方式的拍摄处理进行说明。在合成图像时,对在拍摄时可能产生的原图像间的位置偏移进行校正。具体而言,在彼此重叠的两张原图像之间,基于重叠部分的图像内容的比较,来计算相对的位置偏移量,在基于计算结果的进行位置偏移的校正后,拼接原图像。这样一来,能够得到没有不自然的接缝的整体图像。
作为位置偏移量的计算方法,能够应用各种公知技术,本实施方式没有特别限定。例如,能够应用图案匹配方法,即,在彼此重叠的原图像间,使用一方的重叠部分的图像作为模板,搜索另一方的原图像中对应的区域。另外,也可以是使用光流估计法的方法。
此外,在上述说明中,举出了将具有圆形的底面的试样容器10分割成分别为大致正方形的多个拍摄视场FV,以获取16张原图像Im1~Im16的例子。以下,作为更一般的事例,使用以下的原图像的例子。
图3A和图3B是表示用作本实施方式的事例的原图像的例子的图。以下,使用各自为长方形、如图3A所示那样在X方向上分割为4张且在Y方向上分割为3张进行拍摄而得到的总计12张的原图像Im(1)~Im(12)。这些原图像Im(i)(i=1、2、…、12)的位置关系能够认为与图2A所示的原图像Im1~Im12对应。
如上所述,以在相邻的原图像之间一部分互相重叠的方式进行拍摄,基于重叠部分的图像内容来求出原图像间相互的位置偏移量。图3A中的箭头表示作为位置偏移量的计算对象的原图像的组合。例如,对于左上的图像Im(1),在右侧相邻的原图像Im(2)和在下侧相邻的原图像Im(5)成为计算对象。这样,以下,将相对于一个原图像而成为位置偏移量的计算对象的其他原图像称为“计算对象图像”。另外,例如,对于原图像Im(6),在上下以及左右方向上相邻的4张原图像Im(2)、Im(5)、Im(7)、Im(10)成为计算对象图像。
此外,在斜向上相邻的原图像,例如在原图像Im(1)与原图像Im(6)之间存在一部分重叠。然而,重叠部分的面积较小,无法得到充分的计算精度,因此,在处于这样的位置关系的原图像之间不进行位置偏移的评价。
图3B是汇总了各原图像Im(i)和与其对应的计算对象图像的关系的图。这样,对于各原图像Im(i),能够根据其配置分别确定计算对象图像,计算对象图像的数量不一样。图3B的右栏表示与各原图像Im(i)对应的计算对象图像的数量M(i)。以下,将该数量称为“对象图像数”。例如,针对原图像Im(1)的计算对象图像是原图像Im(2)、Im(5),对象图像数M(1)是2。另外,例如,针对原图像Im(3)的计算对象图像是原图像Im(2)、Im(4)、Im(7),对象图像数M(3)是3。
对于任意的原图像的分配,能够与上述同样地设定对象图像数。具体而言,根据拍摄时的分配,将各原图像所占的区域配置于二维坐标平面,从而能够确定原图像间的重叠部分。而且,针对一个原图像,将与该原图像的重叠部分的面积适于位置偏移计算处理的规定范围内的其他原图像作为计算对象图像,对其数量进行计数即可。此外,除了重叠部分的面积以外,例如也可以根据该部分的宽度进行。
图4A和图4B是表示原图像的拍摄顺序与能够计算位置偏移量的原图像之间的关系的图。如图2B所示,在拍摄部13反复进行向(+X)方向的扫描移动和向(-X)方向的扫描移动的拍摄方式中,在最初的向(+X)方向的扫描中依次拍摄到原图像Im(1)、Im(2)、Im(3)、Im(4)。之后,通过接下来的向(-X)方向的扫描依次拍摄到原图像Im(8)、Im(7)、Im(6)、Im(5)。然后,通过再次进行的向(+X)方向的扫描,依次拍摄到原图像Im(9)、Im(10)、Im(11)、Im(12)。
在此,考虑按上述顺序依次进行拍摄而得到的原图像与在其之前的拍摄中已经获取了图像数据的其他原图像(以下,称为“已有图像”)之间的关系。更具体而言,考虑在新获取了一个原图像时,在已有图像中含有多少计算对象图像。
在拍摄了最初的原图像Im(1)之后,不存在已有图像。另一方面,在拍摄了第二个原图像Im(2)之后,已经保存了已有图像Im(1)的图像数据,这些原图像互相成为另一方的计算对象图像。因此,能够在不等待其他原图像的获取的情况下,在该时间点,在原图像Im(1)与原图像Im(2)之间开始位置偏移量的计算。
这样,当新获取原图像时,如果在已有图像中包含与该原图像处于计算对象图像的关系的其他原图像,则能够进行接下来的拍摄,并且在这些原图像之间进行位置偏移量的计算。这样一来,在全部的图像的拍摄结束的时间点已经求出各图像间的位置偏移量,因此能够迅速执行拍摄后的原图像的合成。因此,能够提高拍摄的实时性。
图4A中的箭头(
Figure BDA0003493943470000101
)是指前后图像相互处于计算对象图像的关系。例如,在拍摄到原图像Im(3)之后,已有图像中的原图像Im(2)是计算对象图像,因此能够在原图像Im(2)与原图像Im(3)之间进行位置偏移量的计算。能够针对以下的各原图像也同样地考虑。
作为其一例,在图4B中示出了在获取了原图像Im(6)的时间点的状态。在该图中,通过最新的拍摄而新获取到的原图像Im(6)由双实线框表示。另一方面,由单实线框表示的原图像Im(1)~Im(4)、Im(7)、Im(8)是已有图像。由虚线框表示的原图像Im(5)、Im(9)~Im(12)是在该时间点未获取的图像。
带阴影的箭头表示通过新获取原图像Im(6)而能够计算位置偏移量的原图像的组合。当获取原图像Im(6)时,在与已有图像中所含的计算对象图像Im(2)、Im(7)之间,能够分别计算位置偏移量。
在图中,黑箭头表示在到目前为止由拍摄获取到的已有图像之间能够计算位置偏移量的组合。另外,虚线箭头表示由于未获取到相互成为计算对象图像的两个原图像中的至少一方而在该时间点无法开始位置偏移量的计算的组合。
在此,当着眼原图像Im(3)、Im(4)时,表示针对该原图像的计算对象图像已经全部被获取。例如,原图像Im(3)的计算对象图像Im(2)、Im(4)、Im(7)已经全部被获取,若在能够计算位置偏移量的时间点立即开始计算处理,则优选该处理已经结束。针对原图像Im(4)也是同样的。因此,原图像Im(3)、Im(4)的图像数据在之后的位置偏移量计算处理中不会被使用。
另外,通过新获取原图像Im(6),能够在与原图像Im(2)之间新计算位置偏移量。在该计算处理结束以后,不进行使用了原图像Im(2)的计算。即,原图像Im(2)的图像数据也不会用于以后的位置偏移量计算处理。这样,对于已有图像中的与全部计算对象图像之间结束位置偏移量的计算的已有图像,未必需要保存图像数据。
在位置偏移量的计算处理时,为了确保处理的高速性,优选将成为计算对象的两个原图像的图像数据保存在能够进行高速访问的存储器144中。特别是,对于高精细的图像数据,由于数据量较大,因此一般预先存储保存在存储容量大的存储装置145中。然而,若每次从存储装置145读出为了计算位置偏移量的计算所需的数据时,则导致处理时间变长。
另一方面,存储器144虽然能够高速访问,但作为存储容量比存储装置145小,有时也存在无法将全部的原图像的图像数据存储在存储器144中的情况。虽然也考虑将缩小了原图像的图像数据保持在存储器144中,但在该情况下,有可能因图像信息部分丢失而导致位置偏移量的计算精度的降低。
在本实施方式的拍摄处理中,利用如果如上所述那样进行位置偏移量的计算处理则产生不需要保存的图像数据的情况,从而实现了存储器144应存储的图像数据的数据量的削减。即,关于通过获取原图像而在与已有图像之间能够进行的位置偏移量的计算处理,与其他拍摄并行地执行。与此同时,从存储器释放在以后的计算处理中不使用的图像数据来削减数据量。由此,在有限的存储器资源中也能够接受通过新的拍摄而生成的图像数据。
更具体而言,对于各原图像Im(i),导入对在与该原图像之间结束了位置偏移量的计算的计算对象图像的数量进行计数的计数器C(i)。计数器C(i)的初始值为0,在一个原图像Im(i)与其他一个原图像Im(j)(j=1、2、…、12,其中i≠j)之间位置偏移量的计算处理结束时,计数器C(i)、C(j)的值分别各递增一个。
针对各原图像C(i),预先求出对象图像数M(i)。如上所述,对象图像数M(i)表示原图像Im(i)被应用于与其他原图像之间的位置偏移量计算处理的次数。因此,如果计数器C(i)的值达到对象图像数M(i),则可以说在与全部的计算对象图像之间完成计算处理,在以后的位置偏移量计算处理中不会使用原图像Im(i)的图像数据。即,能够从存储器中释放图像数据。
在此,“从存储器释放图像数据”这一术语,意味着实质上消灭存储器将该图像数据作为有效的数据而保存的必要性。因此,例如也可以从存储器中删除该图像数据。另外,特别是即使不进行数据删除,例如也可以在分配给该图像数据的存储区域中,允许其他数据的覆盖。
图5是表示本实施方式的拍摄处理的原理的时序图。在该图中示出了,各原图像Im(i)的拍摄时机(上部)、获取到的图像数据在存储器中存储的期间(中部)、以及计数器C(i)的计数值的变化(下部)的关系。如上所述,针对各原图像Im(i),根据拍摄时的分配来预先确定对象图像数M(i),计数器C(i)的初始值为0。
此外,为了防止说明变得繁琐并容易理解,关于表示拍摄时机的时刻T1~T12的下标数字,与所拍摄的原图像的编号一致。因此,需要注意各时刻的前后关系与下标的顺序未必一致。
在拍摄部13向(+X)方向扫描移动而到达拍摄位置P1(图2B)的时刻T1,拍摄到原图像Im(1),并将与其对应的规定尺寸的图像数据写入存储器144。图像数据被保持在存储器144上并占据存储器空间内的规定区域,直到后述的释放时机到来。对于在以后的拍摄中获取到的其他图像数据也是同样的。
在拍摄部13到达拍摄位置P2的时刻T2,拍摄到原图像Im(2),并将与其对应的规定尺寸的图像数据写入存储器144。在该时间点,能够在原图像Im(1)与原图像Im(2)之间进行位置偏移量计算处理。通过在它们之间进行位置偏移量计算处理,计数器C(1)、C(2)分别从0递增至1。
当在时刻T3获取原图像Im(3)时,与其对应的图像数据被写入存储器144。在该时间点,能够在原图像Im(2)与原图像Im(3)之间进行位置偏移量计算处理。通过进行位置偏移量计算处理,从而计数器C(2)从1向2递增,计数器C(3)从0向1递增。
同样地,当在时刻T4获取原图像Im(4)时,与其对应的图像数据被写入存储器144,能够在原图像Im(3)与原图像Im(4)之间进行位置偏移量计算处理。通过进行位置偏移量计算处理,从而计数器C(3)从1向2递增,计数器C(4)从0向1递增。
在拍摄部13向(+Y)方向步进之后,在开始向(-X)方向的扫描移动并到达拍摄位置P8的时刻T8,获取原图像Im(8)并将图像数据写入存储器144。此时,在原图像Im(4)与原图像Im(8)之间执行位置偏移量计算处理。由此,计数器C(8)从0向1递增。
虽然计数器C(4)也从1向2递增,但该计数值“2”与针对原图像Im(4)确定的对象图像数M(4)相等。在图中,对数字标注的圆圈表示计数值C(i)与对象图像数M(i)相等。此时的原图像Im(4)是与作为计算对象图像的原图像Im(3)、Im(8)中任一个都完成了位置偏移量计算处理的状态。因此,能够将原图像Im(4)的图像数据设为从存储器144释放、即实质上不存在于存储器144的状态。特别是,如果在拍摄下一个原图像Im(7)的时刻T7之前进行存储器释放,则能够将存储原图像Im(4)的图像数据的区域用于保存原图像Im(7)的图像数据。
当在时刻T7获取原图像Im(7)时,在原图像Im(7)与原图像Im(3)、Im(8)之间分别执行位置偏移量计算处理。由此,计数器C(3)、C(8)分别递增一个,其中计数器C(3)的计数值“3”与原图像Im(3)的对象图像数M(3)相等。因此,能够从存储器144释放原图像Im(3)的图像数据。另外,由于原图像Im(7)在与两个计算对象图像之间执行位置偏移量计算处理,因此计数器C(7)的计数值从0递增至2。对此,也可以认为在与原图像Im(3)之间的计算处理和与原图像Im(8)之间的计算处理中,计数器C(7)分别递增一个。
以下,同样地,能够在时刻T6从存储器144释放原图像Im(2)的图像数据,在时刻T5从存储器144释放原图像Im(1)的图像数据,在时刻T9从存储器144释放原图像Im(5)的图像数据,在时刻T10从存储器144释放原图像Im(6)、Im(9)的图像数据,在时刻T11从存储器144释放原图像Im(7)、Im(10)的图像数据。而且,在全部的拍摄结束的时刻T12之后,对剩余的原图像Im(8)、Im(11)、Im(12)进行相互的位置偏移量计算处理,最终能够从存储器144释放全部的图像数据。
这样,依次拍摄到12张原图像Im(1)~Im(12),将图像数据写入存储器144。但是,对于通过对在一个拍摄完成的阶段可能的组合执行位置偏移量计算处理而不再需要的图像数据,每次都从存储器144释放。因此,由图可知,同时存在于存储器144上的图像数据最大也是5张图像大小的图像数据。
这样一来,关于对12张原图像实时地进行位置偏移量计算处理所需的存储器资源,根据本实施方式,可以说能够抑制为5张图像大小的图像数据。因此,不需要在存储器144中准备存储全部的原图像的容量,而且,与从存储装置145读出图像数据的情况相比,能够更高速地进行处理。
图6是使图5的拍摄处理具体化的流程图。该处理通过CPU141基于预先作成的控制程序使装置各部进行规定的动作来实现。最初,决定拍摄时的原图像的分配(步骤S101)。若预先知晓拍摄对象物,则关于分配能够预先决定。另外,也可以根据拍摄对象物的大小与拍摄视场的关系,动态地决定分配。作为具体的方法,例如,能够应用专利文献2中记载的技术。
针对这样决定了分配的原图像Im(i)的每一个,决定对象图像数M(i)(步骤S102),并且将计数器C(i)初始化为初始值0(步骤S103)。在此,变量i是以通过分配决定的原图像的张数为上限的自然数。
然后,基于根据原图像的分配而确定的规定了主扫描移动的方向、移动速度、副扫描移动的间距、拍摄时机等的拍摄计划,开始拍摄部13的扫描移动(步骤S104)。每当拍摄部13到达拍摄位置时(步骤S105),进行拍摄部13的拍摄,并保存获取到的图像数据(步骤S106)。
在该拍摄处理中,如上述那样,基于存储在存储器144中的图像数据来执行原图像间的位置偏移量计算处理。但是,在该处理中,计算原图像间的相对的位置偏移量,但不进行基于计算结果的原图像间的位置偏移校正。在获取全部的原图像并求出它们之间的位置偏移量后,进行合成图像的处理。为了进行此时的合成处理,需要保存全部的原图像的图像数据。
因此,所获取到的图像数据被写入存储器144和存储装置145双方。暂时存储在存储器144中的图像数据被用于位置偏移量计算处理,如果不需要,则被删除。另一方面,出于拍摄的目的,当然追求获取到的图像数据更长期地保存。因此,图像数据也被存储保存在存储装置145中。在使用了位置偏移量计算结果的图像的合成中,使用存储在存储装置145中的图像数据。
这样一来,当获取一个原图像时,从在存储器144中存储有图像数据的已有图像中搜索计算对象图像,如果有相应的图像,则执行位置偏移量计算处理(步骤S107)。作为位置偏移量计算处理,能够利用前述的图案匹配处理、光流法等能够在两个图像间确定相互相关的区域的各种公知技术。
对于在位置偏移量计算处理中使用的原图像,计数器C(i)的计数值增加(步骤S108)。然后,对计数器C(i)和对应的对象图像数M(i)进行比较(步骤S109),如果两者相等,则从存储器144释放相应的原图像Im(i)的图像数据(步骤S110)。返回到步骤S105反复进行处理,直到针对全部的原图像结束拍摄为止(步骤S111)。
当结束全部的拍摄时,原图像被合成而制作整体图像It(图2A)(步骤S112)。此时,在原图像间的位置对准中,基于计算出的位置偏移量来校正。由此,能够得到没有不自然的接缝的平滑的图像。此外,并非必须将全部原图像合成为一个整体图像,例如,也可以是制作仅将多个原图像中彼此相邻的一部分合成而得到的图像的方式。
此时的图像处理是一边将位置调整与已经求出的位置偏移量对应的量一边将多个原图像拼接的处理,基于保存在存储装置145中的全部原图像的图像数据来进行。在拍摄装置1对不同的拍摄对象物或者同一拍摄对象物的不同范围进行拍摄期间,也能够执行这样的图像合成处理。
但是,在这样一边使拍摄部与拍摄对象物相对地的扫描移动一边进行拍摄的扫描拍摄中,有时由于某种理由偶尔导致图像的获取或保存失败。在这样的情况下,有时再次进行在图像的获取失败时的主扫描移动,尝试拍摄。以下,将其称为“重新拍摄”。
在上述实施方式中,每次获取1张原图像就进行位置偏移量计算处理,基于计数器C(i)以及对象图像数M(i)从存储器释放不要的图像数据。因此,在需要重新拍摄的时间点,可能产生所需的图像数据未残留在存储器中的状况。在以下说明的变形例中,也能够应对设想这样的重新拍摄的情况。
以下说明的拍摄处理的变形例中,大部分的处理内容与上述的拍摄处理(图6)是共通的。因此,对处理内容与图6共通的处理步骤标注相同的编号,并省略详细的说明。另外,为了避免图复杂,省略步骤S101~S103的记载。
图7是表示拍摄处理的变形例的流程图。在该变形例中的处理中,到步骤S108为止的处理内容与图6所示的内容相同。但是,之后,在1行的主扫描移动结束的时间点(步骤S121),进行是否需要重新拍摄的判断(步骤S122)。在没有遗漏地获取原图像而不需要重新拍摄的情况下(步骤S122中为“否”),继续执行步骤S109以后的处理,其结果是,成为与图6的处理相同的动作。
在此,“1行”是指拍摄部13的朝向(+X)方向或(-X)方向的一系列的连续的主扫描移动的概念。例如,在图2B所示的例子中,依次通过拍摄位置P1~P4的向(+X)方向的扫描移动、以及依次通过拍摄位置P8~P5的向(-X)方向的扫描移动分别相当于“1行”的扫描移动。
图8A和图8B是表示重新拍摄的要否判断处理的两个例子的流程图。在图8A所示的第一例中,在1行的主扫描移动结束的时间点,评价由该扫描移动获取到的图像的张数(步骤S201),如果该张数与预先计划的张数不一致(在步骤S202中为“否”),则判断为需要重新拍摄(步骤S203)。另一方面,在获取到的图像的张数与计划张数一致时(在步骤S202中为“是”),判断为不需要重新拍摄(步骤S204)。该要否判断优选在执行拍摄部13的副扫描移动之前进行。
在图8B所示的第二例中,不是根据1行的图像的获取张数,而是根据获取到的图像的数据量是否达到必要量,来判断是否需要重新拍摄(步骤S211、S212)。除了判断基准不同这一点之外,与第一例的处理内容相同。
返回至图7,在判断为需要重新拍摄的情况下(在步骤S121中为“是”),丢弃由该主扫描移动获取到的图像数据以及使用了该图像数据的位置偏移量的计算结果(步骤S122),在该期间更新后的计数器C(i)被修正为原来的值(步骤S123)。并且,在为了进行重新拍摄而修正拍摄计划后(步骤S124),返回至步骤S105。由此,基于修正后的拍摄计划再次开始拍摄。
在重新拍摄中,不进行向副扫描方向的移动,而使拍摄部13进行主扫描移动并进行再次拍摄。关于此时的拍摄计划,例如,能够设为再次重复在原图像的获取中失败的行的主扫描移动的方式。在该情况下,不需要拍摄计划的大幅的重组,但需要用于使拍摄部13返回至该主扫描移动开始时的位置的移动。另一方面,如果使主扫描移动的方向为反向,例如在向(+X)方向的扫描移动中拍摄失败时,通过向(-X)方向的扫描移动进行重新拍摄,则不会产生无用的移动。但是,对于下一行以后的拍摄顺序也需要变更等,拍摄计划大幅变化。无论哪种方式,均能够重新拍摄。
在该变形例中,在1行的扫描拍摄结束的时间点判断是否需要重新拍摄。并且,在判断为需要重新拍摄时,在基于错误的数据的处理被重置后,进行重新拍摄。并且,从存储器释放不需要的图像数据在判断为不需要重新拍摄之后被执行。因此,即使在需要重新拍摄的情况下,在该时间点,位置偏移量计算处理所需的图像数据也残留在存储器中。更具体而言,各部返回至开始需要重新拍摄的行的扫描拍摄之前的状态,成为与没有进行该行的扫描拍摄同样的状态。因此,在基于通过重新拍摄新获取到的图像数据来计算位置偏移量时,能够立即执行计算处理。
图9是表示该变形例中的各部的状态变化的时序图。与图5比较可知,在本变形例中,即使计数器C(i)的计数值在到达对象图像数M(i)的情况下,图像数据不会立即被存储器释放,而是之后1行的扫描拍摄结束,并且在判断为不需要重新拍摄的阶段下实施存储器释放。
因此,同时应保存在存储器144上的图像数据最大增加到8张原图像的图像数据。然而,即使在需要重新拍摄的情况下,也能够使用在重新拍摄中新获取到的图像数据和在存储器144中保存的已有图像的图像数据,执行位置偏移量计算处理。
另外,在上述变形例中,在1行的扫描拍摄结束后进行重新拍摄的要否判断的处理(步骤S121以及S122)被追加到步骤S108和步骤S109之间。因此,无论是否需要重新拍摄,都进行计数器C(i)的更新,如果在需要重新拍摄的情况下,则需要修正计数器C(i)。取而代之,如果将步骤S121和S122设置在步骤S107和步骤S108之间,则在需要重新拍摄的情况下,不执行计数器C(i)的更新本身。在这样的情况下,能够得到与上述变形例同样的作用效果,并且能够省略步骤S124的计数器修正工序。
此外,还考虑在步骤S106与步骤S107之间配置是否需要重新拍摄的判断。然而,这样一来,在到1行的扫描拍摄结束为止无法开始位置偏移量计算处理,在保证拍摄的实时性的方面不能说有效果。
<第二实施方式>
上述第一实施方式的拍摄装置1其本身具有拍摄功能和图像处理功能。另一方面,这种拍摄装置如接下来说明的第二实施方式那样,有时通过组合具有拍摄功能以及用于使其工作的最小限度的控制功能的拍摄处理单元、与自身不具有拍摄功能但具有高度的运算处理功能的图像处理单元来实现。
图10是表示拍摄处理单元和图像处理单元分体地构成的拍摄装置的结构例的图。在该实施方式中,对与第一实施方式(图1)的结构实质上相同的结构标注相同附图标记,并省略详细的说明。
在本实施方式的拍摄装置2中,需要高度的运算功能的图像处理的主体是与拍摄处理单元21分体的图像处理单元22。图像处理单元22可以是具备专用的硬件的专用装置,也可以是在个人计算机或工作站等的通用处理装置装入有用于实现图像处理功能的控制程序的装置。即,作为该拍摄装置2的图像处理单元22,能够利用通用的计算机装置。在使用通用处理装置的情况下,在拍摄处理单元21中具备使拍摄部13等各部动作所需的最小限度的控制功能、存储1张原图像的图像数据的图像存储器即可。拍摄部13也可以被认为是拍摄处理单元21的结构的一部分。
在拍摄处理单元21中具有:控制器211,用于控制拍摄处理单元21的各部的动作;AD转换器213,将从拍摄部13输出的图像信号转换为数字图像数据;图像存储器214,暂时存储图像数据;机械控制部216,控制驱动机构15;以及接口部218。图像存储器214至少具有1张原图像的图像数据的存储容量即可。另外,接口部218具有与图像处理单元22进行各种信息通信的功能。机械控制部216的功能与第一实施方式所具备的机械控制部146的功能相同。
图像处理单元22具有:CPU221,执行各种控制程序;存储器224,用于暂时地存储图像数据和运算中的数据;以及存储装置225,用于存储并保存CPU221应该执行的程序、由CPU221生成的数据。存储器224以及存储装置225的功能与第一实施方式中的存储器144以及存储装置145的功能相同。另外,优选在图像处理单元22中设置有图像处理部223,该图像处理部223为专用于各种图像处理运算的处理器,也可以是CPU221兼备该功能的方式。
进而,在图像处理单元22中设置有与拍摄处理单元21之间进行各种通信的接口部222。在接口部222连接有接受来自用户的操作输入的输入接受部227和向用户显示并输出消息或处理结果等的显示部228,这些功能与在第一实施方式中相当的结构相同。
在这样构成的拍摄装置2中,通过拍摄处理单元21和图像处理单元22协作,从而实现拍摄处理。具体而言,设置于图像处理单元22的CPU221通过执行预先准备的控制程序,从而控制拍摄处理单元21以及图像处理单元22的各部并进行规定的动作。
拍摄处理单元21按照从图像处理单元22提供的拍摄计划进行动作,进行拍摄对象物的拍摄。通过拍摄而生成的图像数据存储在图像存储器214中,当获取相当于1张原图像的图像数据时,图像数据被传送至图像处理单元22。即,拍摄处理单元21不进行图像处理,仅具有对拍摄对象物进行拍摄并输出与由此得到的原图像对应的图像数据的功能。
图11是表示拍摄处理单元的动作的流程图。拍摄处理单元21接收从图像处理单元22发送来的拍摄计划(步骤S301),据此执行拍摄部13的扫描移动(步骤S302)。并且,拍摄部13在到达由拍摄计划指定的拍摄位置的时机进行拍摄,并将所得到的图像数据向图像处理单元22发送(步骤S303、S304)。
当结束1行的扫描拍摄时(步骤S305),判断是否从图像处理单元22发送了重新拍摄指示(步骤S306)。如果没有重新拍摄指示(在步骤S306中为“否”),则返回至步骤S303,并重复上述处理,直到由拍摄计划指定的全部的拍摄结束为止(步骤S307)。
另一方面,在有重新拍摄指示的情况下(在步骤S306中为“是”),返回步骤S301,接收从图像处理单元22提供的新的拍摄计划并继续拍摄。这样,拍摄处理单元21根据从图像处理单元22提供的控制指令而从属地动作,进行拍摄对象物的拍摄。
图12是表示图像处理单元的动作的流程图。在图像处理单元22中,与第一实施方式中的拍摄处理(图6)同样地,进行拍摄时的原图像的分配(步骤S401)、对象图像数M(i)的决定(步骤S402)、以及计数器C(i)的初始化(步骤S403)。并且,根据分配结果制定的拍摄计划被向拍摄处理单元21发送(步骤S404)。
当接收到根据被发送的拍摄计划从拍摄处理单元22发送的1张原图像的图像数据时(步骤S405),与第一实施方式同样地,将该图像数据存储并保存在存储器224以及存储装置225中(步骤S406)。然后,从存储在存储器224中的已有图像中搜索计算对象图像,如存在相应的已有图像,则执行位置偏移量的计算处理。与第一实施方式同样地,对于用于计算处理中的原图像Im(i),使对应的计数器C(i)的计数值递增(步骤S408)。
并且,与第一实施方式的变形例同样地,在结束了1行的扫描拍摄的时间点(步骤S409),判断是否需要重新拍摄(步骤S410)。该判断基准与第一实施方式同样。在不需要重新拍摄的情况下(步骤S410中为“否”),将与各原图像Im(i)对应的计数器C(i)的值与对象图像数M(i)进行比较,若它们一致则从存储器224中释放图像数据(步骤S411~S412)。重复来自步骤S405的处理,直到全部的原图像的处理结束为止(步骤S413)。当接收到全部的图像数据并结束位置偏移量计算处理时,基于该结果和存储于存储装置225中的各原图像的图像数据进行图像的合成(步骤S414)。
另一方面,在判断为需要重新拍摄的情况下(在步骤S410中为“是”),与第一实施方式的变形例同样地,废弃通过该行的扫描获取到的图像数据以及基于此的位置偏移量的计算结果(步骤S421),修正计数器C(i)(步骤S422)。进而,进行用于执行重新拍摄的拍摄计划的修正(步骤S423),对拍摄处理单元21发送重新拍摄指示(步骤S424)。
通过对接受了重新拍摄指示的拍摄处理单元21发送新的拍摄计划(步骤S404),从而能够使拍摄处理单元21进行响应修正后的拍摄计划的拍摄动作。这样一来,使作为分体构成的拍摄处理单元21与图像处理单元22协作,能够执行与第一实施方式的拍摄装置1同样的拍摄处理。
此外,本第二实施方式与第一实施方式的变形例同样地,假设在结束了1行的扫描拍摄的时间点有可能产生重新拍摄的必要性。然而,与第一实施方式同样地,当然也能够在不进行该假设前提下构成处理流程。
另外,在此构成为,图像处理单元22向拍摄处理单元21发送拍摄计划,拍摄处理单元21执行该拍摄计划。取而代之,例如,也可以是图像处理单元22执行拍摄计划,在必要的时机将扫描移动指示、拍摄指示等控制指令提供给拍摄处理单元21的方式。在该情况下,拍摄处理单元21只要仅具有根据来自图像处理单元22的控制指令使照明部12以及拍摄部13动作的功能即可。
本实施方式的拍摄装置2组合不具有高度的运算功能的已有的拍摄处理单元21和具有一般的硬件结构的通用的计算机装置即图像处理单元22,并在计算机装置中安装本发明的程序,可以说带来了已有的装置中没有的新功能。
<其他>
如以上说明那样,在上述第一实施方式的拍摄装置1中,拍摄部13作为本发明的“图像获取部”发挥功能。另外,设置于控制部14中的CPU141作为本发明的“位置偏移量计算部”发挥功能,另外,存储器144作为本发明的“存储器”发挥功能。另一方面,在第二实施方式的拍摄装置2中,包括拍摄部13在内的拍摄处理单元21作为本发明的“图像获取部”发挥功能。另外,图像处理单元22中的CPU221以及图像处理部223作为本发明的“图像处理部”发挥功能,存储器224作为本发明的“存储器”发挥功能。
需要说明的是,本发明并不限定于上述实施方式,在不脱离其主旨的范围内除了上述以外能够进行各种变更。例如,在上述实施方式的拍摄处理中,关于不直接参与拍摄的图像处理,也能够作为使用了已获取的图像数据的位置偏移量计算处理来单独实现。这样的处理不依赖于特定的硬件资源,例如,作为能够由通用计算机装置执行的程序,或者作为非临时地记录该程序的计算机可读取的记录介质而供于实用。
另外,上述的原图像的分配仅为一例,应该根据目的,并沿着本发明的主旨适当地设定。例如在如专利文献2中记载的技术那样动态地设定针对拍摄对象物的原图像的分配的方式中,本发明也能有效地发挥功能。
另外,上述实施方式的拍摄装置利用具有作为拍摄元件的区域图像传感器并相对于拍摄对象物进行扫描移动的拍摄部13间歇地进行拍摄,从而获取原图像。除此以外,例如在以线性图像传感器为拍摄元件的拍摄装置中,本发明也是有效的。在该情况下,通过将与线性图像传感器的长度方向相交的方向作为主扫描方向进行扫描拍摄,从而能够获取在主扫描方向上较长地延伸的带状的原图像。而且,通过一边使线性图像传感器在副扫描方向上移动一边进行拍摄,从而能够在副扫描方向上获取拍摄视场不同的多个原图像。能够应用本发明以在这些原图像之间计算位置偏移量。
以上,如例示具体的实施方式进行说明的那样,在本发明的拍摄方法中,例如,针对原图像的每一个,对在与该原图像之间进行了位置偏移量的计算的计算对象的数量进行计数,并对该计数结果与对象图像数进行比较,能够判断是否执行从存储器释放图像数据。根据这样的结构,实质上对进行了位置偏移量的计算的次数进行计数,由此能够判断该原图像是否被用于以后的位置偏移量计算处理。
另外,例如,还能够设置基于位置偏移量来合成多个原图像的工序。根据这样的结构,能够制作没有不自然的狭缝的平滑的合成图像。
另外,例如,通过一边使拍摄原图像的拍摄部与拍摄对象物相对地移动一边进行多次拍摄,从而能够获取多个原图像。在这样的拍摄中,虽然由于移动时的位置的变动、拍摄时机的偏差会产生原图像间的位置偏移,但通过应用本发明,能够计算并校正位置偏移量。
在该情况下,例如,能够使一边使拍摄部相对于拍摄对象物在规定的主扫描方向上相对地移动一边执行规定次数的拍摄的扫描拍摄动作,在与主扫描方向相交的副扫描方向上位置不同地执行多次。并且,在通过一次扫描拍摄动作获取并在存储器中存储有所述图像数据的原图像的数量与规定次数一致时,能够执行从存储器释放图像数据。根据这样的结构,即使在一次的扫描拍摄动作中由于某种原因而产生了图像数据的缺失,在该时间点,此前获取到的图像数据也残留在存储器中,因此能够避免计算处理所需的图像数据被消除。
进而,在该情况下,在通过一次扫描拍摄动作获取并在存储器中存储有图像数据的原图像的数量与规定次数不一致时,也可以在副扫描方向的相同位置再次执行扫描拍摄动作。这样一来,能够使用新获取到的图像数据无延迟地继续处理。
工业利用性
本发明能够应用于将拍摄对象物分割成多个拍摄视场并进行拍摄的所有技术,特别是适合用于需要掌握分割拍摄后的原图像间的位置偏移的用途。例如,对于合成多个原图像而最终制成一个图像的目的来说是有效的。

Claims (10)

1.一种拍摄方法,将拍摄对象物分割成多个拍摄视场并进行拍摄,其中,
包括:
一边使所述拍摄视场相互不同且使相邻的所述拍摄视场彼此局部重叠,一边对所述拍摄对象物进行拍摄,获取多个原图像的工序;
每当获取一个所述原图像时,将与该原图像对应的图像数据存储于存储器的工序;以及
计算多个所述原图像之间的位置偏移量的工序,
针对所述原图像的每一个,基于拍摄时的所述拍摄视场间的位置关系而预先设定对象图像数,在此,所述对象图像数是所述拍摄视场与该原图像重叠而成为所述位置偏移量的计算对象的其他所述原图像即计算对象图像的数量,
当新获取所述原图像时,基于彼此的重叠部分的图像内容来计算该原图像与在所述存储器中存储有所述图像数据的已获取的所述计算对象图像之间的位置偏移量,
针对所述存储器中存储有所述图像数据的所述原图像中的、与原图像之间进行了所述位置偏移量的计算的所述计算对象图像的数量达到所述对象图像数的该原图像,从所述存储器释放与该原图像对应的所述图像数据。
2.如权利要求1所述的拍摄方法,其中,
针对所述原图像的每一个,对与该原图像之间进行了所述位置偏移量的计算的所述计算对象图像的数量进行计数,将计数结果与所述对象图像数进行比较,判断是否执行从所述存储器释放所述图像数据。
3.如权利要求1或2所述的拍摄方法,其中,
还包括基于所述位置偏移量来合成多个所述原图像的工序。
4.如权利要求1或2所述的拍摄方法,其中,
通过一边使拍摄所述原图像的拍摄部和所述拍摄对象物相对地移动一边进行多次拍摄,从而获取多个所述原图像。
5.如权利要求4所述的拍摄方法,其中,
将一边使所述拍摄部相对于所述拍摄对象物在规定的主扫描方向上相对地移动一边执行规定次数的拍摄的扫描拍摄动作,在与所述主扫描方向相交的副扫描方向上位置不同地执行多次,
在通过一次所述扫描拍摄动作获取并在所述存储器中存储有所述图像数据的所述原图像的数量与所述规定次数一致时,执行从所述存储器释放所述图像数据。
6.如权利要求5所述的拍摄方法,其中,
在通过一次所述扫描拍摄动作获取并在所述存储器中存储有所述图像数据的所述原图像的数量与所述规定次数不一致时,在所述副扫描方向的相同位置再次执行所述扫描拍摄动作。
7.一种位置偏移量计算方法,将拍摄对象物分割为多个拍摄视场,并且计算使相邻的所述拍摄视场彼此局部重叠而拍摄到的多个原图像间的位置偏移量,其中,
包括:
获取与所述原图像对应的图像数据并存储在存储器的工序;以及
计算多个所述原图像之间的位置偏移量的工序,
针对所述原图像的每一个,基于拍摄时的所述拍摄视场间的位置关系而预先设定对象图像数,在此,所述对象图像数是所述拍摄视场与该原图像重叠而成为所述位置偏移量的计算对象的其他所述原图像即计算对象图像的数量,
基于彼此的重叠部分的图像内容来计算一个所述原图像与在所述存储器中存储有所述图像数据的已获取的所述计算对象图像之间的位置偏移量,
针对在所述存储器中存储有所述图像数据的所述原图像中的、与原图像之间进行了所述位置偏移量的计算的所述计算对象图像的数量达到所述对象图像数的该原图像,从所述存储器释放与该原图像对应的所述图像数据。
8.一种程序,其中,用于使计算机执行权利要求7所述的各工序。
9.一种计算机可读取的记录介质,其中,非临时地记录有权利要求8所述的程序。
10.一种拍摄装置,其中,
具有:
图像获取部,一边使拍摄视场相互不同且使相邻的所述拍摄视场彼此局部重叠一边对拍摄对象物进行拍摄,获取多个原图像;
存储器,临时地存储与所述原图像对应的图像数据;以及
位置偏移量计算部,计算多个所述原图像之间的位置偏移量,
针对所述原图像的每一个,基于拍摄时的所述拍摄视场间的位置关系而预先设定对象图像数,该对象图像数表示所述拍摄视场与该原图像重叠而成为所述位置偏移量的计算对象的其他所述原图像即计算对象图像的数量,
当新获取所述原图像时,所述位置偏移量计算部基于彼此的重叠部分的图像内容来计算该原图像与在所述存储器中存储有所述图像数据的已获取的所述计算对象图像之间的位置偏移量,
针对所述存储器中存储有所述图像数据的所述原图像中的、与原图像之间进行了所述位置偏移量的计算的所述计算对象图像的数量达到所述对象图像数的该原图像,所述位置偏移量计算部从所述存储器释放与该原图像对应的所述图像数据。
CN202210115085.2A 2021-03-10 2022-01-28 拍摄方法及装置、位置偏移量计算方法、程序、记录介质 Pending CN115086544A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021038058A JP2022138269A (ja) 2021-03-10 2021-03-10 撮像方法、位置ずれ量算出方法、プログラムおよび記録媒体ならびに撮像装置
JP2021-038058 2021-03-10

Publications (1)

Publication Number Publication Date
CN115086544A true CN115086544A (zh) 2022-09-20

Family

ID=80735435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210115085.2A Pending CN115086544A (zh) 2021-03-10 2022-01-28 拍摄方法及装置、位置偏移量计算方法、程序、记录介质

Country Status (4)

Country Link
US (1) US20220292721A1 (zh)
EP (1) EP4057620A1 (zh)
JP (1) JP2022138269A (zh)
CN (1) CN115086544A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087550A (ja) * 2001-09-12 2003-03-20 Sanyo Electric Co Ltd 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US20130077892A1 (en) * 2011-09-27 2013-03-28 Yasunori Ikeno Scan Order Optimization and Virtual Slide Stitching
US20170064203A1 (en) * 2015-08-31 2017-03-02 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN106780579A (zh) * 2017-01-17 2017-05-31 华中科技大学 一种超大规模图像特征点匹配方法及系统
CN111095351A (zh) * 2017-09-14 2020-05-01 株式会社日立高新技术 电荷粒子显微镜装置和广角图像生成方法
US20200411345A1 (en) * 2019-06-26 2020-12-31 Hitachi High-Tech Corporation Wafer observation apparatus and wafer observation method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6389179B1 (en) * 1996-05-28 2002-05-14 Canon Kabushiki Kaisha Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
US20070081081A1 (en) * 2005-10-07 2007-04-12 Cheng Brett A Automated multi-frame image capture for panorama stitching using motion sensor
JP6419761B2 (ja) 2016-09-05 2018-11-07 株式会社Screenホールディングス 撮像配置決定方法、撮像方法、および撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087550A (ja) * 2001-09-12 2003-03-20 Sanyo Electric Co Ltd 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US20130077892A1 (en) * 2011-09-27 2013-03-28 Yasunori Ikeno Scan Order Optimization and Virtual Slide Stitching
US20170064203A1 (en) * 2015-08-31 2017-03-02 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN106780579A (zh) * 2017-01-17 2017-05-31 华中科技大学 一种超大规模图像特征点匹配方法及系统
CN111095351A (zh) * 2017-09-14 2020-05-01 株式会社日立高新技术 电荷粒子显微镜装置和广角图像生成方法
US20200411345A1 (en) * 2019-06-26 2020-12-31 Hitachi High-Tech Corporation Wafer observation apparatus and wafer observation method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄灵操;满旺;黄文超;朱晓铃;: "一种基于SiftGPU的遥感影像匹配方法", 测绘科学, no. 10, pages 24 - 29 *

Also Published As

Publication number Publication date
US20220292721A1 (en) 2022-09-15
JP2022138269A (ja) 2022-09-26
EP4057620A1 (en) 2022-09-14

Similar Documents

Publication Publication Date Title
CN109417602B (zh) 图像处理方法、图像处理装置、摄像装置及摄像方法
US7978898B2 (en) Image acquiring apparatus, image acquiring method, and image acquiring program
EP2916160B1 (en) Image acquisition device and method for focusing image acquisition device
US20120002032A1 (en) Information processing apparatus, stage-undulation correcting method, program therefor
US20080187208A1 (en) Virtual slide generation device, virtual slide generation method, virtual slide generation program product and virtual slide generation program transmission medium
EP1830218B1 (en) Image acquiring apparatus, image acquiring method, and image acquiring program
US20130063585A1 (en) Information processing apparatus, information processing method, and program
WO2013031077A1 (ja) 情報処理システム及び情報処理方法
JP2007233093A (ja) 画像取得装置、画像取得方法、及び画像取得プログラム
JP2016071117A (ja) 撮像装置および撮像方法
US20130077892A1 (en) Scan Order Optimization and Virtual Slide Stitching
WO2008118886A1 (en) Digital microscope slide scanning system and methods
JP5307221B2 (ja) 画像取得装置及び画像取得装置のフォーカス方法
JP7037262B2 (ja) デジタルスライドスキャナのモデル化のスピードアップ方法
CN112505910A (zh) 用显微镜拍摄试样图像的方法、系统、设备及介质
CN115086544A (zh) 拍摄方法及装置、位置偏移量计算方法、程序、记录介质
GB2531189A (en) Method for creating a microscope image for operating a mictroscope
US11317014B2 (en) Image pickup apparatus, image correction method, and medium storing program
CN110958380B (zh) 图像处理方法及图像处理装置
JP2018040569A (ja) 撮像配置決定方法、撮像方法、および撮像装置
US8164058B2 (en) Specimen observation method
US20150156396A1 (en) Image capturing apparatus and focusing method thereof
JP4833743B2 (ja) 画像モンタージュ処理によるステージ動作補正方法
JP2016173511A (ja) 画像取得装置、及びそれを用いた画像取得方法
US9971140B2 (en) Image capturing apparatus and focusing method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination