CN108347577B - 一种成像系统和方法 - Google Patents
一种成像系统和方法 Download PDFInfo
- Publication number
- CN108347577B CN108347577B CN201810112342.0A CN201810112342A CN108347577B CN 108347577 B CN108347577 B CN 108347577B CN 201810112342 A CN201810112342 A CN 201810112342A CN 108347577 B CN108347577 B CN 108347577B
- Authority
- CN
- China
- Prior art keywords
- scale
- image
- resolution
- camera
- scale image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4092—Image resolution transcoding, e.g. client/server architecture
Abstract
本发明实施例公开了一种成像系统和方法，其中，成像系统包括：第一尺度相机、第二尺度相机和图像处理模块；其中，第一尺度相机，用于实时获取具有第一分辨率的第一尺度图像；第二尺度相机，用于获取与当前第一尺度图像中的目标区域相对应的具有第二分辨率的第二尺度图像；图像处理模块，用于基于第一预设算法，利用当前第一尺度图像和第二尺度图像，获得具有第三分辨率的第三尺度图像；其中，第一分辨率低于第二分辨率。本发明实施例克服了现有需要通过使用多个相机或增加图像传感器的尺寸来获取高分辨大视场图像或视频的不足，实现了简单、快速的获取高分辨率大视场的图像序列。
Description
技术领域
本发明实施例涉及计算视觉技术领域，尤其涉及一种成像系统和方法。
背景技术
随着相机产业的发展和现代人工智能相关技术的进一步发展，计算视觉领域无论是在视频采集还是在视频目标识别的性能上和数据规模上都取得了巨大的突破。然而，现有的图像识别技术仍受限于图像的清晰程度与视频数据的质量。
现有的提高图像和视频分辨率的方法，主要包括简单增加相机数目或增加图像传感器的尺寸两种。然而，上述方法通常需要增加设备成本，并且还需要额外借助校正和拼接技术来实现最终图像或视频的获取；此外，简单增加相机数目也将显著增加系统的重量和体积，不方便系统的部署与移动。
发明内容
本发明提供一种成像系统和方法，以实现简单、快速的获取大视场范围内的高分辨率图像序列。
第一方面，本发明实施例提供了一种成像系统，该系统包括：第一尺度相机、第二尺度相机和图像处理模块；其中，
所述第一尺度相机，用于实时获取具有第一分辨率的第一尺度图像；
所述第二尺度相机，用于获取与当前第一尺度图像中的目标区域相对应的具有第二分辨率的第二尺度图像；
所述图像处理模块，用于基于第一预设算法，利用所述当前第一尺度图像和所述第二尺度图像，获得具有第三分辨率的第三尺度图像；
其中，所述第一分辨率低于所述第二分辨率。
第二方面，本发明实施例还提供了一种成像方法，该方法包括：
控制第一尺度相机实时获取具有第一分辨率的第一尺度图像；
控制第二尺度相机获取与当前第一尺度图像中的目标区域相对应的具有第二分辨率的第二尺度图像；
基于第一预设算法，利用所述当前第一尺度图像和所述第二尺度图像，获得具有第三分辨率的第三尺度图像；
其中，所述第一分辨率低于所述第二分辨率。
本发明实施例提供的成像系统和方法，通过使用两个不同尺度的相机分别获取低分辨率大视场的图像序列和高分辨率窄视场的图像序列，并基于第一预设算法，利用图像处理模块获取具有高分辨率大视场的图像序列，克服了现有需要通过使用多个相机或增加图像传感器的尺寸来获取高分辨大视场图像或视频的不足，实现了简单、快速的获取高分辨率大视场的图像序列。
附图说明
下面将通过参照附图详细描述本发明的示例性实施例，使本领域的普通技术人员更清楚本发明的上述及其他特征和优点，附图中：
图1是本发明实施例一中的成像系统的结构示意图；
图2是本发明实施例二中的成像系统的结构示意图；
图3是本发明实施例三中的成像方法的流程图；
图4是本发明实施例四中的成像方法的流程图；
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种成像系统的结构示意图，如图1所示，该成像系统包括：第一尺度相机110、第二尺度相机120和图像处理模块130。
其中，第一尺度相机110为大尺度宽视场低分辨率相机，第二尺度相机120为小尺度窄视场高分辨率相机。本实施例中，第一尺度相机110所在的拍摄位置一旦确定，就固定不变，其用于实时获取具有第一分辨率的第一尺度图像；第二尺度相机120所在的拍摄位置根据所要拍摄的实际场景的改变而实时变化，用于获取与当前第一尺度图像中的目标区域相对应的具有第二分辨率的第二尺度图像。在此需要说明的是，第一尺度相机的安装可以保证能够充分利用其视场角，以获取足够宽视场的图像。
其中，尺度相当于相机的视场范围，如果相机是宽视场相机，则相机的尺度为大尺度，如果相机是窄视场相机，则相机的尺度为小尺度。本实施例中，第一尺度图像的尺度大于第二尺度图像的尺度，第一分辨率低于第二分辨率，即第一分辨率的第一尺度图像为低分辨率大尺度宽视场的图像，第二分辨率的第二尺度图像为高分辨率小尺度窄视场的图像。第二尺度图像对应的实际场景与第一尺度图像中的目标区域对应的实际场景相同，第一尺度相机110实时获取低分辨率大尺度宽视场的图像，第一尺度相机110每获取一张低分辨率大尺度宽视场的图像，第二尺度相机120就会同步的获取一张与第一尺度相机110当前获取到的图像中的目标区域相对应的高分辨率小尺度窄视场的图像。
本实施例中，图像处理模块130可以采用图像超分辨技术，利用第一尺度相机获取的低分辨率宽视场图像和第二尺度相机获取的高分辨率窄视场的图像，实现在视角差异容许范围内的高分辨率宽视场图像的恢复。其中，高分辨率宽视场图像对应第三分辨率，第三分辨率大于第一分辨率，小于或等于第二分辨率；高分辨率宽视场图像对应第三尺度，第三尺度等于第一尺度。具体的，图像处理模块可以基于第一预设算法，利用当前低分辨率宽视场图像和相对应的高分辨率窄视场图像，获得具有高分辨率的宽视场图像。其中，第一预设算法可以是神经网络模型、投影法等。
本实施例提供的成像系统，通过使用两个不同尺度的相机分别获取低分辨率大视场的图像序列和高分辨率窄视场的图像序列，并基于第一预设算法，利用图像处理模块获取具有高分辨率大视场的图像序列，克服了现有需要通过使用多个相机或增加图像传感器的尺寸来获取高分辨大视场图像或视频的不足，实现了简单、快速的获取高分辨率大视场的图像序列。
在上述各实施例的基础上，进一步的，图像处理模块130具体用于：
将当前第一尺度图像和第二尺度图像作为预先训练的深度卷积神经网络模型的输入，输出具有第三分辨率的第三尺度图像。
本实施例中，用于获取高分辨率宽视场图像的第一预设算法可以是神经网络模型中的深度卷积神经网络模型，将第一尺度相机110获取的低分辨率宽视场图像和第二尺度相机120获取的相对应的高分辨率窄视场图像，作为预先训练的深度卷积神经网络模型的输入，即可输出高分辨率宽视场的图像。深度卷积神经网络模型可以对低分辨率宽视场图像进行有效的关键特征提取，恢复出低分辨率宽视场图像的高频信息，从而实现在视角差异容许范围内的高分辨率宽视场图像的恢复。
在此需要说明的是，在实际应用过程中，仅利用一次图像超分辨技术，处理获得的高分辨率窄视场图像的分辨率可能并不理想。因此，可以在获取到整个图像序列后，对整个视频进行离线多次迭代图像超分辨处理，即可获得理想的高分辨率宽视场的图像和视频。
进一步的，在获取第二尺度图像时，第二尺度相机120的位置与第一尺度相机110的位置之间的直线距离小于或等于预设阈值，以使第一尺度相机110与第二尺度相机120的视角差值在预设视角差值范围内。
本实施例中，为了最大限度的减少第一尺度相机110和第二尺度相机120之间的视角差，可以将第二尺度相机120的位置与第一尺度相机110的位置之间的直线距离设定在预设阈值范围内，以使第二尺度相机120获取的高分辨率窄视场图像对应的实际场景，能够与第一尺度相机110获取的低分辨率宽视场图像的目标区域对应的实际场景相吻合。
示例性的，在实际应用过程中，常规步骤可以是先利用第一尺度相机110获取其视场范围内的低分辨率大尺度宽视场的图像，在快速确定该图像中的目标区域之后，再利用第二尺度相机120同步获取与当前低分辨率大尺度宽视场的图像中的目标区域相对应的高分辨率小尺度窄视场的图像，最后利用第一预设算法获得具有高分辨率的宽视场图像。还可以在利用第一尺度相机110获取其视场范围内的低分辨率大尺度宽视场的图像之前，首先利用第二尺度相机120扫描第一尺度相机110的视场范围内的所有实际场景，以获取高分辨率宽视场图像中的高分辨率背景信息，然后再利用常规步骤获取实际场景中目标物体的相应图像信息，最终获得具有高分辨率的宽视场图像。
实施例二
图2为本发明实施例二提供的一种成像系统的结构示意图，本实施例在上述各实施例的基础上，对成像系统进行进一步优化。如图2所示，该系统具体包括：第一尺度相机210、第二尺度相机220、图像处理模块230、云台控制模块240和云台250。
其中，第一尺度相机210，用于实时获取具有第一分辨率的第一尺度图像；第二尺度相机220，用于获取与当前第一尺度图像中的目标区域相对应的具有第二分辨率的第二尺度图像；图像处理模块230，用于基于第一预设算法，利用当前第一尺度图像和第二尺度图像，获得具有第三分辨率的第三尺度图像；云台控制模块240用于计算第二尺度相机220在获取第二尺度图像时需要的移动方位角和移动距离；云台250上安装有第二尺度相机220，用于控制第二尺度相机220按照云台控制模块240反馈的移动方位角和移动距离移动至相应的拍摄位置。
具体的，云台控制模块240包括：目标区域确定单元，用于根据第二预设算法确定当前第一尺度图像中的目标区域；移动信息确定单元，用于根据目标区域在实际场景中对应的位置确定第二尺度相机220的移动方位角和移动距离，并反馈至云台250。
其中，目标区域确定单元可以根据第二预设算法将当前第一尺度图像中预设目标物体的实时位置作为目标区域，也可以根据第二预设算法将当前第一尺度图像中运动程度最为剧烈的物体的实时位置作为目标区域。在目标区域确定单元确定目标区域之后，移动信息确定单元可以结合第二尺度相机220在当前时刻所在的位置以及目标区域在实际场景中对应的位置，计算第二尺度相机220获取到该对应位置的第二尺度图像所需要的移动方位角和移动距离，并反馈至云台250。云台250接收到移动信息确定单元反馈的移动方位角和移动距离，根据该移动方位角和移动距离控制第二尺度相机220移动至相应的拍摄位置。
本实施例中，可以选用运动时速度快、停止时相对稳定的云台250，以保证第二尺度相机220的扫描速度和拍摄精度；同时，还可以使云台250的移动范围大于第一尺度相机210的全视场范围，以使第二尺度相机220通过云台250的带动，能够拍摄到第一尺度相机210全视场范围内的所有实际场景。
本实施例提供的成像系统，通过使用两个不同尺度的相机分别获取低分辨率大视场的图像序列和高分辨率窄视场的图像序列，并利用图像处理模块获取具有高分辨率大视场的图像序列，克服了现有需要通过使用多个相机或增加图像传感器的尺寸来获取高分辨大视场图像或视频的不足，实现了简单、快速的获取高分辨率大视场的图像序列；同时利用云台控制模块控制云台移动窄视场高分辨率相机，使得窄视场高分辨率相机能够快速、稳定且精准的移动到拍摄位置，以获取高分辨率窄视场的图像序列。
在上述各实施例的基础上，进一步的，目标区域确定单元包括：图像分块子单元、权值计算子单元和目标区域确定子单元。
图像分块子单元，用于对当前第一尺度图像进行分块处理，得到至少两个不同区域。
其中，图像分块子单元可以基于图像分块方法，根据实际需要，将第一尺度图像分成相同大小、不同大小或任意数量的区域。针对每个小区域，再进行后续处理。
权值计算子单元，用于针对每个区域，计算该区域的有效贡献权值与代价函数权值，并计算有效贡献权值与代价函数权值的和，得到该区域的最终权值，其中，有效贡献权值用于正面反馈区域的重要程度，代价函数权值用于负面反馈区域的重要程度。
本实施例中，权值计算子单元可以利用第二预设算法，计算第一尺度图像中每个小区域的表示区域重要程度的最终权值。具体的，第二预设算法的表达式如下：
Finterest＝Ggain+wCcost
其中，Finterest为最终权值，Ggain为对应区域的有效贡献权值，用于正面反馈该区域的重要程度，该有效贡献权值可以包含目标的运动剧烈程度、重点目标出现频率、图像在频域上的复杂程度等相关核心高分辨率信息源；Ccost为相机拍摄对应区域的代价函数权值，用于负面反馈该区域的重要程度，该代价函数权值可以包含相机方位移动损耗、邻域高频信息损失、与当前拍摄方位的距离等相关代价信息；w为权重，该权重最佳值可以依据实验数据获得。
目标区域确定子单元，用于确定至少两个不同区域中最终权值最高的区域为目标区域。
本实施例中，目标区域确定子单元通过比较权值确定子单元计算出的各个不同区域对应的最终权值，确定最终权值最高的区域为目标区域。
进一步的，云台控制模块240可以基于图形处理单元(Graphics ProcessingUnit，GPU)实现。
本实施例中，由于第二尺度相机220获取的第二尺度图像，与第一尺度相机210获取的当前第一尺度图像的目标区域相对应，因此，在第一尺度相机210获取到下一帧第一尺度图像之前的短暂时间段内，第二尺度相机220已经获取到与当前第一尺度图像的目标区域相对应的第二尺度图像。基于此，可以采用GPU作为云台控制模块240，以使云台控制模块240能够快速计算出第二尺度相机220的移动方位角和移动方向，并迅速反馈至云台250。
进一步的，所述成像系统可以集成于无人机或无人车中。具体的，成像系统可以包括支撑底座，支撑底座用于承载第一尺度相机210、第二尺度相机220、图像处理模块230、云台控制模块240和云台250。此外，还可以通过移动支撑底座，来获取更大视场范围内的高分辨率的图像或视频。例如：将成像系统集成于无人机或无人车中，其中，无人机或无人车等设备上的移动平台可以作为该成像系统的支撑底座，在移动平台的带动下，上述各实施例提供的成像系统能够在移动平台允许的各个移动视角上进行相应的拍摄。
实施例三
图3为本发明实施例三提供的一种成像方法的流程图，该方法适用于需要获取高分辨率大视场的图像或视频的情况，该方法可以由成像系统来执行。如图3所示，该方法具体包括：
S310、控制第一尺度相机实时获取具有第一分辨率的第一尺度图像。
其中，尺度相当于相机的视场范围，如果相机是宽视场相机，则相机的尺度为大尺度，如果相机是窄视场相机，则相机的尺度为小尺度。
本实施例中，第一尺度相机为大尺度宽视场低分辨率相机，其用于实时获取具有第一分辨率的第一尺度图像，其中，第一分辨率的第一尺度图像为低分辨率大尺度宽视场图像。第一尺度相机所在的拍摄位置一旦确定，就固定不变，并且第一尺度相机的安装需保证能够充分利用其视场角，以获取足够宽视场的图像。
S320、控制第二尺度相机获取与当前第一尺度图像中的目标区域相对应的具有第二分辨率的第二尺度图像。
本实施例中，第二尺度相机为小尺度窄视场高分辨率相机，用于获取与当前第一尺度图像中的目标区域相对应的具有第二分辨率的第二尺度图像。第二尺度相机所在的拍摄位置根据所要拍摄的实际场景的改变而实时变化。
其中，第二尺度图像的尺度小于第一尺度图像的尺度，第二分辨率高于第一分辨率。即第一分辨率的第一尺度图像为低分辨率大尺度宽视场的图像，第二分辨率的第二尺度图像为高分辨率小尺度窄视场的图像。第二尺度图像对应的实际场景与第一尺度图像中的目标区域对应的实际场景相同，第一尺度相机实时获取低分辨率大尺度宽视场的图像，第一尺度相机每获取一张低分辨率大尺度宽视场的图像，第二尺度相机就会同步的获取一张与第一尺度相机当前获取到的图像中的目标区域相对应的高分辨率小尺度窄视场的图像。
S330、基于第一预设算法，利用当前第一尺度图像和第二尺度图像，获得具有第三分辨率的第三尺度图像。
其中，可以采用图像超分辨技术，利用第一尺度相机获取的低分辨率宽视场图像和第二尺度相机获取的高分辨率窄视场的图像，实现在视角差异容许范围内的高分辨率宽视场图像的恢复。其中，高分辨率宽视场图像对应第三分辨率，第三分辨率大于第一分辨率，小于或等于第二分辨率；高分辨率宽视场图像对应第三尺度，第三尺度等于第一尺度。具体的，可以基于第一预设算法，利用当前低分辨率宽视场图像和相对应的高分辨率窄视场图像，获得具有高分辨率的宽视场图像。其中，第一预设算法可以是神经网络模型、投影法等。
本实施例提供的成像方法，通过使用两个不同尺度的相机分别获取低分辨率大视场的图像序列和高分辨率窄视场的图像序列，并基于第一预设算法，获取具有高分辨率大视场的图像序列，克服了现有需要通过使用多个相机或增加图像传感器的尺寸来获取高分辨大视场图像或视频的不足，实现了简单、快速的获取高分辨率大视场的图像序列。
在上述各实施例的基础上，进一步的，基于第一预设算法，利用当前第一尺度图像和第二尺度图像，获得具有第三分辨率的第三尺度图像，包括：
基于预先训练的深度卷积神经网络模型，将当前第一尺度图像和第二尺度图像作为深度卷积神经网络模型的输入，输出具有第三分辨率的第三尺度图像。
本实施例中，用于获取高分辨率宽视场图像的第一预设算法可以是神经网络模型中的深度卷积神经网络模型，将第一尺度相机获取的低分辨率宽视场图像和第二尺度相机获取的相对应的高分辨率窄视场图像，作为预先训练的深度卷积神经网络模型的输入，即可输出高分辨率宽视场的图像。深度卷积神经网络模型可以对低分辨率宽视场图像进行有效的关键特征提取，恢复出低分辨率宽视场图像的高频信息，从而实现在视角差异容许范围内的高分辨率宽视场图像的恢复。
在此需要说明的是，在实际应用过程中，仅利用一次图像超分辨技术，处理获得的高分辨率窄视场图像的分辨率可能并不理想。因此，可以在获取到整个图像序列后，对整个视频进行离线多次迭代图像超分辨处理，即可获得理想的高分辨率宽视场的图像和视频。
实施例四
图4为本发明实施例四提供的一种成像方法的流程图，本实施例在上述各实施例的基础上进一步优化。如图4所示，该方法具体包括：
S410、控制第一尺度相机实时获取具有第一分辨率的第一尺度图像。
S420、根据第二预设算法确定当前第一尺度图像中的目标区域。
示例性的，可以根据第二预设算法将当前第一尺度图像中预设目标物体的实时位置作为目标区域，也可以根据第二预设算法将当前第一尺度图像中运动程度最为剧烈的物体的实时位置作为目标区域。
S430、根据目标区域在实际场景中对应的位置确定第二尺度相机的移动方位角和移动距离。
本实施例中，在确定目标区域之后，可以结合第二尺度相机在当前时刻所在的位置以及目标区域在实际场景中对应的位置，计算第二尺度相机获取到该对应位置的第二尺度图像所需要的移动方位角和移动距离，并反馈至云台。
S440、根据移动方位角和移动距离控制移动第二尺度相机。
其中，云台接收到移动方位角和移动距离，根据该移动方位角和移动距离控制第二尺度相机移动至相应的拍摄位置。
S450、控制第二尺度相机获取与当前第一尺度图像中的目标区域相对应的具有第二分辨率的第二尺度图像。
S460、基于第一预设算法，利用当前第一尺度图像和第二尺度图像，获得具有第三分辨率的第三尺度图像。
本实施例提供的成像方法，通过使用两个不同尺度的相机分别获取低分辨率大视场的图像序列和高分辨率窄视场的图像序列，并基于第一预设算法，获取具有高分辨率大视场的图像序列，克服了现有需要通过使用多个相机或增加图像传感器的尺寸来获取高分辨大视场图像或视频的不足，实现了简单、快速的获取高分辨率大视场的图像序列；同时利用云台控制模块控制云台移动窄视场高分辨率相机，使得窄视场高分辨率相机能够快速、稳定且精准的移动到拍摄位置，以获取高分辨率窄视场的图像序列。
在上述各实施例的基础上，进一步的，根据第二预设算法确定当前第一尺度图像中的目标区域，包括：
1)对当前第一尺度图像进行分块处理，得到至少两个不同区域。
其中，可以基于图像分块方法，根据实际需要，将第一尺度图像分成相同大小、不同大小或任意数量的区域。针对每个小区域，再进行后续处理。
2)针对每个区域，计算该区域的有效贡献权值与代价函数权值，并计算有效贡献权值与代价函数权值的和，得到该区域的最终权值，其中，有效贡献权值用于正面反馈区域的重要程度，代价函数权值用于负面反馈区域的重要程度。
本实施例中，权值计算子单元可以利用第二预设算法，计算第一尺度图像中每个小区域的表示区域重要程度的最终权值。具体的，第二预设算法的表达式如下：
Finterest＝Ggain+wCcost
其中，Finterest为最终权值，Ggain为对应区域的有效贡献权值，用于正面反馈该区域的重要程度，该有效贡献权值可以包含目标的运动剧烈程度、重点目标出现频率、图像在频域上的复杂程度等相关核心高分辨率信息源；Ccost为相机拍摄对应区域的代价函数权值，用于负面反馈该区域的重要程度，该代价函数权值可以包含相机方位移动损耗、邻域高频信息损失、与当前拍摄方位的距离等相关代价信息；w为权重，该权重最佳值可以依据实验数据获得。
3)确定至少两个不同区域中最终权值最高的区域为目标区域。
本实施例中，可以通过计算出的各个不同区域对应的最终权值，确定最终权值最高的区域为目标区域。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (7)
1.一种成像系统，其特征在于，包括：第一尺度相机、第二尺度相机、图像处理模块、云台和云台控制模块；其中，
所述第一尺度相机，用于实时获取具有第一分辨率的第一尺度图像；
所述第二尺度相机，用于获取与当前第一尺度图像中的目标区域相对应的具有第二分辨率的第二尺度图像；
其中，所述第一尺度相机与所述第二相机的数量均一个；
所述图像处理模块，用于基于第一预设算法，利用所述当前第一尺度图像和所述第二尺度图像，获得具有第三分辨率的第三尺度图像；
其中，所述第一分辨率低于所述第二分辨率，所述图像处理模块具体用于：
将所述当前第一尺度图像和所述第二尺度图像作为预先训练的深度卷积神经网络模型的输入，输出具有第三分辨率的第三尺度图像；
所述云台控制模块包括：
目标区域确定单元，用于根据第二预设算法确定所述当前第一尺度图像中的所述目标区域；
移动信息确定单元，用于根据所述目标区域在实际场景中对应的位置确定所述第二尺度相机的移动方位角和移动距离，并反馈至所述云台；
所述云台上安装有所述第二尺度相机，所述云台用于按照所述云台控制模块反馈的所述移动方位角和所述移动距离移动所述第二尺度相机。
2.根据权利要求1所述的成像系统，其特征在于，所述目标区域确定单元包括：
图像分块子单元，用于对所述当前第一尺度图像进行分块处理，得到至少两个不同区域；
权值计算子单元，用于针对每个区域，计算所述区域的有效贡献权值与代价函数权值，并计算所述有效贡献权值与所述代价函数权值的和，得到所述区域的最终权值，其中，所述有效贡献权值用于正面反馈所述区域的重要程度，所述代价函数权值用于负面反馈所述区域的重要程度；
目标区域确定子单元，用于确定所述至少两个不同区域中最终权值最高的区域为所述目标区域。
3.根据权利要求1所述的成像系统，其特征在于，在获取所述第二尺度图像时，所述第二尺度相机的位置与所述第一尺度相机的位置之间的直线距离小于或等于预设阈值，以使所述第一尺度相机与所述第二尺度相机的视角差值在预设视角差值范围内。
4.根据权利要求1所述的成像系统，其特征在于，所述云台控制模块基于图形处理单元GPU实现。
5.根据权利要求1所述的成像系统，其特征在于，所述成像系统集成于无人机或无人车中。
6.一种成像方法，其特征在于，所述方法包括：
控制第一尺度相机实时获取具有第一分辨率的第一尺度图像；
控制第二尺度相机获取与当前第一尺度图像中的目标区域相对应的具有第二分辨率的第二尺度图像；
其中，所述第一尺度相机与所述第二相机的数量均一个；
基于第一预设算法，利用所述当前第一尺度图像和所述第二尺度图像，获得具有第三分辨率的第三尺度图像；
其中，所述第一分辨率低于所述第二分辨率，所述基于第一预设算法，利用所述当前第一尺度图像和所述第二尺度图像，获得具有第三分辨率的第三尺度图像，包括：
基于预先训练的深度卷积神经网络模型，将所述当前第一尺度图像和所述第二尺度图像作为所述深度卷积神经网络模型的输入，输出具有第三分辨率的第三尺度图像；
其中，在控制第二尺度相机获取与当前第一尺度图像中的目标区域相对应的具有第二分辨率的第二尺度图像之前，还包括：
根据第二预设算法确定所述当前第一尺度图像中的所述目标区域；
根据所述目标区域在实际场景中对应的位置确定所述第二尺度相机的移动方位角和移动距离；
根据所述移动方位角和所述移动距离控制移动所述第二尺度相机。
7.根据权利要求6所述的方法，其特征在于，所述根据第二预设算法确定所述当前第一尺度图像中的所述目标区域，包括：
对所述当前第一尺度图像进行分块处理，得到至少两个不同区域；
针对每个区域，计算所述区域的有效贡献权值与代价函数权值，并计算所述有效贡献权值与所述代价函数权值的和，得到所述区域的最终权值，其中，所述有效贡献权值用于正面反馈所述区域的重要程度，所述代价函数权值用于负面反馈所述区域的重要程度；
确定所述至少两个不同区域中最终权值最高的区域为所述目标区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810112342.0A CN108347577B (zh) | 2018-02-05 | 2018-02-05 | 一种成像系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810112342.0A CN108347577B (zh) | 2018-02-05 | 2018-02-05 | 一种成像系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108347577A CN108347577A (zh) | 2018-07-31 |
| CN108347577B true CN108347577B (zh) | 2021-04-27 |
Family
ID=62959755
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810112342.0A Active CN108347577B (zh) | 2018-02-05 | 2018-02-05 | 一种成像系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108347577B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109167924B (zh) * | 2018-10-24 | 2021-05-11 | 清华-伯克利深圳学院筹备办公室 | 基于混合相机的视频成像方法、系统、设备及存储介质 |
| CN110375715B (zh) * | 2019-07-15 | 2020-08-21 | 哈尔滨工业大学 | 一种应用于小卫星的广域重点目标确认方法、装置及计算机存储介质 |
| CN110991306B (zh) * | 2019-11-27 | 2024-03-08 | 北京理工大学 | 自适应的宽视场高分辨率智能传感方法和系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011216948A (ja) * | 2010-03-31 | 2011-10-27 | Sony Corp | カメラシステム、映像処理装置及びカメラ装置 |
| CN106707482A (zh) * | 2017-02-28 | 2017-05-24 | 浙江大学 | 一种宽视场多尺度高分辨率显微成像系统和方法 |
| CN106934765A (zh) * | 2017-03-14 | 2017-07-07 | 长沙全度影像科技有限公司 | 基于深度卷积神经网络与深度信息的全景图像融合方法 |
| CN107464217B (zh) * | 2017-08-16 | 2020-12-29 | 清华-伯克利深圳学院筹备办公室 | 一种图像处理方法及装置 |
| CN107659774B (zh) * | 2017-09-30 | 2020-10-13 | 北京拙河科技有限公司 | 一种基于多尺度相机阵列的视频成像系统及视频处理方法 |
-
2018
- 2018-02-05 CN CN201810112342.0A patent/CN108347577B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108347577A (zh) | 2018-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105744163B (zh) | 一种基于深度信息跟踪对焦的摄像机及摄像方法 | |
| CN111881720B (zh) | 用于深度学习的数据自动增强扩充方法、识别方法及系统 | |
| CN105184784B (zh) | 基于运动信息的单目相机获取深度信息的方法 | |
| US8830357B2 (en) | Image processing device and image processing method including a blurring process | |
| CN110663246B (zh) | 用于处理图像的方法和系统 | |
| CN108347577B (zh) | 一种成像系统和方法 | |
| WO2017167116A1 (zh) | 自动对焦方法和自动对焦装置 | |
| CN105282421B (zh) | 一种去雾图像获取方法、装置及终端 | |
| CN105141841B (zh) | 摄像设备及其方法 | |
| CN110764537B (zh) | 基于运动估计和视觉跟踪的云台自动锁定系统和方法 | |
| CN105573016B (zh) | 一种自动对焦窗口调整方法及系统 | |
| CN103384998A (zh) | 摄像装置、摄像方法、程序及程序存储介质 | |
| CN111355884B (zh) | 监控方法、装置、系统、电子设备及存储介质 | |
| CN104184935B (zh) | 影像拍摄设备及方法 | |
| CN106031148B (zh) | 成像设备，成像设备中自动对焦的方法以及对应计算机程序 | |
| CN107845145B (zh) | 一种电子显微场景下的三维重构系统及方法 | |
| DE112014006097T5 (de) | Automatisches astronomisches Observationssystem und Oberservationsverfahren | |
| TW201541141A (zh) | 使用多鏡頭的自動對焦系統及其方法 | |
| IL301734A (en) | A system and method for blurring the background in an image using the movement of the camera or the movement of the object | |
| JP6570904B2 (ja) | 補正情報出力装置、画像処理装置、補正情報出力方法、撮像制御システム及び移動体制御システム | |
| JP2017072986A (ja) | 自律飛行装置、自律飛行装置の制御方法及びプログラム | |
| CN113391644B (zh) | 一种基于图像信息熵的无人机拍摄距离半自动寻优方法 | |
| CN104243796A (zh) | 摄影装置、摄影方法、模板创建装置和模板创建方法 | |
| CN103617631B (zh) | 一种基于中心检测的跟踪方法 | |
| KR101321974B1 (ko) | 옵티컬 플로우를 이용한 이동물체 영상합성 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221201 Address after: 518000 2nd floor, building a, Tsinghua campus, Shenzhen University Town, Xili street, Nanshan District, Shenzhen City, Guangdong Province Patentee after: Shenzhen International Graduate School of Tsinghua University Address before: 518000 Nanshan Zhiyuan 1001, Xue Yuan Avenue, Nanshan District, Shenzhen, Guangdong. Patentee before: TSINGHUA-BERKELEY SHENZHEN INSTITUTE |