CN115345777A - 用于成像的方法、装置和计算机可读介质 - Google Patents

用于成像的方法、装置和计算机可读介质 Download PDF

Info

Publication number
CN115345777A
CN115345777A CN202110522201.8A CN202110522201A CN115345777A CN 115345777 A CN115345777 A CN 115345777A CN 202110522201 A CN202110522201 A CN 202110522201A CN 115345777 A CN115345777 A CN 115345777A
Authority
CN
China
Prior art keywords
image
resolution
region
interest
bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110522201.8A
Other languages
English (en)
Inventor
胡雪梅
邱晨曦
王凯
岳涛
闫锋
潘红兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202110522201.8A priority Critical patent/CN115345777A/zh
Priority to EP22806853.2A priority patent/EP4325426A1/en
Priority to JP2023570254A priority patent/JP2024519349A/ja
Priority to PCT/CN2022/092615 priority patent/WO2022237891A1/zh
Publication of CN115345777A publication Critical patent/CN115345777A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

提出了用于成像的方法、装置和计算机可读介质。所述方法包括：针对目标视场以第一分辨率进行拍摄和量化，以得到具有第一位宽的第一图像；针对所述目标视场以第二分辨率进行拍摄和差分处理，以得到具有第二位宽的第二图像，其中所述差分处理包括：针对以第二分辨率拍摄的像素点，对所述像素点与所述像素点的相邻或相近像素点之间的差进行量化，以得到经量化的差作为第二图像中相应像素点的值；以及将第一图像与第二图像进行融合，以得到第三图像，其中，第一分辨率低于第二分辨率，并且第一位宽高于第二位宽。

Description

用于成像的方法、装置和计算机可读介质
技术领域
本发明涉及用于成像的方法、装置和计算机可读介质，更具体地，涉及一种用于超大规模像素实时成像的方法、装置和计算机可读介质。
背景技术
现有的能够得到超大规模像素(例如，通常是指上亿像素)的成像方案有以下几种：(1)通过超分辨率技术实现，超分辨率技术通过传统的插值的算法或基于神经网络的图像恢复算法对低分辨率图像放大一定的倍数，以增加图像的分辨率，然而由于采集过程中信息的丢失，使得恢复出来的图像过于平滑或者有假纹理(尤其是放大倍数过大时)，从而导致最终成像效果不佳；(2)通过拍摄多张低分辨率的部分图像并用它们拼接成超大规模像素的完全图像，这种系统通常具有体积大、重量重和电路设计复杂等特点；(3)单芯片超大规模像素成像，这种系统能够通过单个传感芯片拍摄超大规模像素图像，但是其存在读取速度慢、数据量大的问题，无法实时采集、传输视频。上述方法都是直接采集图像域的信息，并且由于相关的数据量大而导致采集和传输时间较长，而无法实现实时拍摄视频。
发明内容
技术问题
本发明的目的是提供可快速乃至实时拍摄超大规模像素图像的方法、装置以及计算机可读介质。
技术方案
为克服以上技术背景中存在的技术问题，发展可用于超大规模像素图像的拍摄和处理技术，根据本发明的一个方面，提出了一种新型的图像采集和融合技术。该技术通过针对目标视场采集两种不同分辨率且不同位宽的图像(例如，高分辨率低位宽差分图像和低分辨率高位宽图像)，并针对这两种图像中的感兴趣区域利用图像融合算法进行融合以用于更新该目标视场的完全图像，从而快速且高效地得到该目标视场的清晰的、超大规模像素的完全图像。
根据一个实施例，可以利用差分图像(相对于帧内而言)的稀疏特性来对采集的高分辨率低位宽差分图像进行压缩编码，从而大大降低图像的数据量，提升读取速度，降低传输带宽，并且有助于实现超大规模像素图像的实时采集。
根据一个实施例，还可以使用基于卷积神经网络的图像融合算法，将高分辨率低位宽差分图像与低分辨率高位宽图像进行融合重建。
根据一个实施例，还可以对采集到的图像使用图像识别方法，例如，针对采集到的图像，基于形态和/或动态特征等来判定和识别其中所包括的感兴趣区域，并且有选择地输出感兴趣区域的形态和动态特征。
根据本发明的一个方面，本发明提出了一种用于成像的方法，还包括：针对目标视场以第一分辨率进行拍摄和量化，以得到具有第一位宽的第一图像；针对所述目标视场以第二分辨率进行拍摄和差分处理，以得到具有第二位宽的第二图像，其中所述差分处理包括：针对以第二分辨率拍摄的像素点，对所述像素点与所述像素点的相邻或相近像素点之间的差进行量化，以得到经量化的差作为第二图像中相应像素点的值；以及将第一图像与第二图像进行融合，以得到第三图像，其中，第一分辨率低于第二分辨率，并且第一位宽高于第二位宽。
根据一个实施例，将第一图像与第二图像进行融合以得到第三图像还包括：使用图像识别方法来确定第二图像中的所述目标视场的感兴趣区域；获得第一图像中与所述感兴趣区域相对应的相应区域；以及将第一图像的所述相应区域与第二图像的所述感兴趣区域进行融合，以得到第三图像。
根据一个实施例，针对以第二分辨率拍摄的像素点，对所述像素点与所述像素点的相邻或相近像素点之间的差进行量化包括：将所述差量化到选定的数组。
根据一个实施例，所述数组是{-1，0，+1}。这样，可以用极小的比特数，即最节省的数据资源，来存储、处理和传输图像数据。
根据一个实施例，也可以将所述像素点的值分为五个等级，例如用两个阈值，在正负两个方向上对像素点值进行比较。例如，所述数组是{-2，-1，0，+1，+2}。这种五值数组的方案比三值数组的方案更有利于识别和融合，尤其是更有利于对感兴趣区域进行实时且精确的识别和定位。
根据一个实施例，还可以将所述像素点的值分为四个等级，例如用两个阈值，在正负两个方向上对像素点值进行比较。例如，所述数组{-2，-1，0，+1}或{-1，0，+1，+2}。使用这种四值数组的方案，只需用2个比特来表示像素点值。
根据本发明的实施例，第一图像所对应的目标视场与第二图像所对应的目标视场相同。在实际中，二者通常存在时间和/或空间上的差异。这是由于拍摄两个图像的地点和时间可能有细小的差别，使得两个目标视场不一定完全重合。但是，只要二者彼此重合的区域为图像实用的主要部分，或者都涵盖了感兴趣区域，就可以认为二者为相同或相当的视场。即，所拍摄的时间和/或空间差异在可容忍范围内的视场可以视为相同视场。
根据一个实施例，所述方法还包括，在进行融合之前，对第二图像进行编码以进行传输，并且在所述传输之后对第二图像进行解码以用于融合。
根据一个实施例，第二图像是使用游程编码来进行编码的，其中，将第二图像的比特序列编码成一个记录重复数据的重复次数的计数序列L和一个记录重复数据本身的数据序列D。
根据一个实施例，使用霍夫曼编码来记录所述计数序列L，使用固定长度编码来记录所述数据序列D。
根据一个实施例，将第一图像与第二图像进行融合包括：使用卷积神经网络来融合第一图像与第二图像。
根据一个实施例，使用图像识别方法来确定第二图像中的所述目标视场的感兴趣区域包括：结合在特定时间范围内针对所述目标视场拍摄的图像或先前存储的针对所述目标视场拍摄的图像来确定所述感兴趣区域。
根据一个实施例，所述方法还包括，使用深度学习来训练所述图像识别方法，其中，基于选定目标、拍摄时的空间条件以及人工标注，使用深度学习来训练所述图像识别方法。
根据一个实施例，将所述感兴趣区域与所述相应区域进行融合以得到第三图像还包括：仅当所述感兴趣区域包括特定对象时将所述感兴趣区域与所述相应区域进行融合以得到第三图像。
根据一个实施例，所述方法还包括，在融合之后输出第三图像，或者在用第三图像更新完全图像之后输出更新后的完全图像。
根据一个实施例，可以制造实施本发明的方法的相机或摄像机。
对于感兴趣区域的发现和上报，如果限于系统特别是硬件的能力，则实时的图像上报也许是困难的。作为一种有益的改进，本发明的相机或摄像机可以在发现感兴趣区域包括特定对象时，对感兴趣区域进行提取，并将其进行上报，以更好地满足实时性的要求。
根据本发明的另一个方面，本发明还提出了一种用于成像的装置，包括：图像拍摄组件，被配置为针对目标视场以第一分辨率进行拍摄和量化，以得到具有第一位宽的第一图像；以及针对所述目标视场以第二分辨率进行拍摄和差分处理，以得到具有第二位宽的第二图像，其中所述差分处理包括：针对以第二分辨率拍摄的像素点，对所述像素点与所述像素点的相邻或相近像素点之间的差进行量化，以得到经量化的差作为第二图像中相应像素点的值；以及数据处理组件，耦接到所述图像拍摄组件并且被配置为将第一图像与第二图像进行融合，以得到第三图像，其中，第一分辨率低于第二分辨率，并且第一位宽高于第二位宽。
根据一个实施例，将第一图像与第二图像进行融合以得到第三图像还包括：使用图像识别方法来确定第二图像中的所述目标视场的感兴趣区域；获得第一图像中与所述感兴趣区域相对应的相应区域；以及将第一图像的所述相应区域与第二图像的所述感兴趣区域进行融合，以得到第三图像。
根据一个实施例，针对以第二分辨率拍摄的像素点，对所述像素点与所述像素点的相邻或相近像素点之间的差进行量化包括：将所述差量化到选定的数组。
根据一个实施例，所述数组是{-1，0，+1}或{-2，-1，0，+1，+2}或{-2，-1，0，+1}或{-1，0，+1，+2}。
根据一个实施例，所述装置还包括编码组件和传输组件，所述编码组件耦接到所述图像拍摄组件，并且被配置为在进行融合之前，对第二图像进行编码；所述传输组件耦接到所述编码组件和所述数据处理组件，并且被配置为将编码的第二图像传输到所述数据处理组件，并且所述数据处理组件还被配置为在接收到编码的第二图像之后对所述编码的第二图像进行解码以用于融合。
根据一个实施例，所述编码组件还被配置为使用游程编码对第二图像进行编码，其中，将第二图像的比特序列编码成一个记录重复数据的重复次数的计数序列L和一个记录重复数据本身的数据序列D。
根据一个实施例，所述编码组件还被配置为使用霍夫曼编码来记录所述计数序列L，并且使用固定长度编码来记录所述数据序列D。
根据一个实施例，将第一图像与第二图像进行融合包括：使用卷积神经网络来融合第一图像与第二图像。
根据一个实施例，使用图像识别方法来确定第二图像中的所述目标视场的感兴趣区域包括：结合在特定时间范围内针对所述目标视场拍摄的图像或先前存储的针对所述目标视场拍摄的图像来确定所述感兴趣区域。
根据一个实施例，所述数据处理组件还被配置为，使用深度学习来训练所述图像识别方法，并且其中，基于选定目标、拍摄时的空间条件以及人工标注，使用深度学习来训练所述图像识别方法。
根据本发明的又一个方面，还提出了一种其上记录有程序代码的非暂时性计算机可读介质，所述程序代码在由计算机执行时执行如上所述的方法。
使用本发明的技术方案，通过降低图像采集的比特数，缩短了读取时间，有助于实现超大规模像素差分图像的实时读出；在图像融合过程中，通过进行卷积神经网络运算，可有效地提高图像的精度和可识别度，得到清晰的超大规模像素图像。此外，使用本发明优化的片上压缩编解码方案，可对图像数据进行针对性的压缩，大大降低了传输带宽，可实现实时乃至高速的图像传输。
附图说明
图1A-1B是根据本发明实施例的用于成像的方法的流程的示意图。
图2A-2B是根据本发明实施例的用于成像的方法的另一流程的示意图。
图3是根据本发明实施例的基于卷积神经网络的图像融合算法的框图。
图4A是根据本发明实施例的用于成像的装置的结构框图，图4B是根据本发明实施例的用于成像的装置的示例实施方式。
图5是根据本发明实施例的实时成像装置的结构框图。
图6是根据本发明实施例的实时成像装置的像素阵列模块的可选像素单元的示意图。
图7是根据本发明实施例的实时成像装置的像素阵列模块所使用的像素单元的示意图。
图8是根据本发明实施例的实时成像装置的像素阵列模块的可选架构的示意图。
图9是根据本发明实施例的实时成像装置的行/列驱动模块所使用的多电平移位电路。
图10是根据本发明实施例的实时成像装置的行/列译码模块的可选时序逻辑方案的示意图。
图11是根据本发明实施例的实时成像装置的行/列译码模块的可选组合逻辑方案的示意图。
图12是根据本发明实施例的实时成像装置的针对低分辨率高位宽原始图像的读出模块的示意图。
图13是根据本发明实施例的实时成像装置的针对高分辨率低位宽差分图像的读出模块的示意图。
图14是根据本发明实施例的实时成像装置的针对低分辨率高位宽原始图像和高分辨率低位宽差分图像的读出模块的示意图。
具体实施方式
下面结合附图及具体的实施例，对本发明的方法、装置和计算机可读介质进行示例性的描述。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是全部实施例。通常在附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的编号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
图1A-1B是根据本发明实施例的用于成像的方法100的流程的示意图。可以使用该方法100进行图像采集、处理和输出。
如图1A所示，在该方法100中，利用并行的方式针对目标视场分别采集(或拍摄)两个图像(例如，在像素和位宽上存在区别的两个图像)，即用图中右半部分所示过程或通道(步骤S10)采集第一图像(例如，低分辨率高位宽的原始图像)，用图中左半部分所示过程或通道(步骤S20)采集第二图像(例如，高分辨率低位宽的差分图像(对相应的原始图像进行差分处理后得到))。如果使用一套图像拍摄组件，则以上所述两类图像的采集是先后进行的。如果使用两套图像拍摄组件，则以上两类图像的采集是可以是同时进行的，或称并发进行的。本发明对所使用的图像拍摄组件的数量不进行任何限制。
然后，可以将采集的第一图像和第二图像进行融合(步骤S30)。根据实施例，可以以第一分辨率和第一位宽来采集第一图像，并且可以以第二分辨率和第二位宽来采集第二图像，其中第二图像可以是经差分处理的差分图像。根据实施例，其中，第一分辨率可以低于第二分辨率，并且第一位宽可以高于第二位宽，例如，第一分辨率可以远低于第二分辨率(例如，低10倍以上)，第一位宽可以是8比特，第二位宽可以是2比特。在这种情况下，相对来说，低分辨率高位宽的第一图像可以用来获取目标视场的粗略信息(例如，背景)，而高分辨率低位宽的第二图像可以用来获取目标视场的精细信息(例如，目标视场中出现的车辆)，并且第一图像包含较少数据量，而第二图像包含较多数据量。
根据本发明实施例，可以对第二图像进行差分处理，包括：针对拍摄的像素点(例如，以第二分辨率拍摄的第二图像中的每个像素点)，对该像素点与该像素点的相邻或相近像素点之间的差进行量化，以得到经量化的差作为第二图像中相应像素点的值。由此，得到具有第二位宽(诸如2比特的低位宽)的第二图像。
在上文以及下文的描述中，本发明不对所谓的第一或第二分辨率(或者高/低分辨率)以及第一或第二位宽(或者高/低位宽)进行任何限制，并且其含义可以是相对的，本领域技术人员可以根据需要来设置其具体数值以获取有利的技术效果。
可选的，如图1B所示，在第一和第二图像的采集(步骤S10和步骤S20)完成后，为提高传输效率，可以对所采集的图像进行编码(步骤S101和步骤S201)，以便在随后进行传输时(步骤S102和步骤S202)提高传输效率。接收端在接收到经过传输的编码的图像之后，对其进行解码(步骤S103和步骤S203)和图像融合(步骤S30)，最终得到第三图像(例如，高分辨率高位宽的、所关注视场的图像)。这里，第三图像是针对目标视场的完全图像，且可以包含第一图像的粗略信息和第二图像的精细信息。这里，完全图像可以指针对该视场的完整区域的图像(例如，高分辨率高位宽图像)。在接收端，可以使用一个接收器以便交替接收以上两类图像的编码数据，也可以使用两个接收器以便分别地且同时地接收以上两类图像的编码数据。本发明对这里的接收方式不进行任何限制。
图2A-2B是根据本发明实施例的用于成像的方法200的另一流程的示意图。方法200可以看作方法100的改进。如图2A和2B所示，与图1A-1B类似，使用该方法200，同样可以用并行的方式分别采集两个图像，即用图中右半部分所示过程或通道(步骤S10)采集第一图像(例如，低分辨率高位宽的原始图像)，用图中左半部分所示过程或通道(步骤S20)采集第二图像(例如，高分辨率低位宽的差分图像)。在此省略相同或相似步骤的描述。
与图1A-1B不同的是，在图2A和2B中，在图像融合(步骤S30)之前，可以使用图像识别方法来识别可能包含精细信息的第二图像(以及可选的，可能包含粗略信息的第一图像，如图中虚线所示)中的感兴趣区域(步骤S40)。例如，可以根据经验数据(例如，不同目标的形态特征)，根据(例如，先前拍摄的)一幅图像或连续的几幅图像或预定时间范围内拍摄的若干图像的数据，对视场中所关注的目标进行图像识别(例如，针对特定对象的)和运动特征的检测。图像识别方法可以仅包括识别可能存在特定对象的图像区域，或者可以包括或可以不包括识别感兴趣区域中所包括的特定对象(例如，车辆)，但是本发明不对具体的图像识别方法进行任何限制，所述图像识别方法可以是任何能够从图像中提取感兴趣区域(或涉及运动的运动区域)的方法或算法。
另外，也可以在图像融合之前或之后，用人工目视或计算机扫描的方式，根据所关注目标形态的经验数据或资料，对视场中的对象进行识别和动态判别。
根据本发明实施例，可以直接将第一图像和第二图像进行融合(以得到作为视场的完全图像的第三图像)，也可以将第一图像的部分和第二图像的相应部分进行融合(以得到作为视场的部分图像的第三图像)。例如，将第一图像与第二图像进行融合可以包括：使用图像识别方法来确定第二图像中的目标视场的感兴趣区域；获得第一图像中与感兴趣区域相对应的相应区域；以及将第一图像的相应区域与第二图像的感兴趣区域进行融合，以得到第三图像。例如，还可以仅当感兴趣区域包括特定对象时(例如，通过计算机识别或人工识别等方法判定感兴趣区域里包括诸如汽车或某人之类的特定对象时)将该感兴趣区域与该相应区域进行融合以得到第三图像。
另外，可以在融合之后输出第三图像，或者可以在用第三图像更新完全图像之后输出更新后的完全图像。
根据本发明的实施例，一种用于超大规模像素实时成像的方法(例如，方法100)可以包括：
步骤1(或步骤S10和步骤S20)：针对目标视场进行拍摄和量化以得到，例如，高分辨率低位宽(例如，2比特)差分图像和低分辨率高位宽(例如，8比特)原始图像。可以通过减少采集(即，在拍摄时对原始图像进行差分处理而得到的)差分图像的比特数，来提升采集速度，以有助于达到实时成像的效果。根据本发明的实施例，例如，这里可以使用2比特的三值位宽(例如，{-1,0,1})的差分图像来用于图像融合，以便得到清晰的融合图像。低分辨率高位宽原始图像的采集可以使用普通的商用传感芯片来实现。
步骤2(或步骤S101和/或步骤S201)：利用差分图像的数据的稀疏特性来对高分辨率低位宽差分图像进行压缩编码，以降低数据传输带宽，从而有助于达到实时传输的目的。可选的，根据需要，还可以对低分辨高位宽原始图像进行压缩编码，通常低分辨高位宽原始图像的数据大小远小于高分辨率低位宽差分图像的数据大小。
例如，压缩编码方法可以由优化后的游程编码和霍夫曼编码两部分组成，游程编码是将原始的比特序列编码成一个记录数据的重复次数的计数序列L和一个记录重复数据本身的数据序列D。一方面，对于记录重复次数的计数序列L，其数值分布非常不均匀，因此可以使用霍夫曼变长编码代替定长码字编码方案来对其进行编码，以进一步降低数据量。另一方面，对于记录重复数据本身的数据序列D，理论上，该差分图像的三种不同的值需要用2个比特来表示，然而，由于在游程编码的数据序列D中相邻的两个数据一定是不相等的，则当前数据的下一数据只有两种可能。因此，可以将更大的那一种可能的值记为1，小的那一种可能的值记为0。基于上述原理来进行编码，可以进一步降低数据量，促使传输带宽达到实时传输(步骤S102或步骤S202)的条件。
步骤3(或步骤S103或步骤S203)：对经传输的步骤2中的编码的高分辨率低位宽差分图像(和可选的，经传输的编码的低分辨率高位宽原始图像)进行解码。
步骤4(或步骤S30)：将(解码的)高分辨率低位宽差分图像与(解码的)低分辨率高位宽原始图像进行融合。在本发明中，可使用基于卷积神经网络的图像融合算法对两者进行融合重建。
根据本发明的实施例，在采集低分辨率高位宽的原始图像时，所拍摄的视场即为所关注的目标视场，而在拍摄高分辨率低位宽的差分图像时，理想地是使用与所述分辨率高位宽的原始图像相同的视场。然而实际中，由于这两个操作未必是同时进行地，甚至不是由同一装置来进行的，因此相应地这两个图像所针对的视场未必完全相同。按照本发明方案的宗旨，只要第一图像(例如，低分辨率高位宽的原始图像)的视场与第二图像(例如，高分辨率低位宽的差分图像)的视场大致相同，就能够通过稍后的图像处理(例如，保留二者相同的视场部分的图像融合)得到根据本发明方法和装置所生成的第三图像，用以更新该视场的完全图像或感兴趣区域。换句话说，根据本发明的实施例，可以将上述与第一图像和第二图像相对应的两个视场都称为目标视场，该目标视场可以被限定为特定时间和/或特定空间的视场，并且在时间和空间上容许一定误差。
根据本发明的实施例，获取高分辨率低位宽的差分图像的方法例如可以为，在与原始图像相同的视场，拍摄一个高分辨率的原始图像，针对该高分辨率的原始图像中的像素点，将该像素点与该像素点的相邻或相近像素点进行差分比较。例如，可以将比较结果(两者之差)根据{小于，等于，大于}的判定而量化为{-1，0，+1}之一(可称为“三区间法”)。可以对该高分辨率的原始图像的多个像素点来重复上述操作(差分比较和量化)，最终生成一个高分辨率低位宽的差分图像。例如，可以针对每个像素点来重复上述操作，也可以针对固定间隔(例如，每相邻两行/列)或可变间隔的像素点或多个以其他方式选定的该视场的代表性像素点来重复上述操作，本发明对此不进行任何限制。本文中，可以将上述差分比较和量化的过程称为“差分处理”。
例如，差分处理可以是对紧邻的两个像素点的像素点值进行比较，即某个方向上的第n+1像素与第n像素的像素点值进行比较。也可以以类似的方式，将第n+2或n+3像素与第n像素的像素点值进行比较，即，将第n+i像素(i＝1,2,…)与第n像素的像素点值进行比较。这种情况尤其适用于不需要空间高分辨率的一般场合，例如常规的筛查(诸如视场中有无出现新的对象)，这可以用于发现是否有异常情况发生。例如，可以每两行或每两列地进行差分比较。
如上所述，在将像素点值量化为{-1，0，+1}之一时，像素点值例如可以取亮度值或者其他表征色彩的值，这个值例如可以为256个值中的一个，并且可以用8个2进制比特来表示。在进行像素点值的差分比较时，所做的判决可以仅仅依据二者之间直接的差值，即二者只要不同，即使差值仅对应于256个值中的一个(例如，差值为1)，也做出-1或1的判决；相应地，如果差值为0，则判决为0。另外，例如，可以将判决依据设置为二者之间的差值大于或等于一个阈值，诸如256个值中的4，当满足该判决依据才会判决为不同，并且相应地输出-1或1。这种处理方法例如可用于定性地显现高反差图像边缘处的细节。
作为本发明的另一实施例，也可以使用如下所述的更复杂的量化方案。
例如，用五区间法，使用两个阈值，即阈值C1和C2，其中C1和C2都大于0，且C2>C1，
可以判断像素点值比较结果(差值)是否满足以下条件：<-C2，<-C1，与处于与一基准值(例如，0)接近的区间，>C1，>C2。换句话说，判断比较结果处于哪一区间，并且将像素点值的比较结果分别赋值为{-2，-1，0，1，2}，即：
Figure BDA0003064485420000111
其中I表示量化前的结果(例如，差分比较的结果，即如上所述的差值)。利用这种方式，可以在一个宽广的区域内对像素点值进行衡量。但这种五区间法需要用3个比特来表示像素点值的比较结果，占用的资源较多。
比上述五区间法略微节省资源的，是四区间法，同样使用相同的两个阈值，即阈值C1和C2，其中C1和C2都大于0，且C2>C1。可以判断像素点值比较结果是否满足以下条件：<-C2，<-C1，与处于与一基准值(例如，0)接近的区间，>C1。换句话说，判断比较结果处于哪一区间，并且将像素点值的比较结果分别赋值为{-2，-1，0，1}，即：
Figure BDA0003064485420000121
或者，可以判断像素点值是否满足以下条件：<-C1，与处于与一基准值(例如，0)接近的区间，>C1，>C2。换句话说，判断比较结果处于哪一区间，并且将像素点值的比较结果分别赋值为{-1，0，1，2}，即：
Figure BDA0003064485420000122
其中I表示量化前的结果(例如，差分比较的结果，即如上所述的差值)。使用这种方式，只需要用2个比特来表示像素点值的比较结果。
可以基于如上所述的三区间(三值)法、四区间(四值)法和五区间(五值)法中任一个来得到不同位宽的差分图像。下面将结合本发明的附图及具体的三值的情况的实施例，对本发明进行详细描述，以下实施例仅仅是示例性而非限制性的。需要说明的是，四值或五值的实施例，与下面的三值实施例原理是相同的。
实施例1：
在该实施例中，基于高分辨率低位宽(三值，{-1，0，1})差分图像和低分辨率高位宽(例如，8比特)灰度图像来设计用于成像的方法(例如，方法100)，具体步骤包括：
步骤1-1(或步骤S10和步骤S20)：针对目标视场进行拍摄和量化以得到低分辨率高位宽灰度图像和高分辨率低位宽差分图像。例如，低分辨率高位宽灰度图像的分辨率可以是高分辨率低位宽差分图像的分辨率的
Figure BDA0003064485420000123
高分辨率低位宽差分图像可以基于其相应的原始图像中每相邻两列的差值，其默认量化区间可以是例如[-255,-4)、[-4,4]和(4,255]。这样，可以根据该量化区间使用三区间法将差值分别赋值为{-1，0，1}(即这三个区间依次分别对应于-1、0和1)。通过减少采集差分图像的比特数，可以提升采集速度，有助于达到实时成像的效果。
步骤1-2(或步骤S101、S102和/或步骤S201、S202)：利用差分图像的稀疏特性，对高分辨率低位宽差分图像进行压缩编码，以降低数据传输带宽，从而有助于达到实时传输的目的。
例如，压缩编码方法可以由优化后的游程编码和霍夫曼编码两部分组成。具体地，游程编码是将原始的比特序列编码成一个记录数据的重复次数的计数序列L和一个记录重复数据本身的数据序列D。一方面，对于记录重复次数的计数序列L，其数值分布非常不均匀，因此可以使用霍夫曼编码代替定长码字编码方案来对其进行编码，以进一步降低数据量。另一方面，对于记录重复数据本身的数据序列D，理论上，相邻的两个数据一定是不相等的。在该情况下，差分图像的值有3种可能性，而当前数据的下一数据只有2种可能性，所以在数据序列D中，只有第一个数据有3种可能性，后面的每个数据都只有2种可能性。因此，可以使用2个比特对第一个数据进行编码，剩余的每个数据可以用1个比特进行编码。
步骤1-3(或步骤S103和/或S203)：在接收端，对编码的高分辨率低位宽差分图像进行解码。
步骤1-4(或步骤S30)：将高分辨率低位宽差分图像和低分辨率高位宽灰度图像进行融合。
在本实施例中，可以使用基于卷积神经网络的图像融合算法对两者进行优化融合重建，在本实施例中输入的高分辨率低位宽差分图像和低分辨率高位宽图像的通道均为1，输出的高分辨率高位宽图像的分辨率与输入的高分辨率低位宽差分图像的分辨率相同，且通道数为1。
图3是根据本发明实施例的基于卷积神经网络的图像融合算法的框图。下面将结合图3对该卷积神经网络的网络结构进行介绍。
根据本发明的实施例，所输入的两个图像(例如，高分辨率低位宽图像和低分辨率高位宽图像)可能存在分辨率上的差异，例如，一个图像的分辨率是另一个图像的1/64。为处理这个分辨率不匹配的问题，可以使用一个多尺度特征融合网络，将高分辨率低位宽差分图像的高频信息和低分辨率高位宽图像的低频信息在不同尺度上进行融合。
如图3所示，这个多尺度特征融合网络可以分为三个不同的分支，即一个超分辨率分支和两个差分分支。超分辨率分支的输入为低分辨率高位宽图像，输出为对应的(例如，8*8倍)高分辨率高位宽图像，并且在超分辨率分支的后半部分使用特征融合连接来融合来自两个差分分支的高频分量，以用于合成具有清晰细节的高分辨率高位宽图像。两个差分分支的输入为高分辨率低位宽差分图像，由于在本实施例中差分图像仅有1个x方向(即列与列之间的差分比较)，因此两个支路的输入相同，均为x方向的差分图像。为了更好地融合，两个差分分支分别输出x方向(即列与列之间的差分比较)和y方向(即行与行之间的差分比较)的高分辨率高位宽差分图像，为了达到这个目的，两个差分分支在训练时的监督图分别使用的是x方向和y方向的高分辨高位宽差分图像，两个差分分支均在不同尺度上融合了来自超分辨率分支的低频分量，以用于指导高分辨率高位宽差分图像的融合。
下面介绍每个分支结构的细节，包括特征融合连接、损失函数和训练策略。
参考图3，超分辨率分支可以分为两个部分，第一部分完成对输入低分辨率高位宽图像的(例如，8*8倍)超分辨率处理，同时得到在不同尺度上的特征图，这些特征图可以被用来指导差分分支的融合重建；第二部分融合来自差分分支的特征图来完成最终的高分辨率高位宽图像的融合重建。超分辨率分支可以使用一种渐进式的超分辨率算法，例如，可以使用3次2*2的上采样层来完成8*8倍的超分辨率，上采样层使用反卷积来实现。在该网络的后半部分，超分辨率分支融合了两个差分分支的特征，完成最终的融合重建。
参考图3，两个差分分支的结构是相同的，但是其监督图可以不同，且可以不共享参数。差分分支的前半部分可以使用一种类似于U-net的U-型结构，但是不同于U-net，也可以使用RRDB(Residual-in-Residual Dense Block)来代替基础的卷积层。可以使用最大池化层(Max pooling layer)作为下采样层并且使用反卷积层作为上采样层。可以将RRDB和最大池化层结合作为一个基本的下采样模块，并且在下采样的过程中，可以使用3次2*2的下采样模块得到4个不同尺度上的特征图(例如，原始尺度、1/2*1/2倍分辨率、1/4*1/4倍分辨率和1/8*1/8倍分辨率)，这些特征图将按照如图3所示的方式与上采样过程中的特征图相融合。可以将RRDB和反卷积层结合作为一个基本的2*2上采样模块，并且可以使用3次2*2的上采样模块来将特征图恢复至原始尺寸，在上采样的过程中在不同尺度上融合同一个差分分支下采样时得到的特征图和超分辨率分支上采样过程中的特征图。
根据本发明实施例，特征融合连接的算法可以包含三种特征连接：高分辨率差分图像-至-高分辨率差分图像(HRD-to-HRD)特征融合连接、低分辨率原始图像-至-高分辨率差分图像(LRI-to-HRD)特征融合连接和高分辨率差分图像-至-低分辨率原始图像(HRD-to-LRI)特征融合连接，它们分别位于网络的不同位置并起到不同的作用，每个特征连接均使用特征图拼接的操作(Concat)。在整个网络的前半部分，三个分支均为一种多尺度的结构，在这一部分，可以将超分辨率分支的特征图融合到两个差分分支中上采样部分(LRI-to-HRD特征融合连接)，同时在上采样部分中融合来自同一差分网络下采样过程中产生的特征图(HRD-to-HRD特征融合连接)；在整个网络的后半部分，可以将两个差分分支产生的特征图融合到超分辨率分支中(HRD-to-LRI特征融合连接)，完成最终的融合。在该网络中，除了包含特征融合连接的层以外，每一层的特征图数量均设置为16，在包含特征融合连接的层中，其特征图数量为16的整数倍，其倍数为融合的来自不同分支的数量，如融合2个分支时的特征图数量为32。
根据本发明实施例，可以使用清晰的高分辨率高位宽图像和融合结果之间的最小均方误差作为超分辨率分支的损失函数(MSELoss)。同时还可以分别使用x方向和y方向的高分辨率高位宽差分图像和两个差分分支的输出之间的最小均方误差作为两个差分分支的损失函数。所以，总的损失函数可以由如下等式表示：
Figure BDA0003064485420000151
根据本发明实施例，在训练方法方面，可以使用DIV2K超分辨率数据集来制作训练集。例如，训练时卷积核大小设置为3，使用Adam算法作为优化器，将损失函数中超参数β和γ设为0.1，学习率设为1×10-4，每20K次迭代后，学习率乘上衰减因子0.5，总共训练100K次迭代，Batchsize设为16。
实施例2：
本实施例提出了一种增加了基于差分图像的图像识别的成像方法(例如，方法200)。不同于直接在未经差分处理的原始图像上进行图像识别，本实施例在差分图像上直接进行图像识别，在识别出感兴趣区域后，仅针对感兴趣区域进行融合。
步骤2-1：同实施例1步骤1-1；
步骤2-2：同实施例1步骤1-2；
步骤2-3：同实施例1步骤1-3；
步骤2-4：构建训练数据集，并且使用生成的训练集来训练用于图像识别方法(例如，YOLOv3)，以得到经训练的图像识别方法。本实施例的训练数据集可由公开的图像识别数据集生成，也可以由人工标注生成。两种方式具体方法为：
1)由公开数据集生成：在下载好公开的图像识别数据集后，不对标签进行处理，而是根据步骤2-1中设置的量化区间对数据集中的原始图像(例如，高分辨率的未量化的原始图像)进行如上所述的差分处理，以得到相应的差分图像(例如，高分辨率低位宽的差分图像)，然后结合数据集中的已有标签，来生成成对的训练集。
2)人工标注生成：通过人工标注出采集的差分图像中的感兴趣区域，形成数据对，从而构建训练数据集。
其中，步骤2-4通常可以是预先进行的，即实施本方法时采用现有的训练后的图像识别方法。通常，在步骤2-3获得高分辨率低位宽差分图像之后直接跳到步骤2-5。
步骤2-5：可以利用经训练的图像识别方法(通过步骤2-4得到的YOLOv3)对高分辨率低位宽差分图像应用图像识别方法，以识别出感兴趣区域。
步骤2-6：获得低分辨率高位宽图像中与所识别的感兴趣区域相对应的相应区域(例如，通过感兴趣区域在目标视场的定位而确定)。
步骤2-7：将识别的感兴趣区域与识别的相应区域进行融合，得到针对感兴趣区域的融合图像(第三图像)，其中融合方法可以同实施例1步骤1-4。例如，该融合图像可以用于更新该视场的完全图像以得到更新的完全图像。可以只有在视场中发生变化(例如，出现特定对象或原有对象进行运动等)才(例如，用融合图像)更新该完全图像。或者，可以设置不同的更新率，例如，用第一图像和第二图像(包含整个视场的信息的图像)以第一更新率来更新完全图像，用融合图像以第二更新率来更新完全图像(的相应的需要更新的或发生变化的部分)，其中，第一更新率可以小于第二更新率(例如，分别为1fps和30fps)，本发明对其具体值不进行任何限制。这样，可以以最少的数据来更新完全图像。
实施例3：
本实施例提出了一种基于高分辨率低位宽(例如，三值)差分图像和低分辨率高位宽(例如，8比特)灰度图像的可以自适应地调整量化区间的成像方法的设计方案。
步骤3-1：构建码率-量化区间-融合质量的数据库：利用现有的公开数据集构建码率-量化区间-融合质量的数据库。
步骤3-2：确定用于采集低分辨率灰度图像和高分辨率差分图像的量化区间。设置初始的码率和融合质量，例如，低分辨率灰度图像的分辨率被设置为高分辨率差分图像的1/64，高分辨率差分图像被设置为基于其相应的原始图像的每相邻两列的差值。基于设置的初始的系统码率和融合质量，查询在步骤3-1中构建的数据库，确定相对应的量化区间，以用于完成低分辨率灰度图像和高分辨率差分图像的采集，使其具有不同的位宽。码率和融合质量可以实时手动调整，并且在数据库中相对应的量化区间也会随之改变。
然后，可以实施步骤1-1至1-4，也可以实施步骤2-1至2-7。
实时例4：
本实施例提出了一种增加了基于差分图像的运动检测的成像方法(例如，方法200)。不同于传统的在融合之后的图像(例如，第三图像)进行运动检测，本实施例的方法是在融合之前的图像(例如，如前所述，低分辨率高位宽图像或第一图像，和/或高分辨率低位宽图像或第二图像)上进行运动检测(例如，如图2A-2B中步骤S40所示的图像识别)。在识别出运动区域(或感兴趣区域)后，仅对运动区域(或感兴趣区域)进行融合(例如，如图2A-2B中步骤S30所示的图像融合)。该方法可以参考图2A-2B所示来实施。下面以高分辨率低位宽差分图像为例来描述本方法的具体步骤。
步骤4-1：同实施例1步骤1-1；
步骤4-2：同实施例1步骤1-2；
步骤4-3：同实施例1步骤1-3；
步骤4-4：使用帧间方法来计算相邻两帧高分辨率低位宽差分图像之间的差，提取出有差分变化(例如，差值满足某一阈值条件)的区域，以得到运动区域(例如，以坐标的形式)，即感兴趣区域。
步骤4-5：同实施例2步骤2-6至2-7，得到融合的运动区域；
步骤4-6：利用融合的运动区域来更新先前拍摄的目标视场的完全图像，该完全图像中除运动区域之外的区域不更新。
步骤4-7：重复步骤4-1～4-6。
实施例5：
本实施例提出了一种基于低分辨率高位宽(例如，8比特)RGB图像和高分辨率低位宽(例如，三值)差分图像的成像方法。
步骤5-1：采集低分辨率高位宽RGB图像和高分辨率低位宽差分图像。在示例中，低分辨率高位宽RGB图像的分辨率为高分辨率低位宽差分图像的1/64，高分辨率低位宽差分图像可以基于其相应的原始灰度图像每相邻两列的差值，其默认量化区间为(-255,-4)、[-4,4]和(4,255)，对应的量化后的值分别为-1、0和1。通过减少采集差分图像的比特数，提升采集速度，以有助于达到实时成像的效果。
步骤5-2：同实施例1步骤1-2；
步骤5-3：同实施例1步骤1-3；
步骤5-4：结合采集到的低分辨率高位宽RGB彩色图像进行融合。在本实施例中，使用基于卷积神经网络的图像融合算法对两者进行优化的融合重建。在该实施例中，对于该卷积神经网络，输入的高分辨率低位宽差分图像和低分辨率高位宽RGB图像的通道数分别为1和3，而输出的高分辨率高位宽图像的分辨率与输入的高分辨率低位宽差分图像的分辨率相同，且通道数为3，即输出高分辨率高位宽RGB图像。
根据本发明的用于实时成像的装置的实施例
图4A是根据本发明实施例的用于成像的装置400的结构框图，图4B是根据本发明实施例的用于成像的装置400的示例实施方式。
如图4A所示，装置400可以包括图像拍摄组件401、数据处理组件402、编码组件403和传输组件404。根据实施例，图像拍摄组件401可以被配置为实施如上所述的采集(包括拍摄和量化)图像的操作。数据处理组件402可以被配置为实施与数据处理相关联的操作，包括诸如图像识别、图像融合以及解码等操作。编码组件403可以被配置为对采集的图像的数据进行编码，以便传输到例如数据处理组件402或其他数据处理装置。传输组件404可以被配置为传输各种数据，例如，将编码的图像数据从编码组件403传输到数据处理组件402以供进一步处理。装置400所包含的各种组件可以例如在控制组件(未示出)的控制下进行各种操作。
如图4B所示，根据本发明的装置(例如，装置400)可以实施为包括一个实时成像装置开发板410(可用作图像拍摄组件401和编码组件403的组合)和一个上位机412(可用作数据处理组件402)组成，二者可以经由以太网接口414(可用作传输组件404)进行电连接。实时成像装置开发板410可以包括实时成像装置411、FPGA控制单元415和系统外围芯片413。上位机412利用以太网接口414来配置实时成像装置开发版410，实时成像装置开发板410上的FPGA控制单元415和系统外围芯片413根据配置信息为实时成像装置411提供运行所需的时序信号及控制电压，最后将采集到的图像数据通过以太网接口414回传到上位机412，完成一次采集任务。
图5是根据本发明实施例的实时成像装置(例如，实时成像装置411)的结构框图。如图5所示，实时成像装置可以包括像素阵列模块、行/列驱动模块、行/列译码模块、读出模块以及I/O模块组成。FPGA控制单元(例如，FPGA控制单元415)通过I/O接口模块控制行/列译码模块，并可以为行/列驱动模块提供工作电压，同时控制像素阵列模块对目标场景进行感光，最后通过读出模块将图像数据读出。
图6是根据本发明实施例的实时成像装置(例如，实时成像装置411)的像素阵列模块的可选像素单元的示意图。如图6所示，像素阵列模块可以包括像素单元和像素阵列两个层级。在像素单元层级，基于平面硅工艺制造技术，可以有多种选择，如光电二极管(PD)、光电三极管(PT)、电荷耦合器件(CCD)、有源像素传感器(APS)等。
图7是根据本发明实施例的实时成像装置(例如，实时成像装置411)的像素阵列模块所使用的像素单元的示意图。图8是根据本发明实施例的实时成像装置(例如，实时成像装置411)的像素阵列模块的可选架构的示意图。本发明中，在如图6所示的像素单元的一个优选的实施例中，可以使用如图7所示的、CN201210442007.X中的双晶体管光敏探测器。如图8所示，像素阵列层级可以选用NAND架构或NOR架构，并且在一种优选的实施例中，可以使用NOR架构。
图9是根据本发明实施例的实时成像装置(例如，实时成像装置411)的行/列驱动模块所使用的多电平移位电路。如图9所示，作为示例，行/列驱动模块可以使用CN202010384765.5中的多电平移位电路。该模块需要输入预移位正电压信号VVPP、预移位负电压信号VVPN、移位正电压信号VPHV、移位负电压信号VNHV和预移位控制信号VIN。移位电压输出信号VO在预移位控制信号VIN的控制下输出移位正电压信号VPHV或移位负电压信号VNHV，为像素阵列模块提供驱动电压。
根据本发明的实施例，行/列译码模块可以使用移位寄存器的时序逻辑方案，也可以使用译码器的组合逻辑方案。图10是根据本发明实施例的实时成像装置(例如，实时成像装置411)的行/列译码模块的可选时序逻辑方案的示意图。本实施例中使用的是VerilogHDL描述的组合逻辑方案。图11是根据本发明实施例的实时成像装置(例如，实时成像装置411)的行/列译码模块的可选组合逻辑方案的示意图。作为示例，可以使用1024bit时序逻辑方案(图10)和8bit组合逻辑方案(图11)。
图12-14是根据本发明实施例的实时成像装置(例如，实时成像装置411)的读出模块的不同实施方式的示意图。读出模块可以实施为两种方案，即可以针对高分辨率低位宽差分图像和低分辨率高位宽原始图像分别设计读出电路，也可以将高分辨率低位宽差分图像和低分辨率高位宽原始图像的读出电路进行组合。针对第一种方案，可以使用已有专利CN201911257219.9中的读出电路(如图12所示)进行低分辨率高位宽原始图像的读出，并且可以使用已有专利CN202010697791.3中的电流减法电路(如图13所示)进行高分辨率低位宽差分图像的读出。针对第二种方案，可以继续使用专利CN201911257219.9中的读出电路(如图12所示)，在进行低分辨率高位宽原始图像的读出时，将向上向下计数器配置为向上计数模式，而在进行高分辨率低位宽差分图像的读出时，先将向上向下计数器配置为向上计数模式，然后再将其配置为向下计数模式，从而实现差分读出。本发明使用了一种新型的读出电路(如图14所示)，在针对低分辨率高位宽原始图像进行操作的情况下，DIR为0，电流镜CM1工作，CM2不工作，BLN的电流用于对电容C放电，当电容上的电压放电至比较器CMP1参考电压VP以下前，计数器一直工作，当电容上的电压放电至参考电压VP以下后，计数器停止工作，并将量化结果通过并串转换模送出；在针对高分辨率低位宽差分图像进行操作的情况下，DIR为1，电流镜CM1、CM2同时工作，BLN-BLN+1的电流用于对电容C放电，经比较器CMP1、CMP2后，得到2比特量化结果，通过并串转换模送出该结果。I/O接口模块可使用任一厂家具有ESD保护功能的通用输入/输出接口。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
在本申请所提供的几个实施例中，应该理解到，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，该模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一个计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且进一步包括没有明确列出的其他要素，或者是进一步包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域技术人员不难根据本发明的上述公开内容，合理地理解本发明方法、装置等方案及其实施例中未详细叙述的细节。所述的这些内容都属于本发明的保护范围。

Claims (19)

1.一种用于成像的方法，包括：
针对目标视场以第一分辨率进行拍摄和量化，以得到具有第一位宽的第一图像；
针对所述目标视场以第二分辨率进行拍摄和差分处理，以得到具有第二位宽的第二图像，其中所述差分处理包括：针对以第二分辨率拍摄的像素点，对所述像素点与所述像素点的相邻或相近像素点之间的差进行量化，以得到经量化的差作为第二图像中相应像素点的值；以及
将第一图像与第二图像进行融合，以得到第三图像，
其中，第一分辨率低于第二分辨率，并且第一位宽高于第二位宽。
2.如权利要求1所述的方法，其中，将第一图像与第二图像进行融合以得到第三图像还包括：
使用图像识别方法来确定第二图像中的所述目标视场的感兴趣区域；
获得第一图像中与所述感兴趣区域相对应的相应区域；以及
将第一图像的所述相应区域与第二图像的所述感兴趣区域进行融合，以得到第三图像。
3.如权利要求1所述的方法，还包括，在进行融合之前，对第二图像进行编码以进行传输，并且在所述传输之后对第二图像进行解码以用于融合。
4.如权利要求3所述的方法，其中，第二图像是使用游程编码来进行编码的，并且其中，将第二图像的比特序列编码成一个记录重复数据的重复次数的计数序列L和一个记录重复数据本身的数据序列D。
5.如权利要求4所述的方法，其中，使用霍夫曼编码来记录所述计数序列L，并且使用固定长度编码来记录所述数据序列D。
6.如权利要求1所述的方法，其中，将第一图像与第二图像进行融合包括：使用卷积神经网络来融合第一图像与第二图像。
7.如权利要求2所述的方法，其中，使用图像识别方法来确定第二图像中的所述目标视场的感兴趣区域包括：结合在特定时间范围内针对所述目标视场拍摄的图像或先前存储的针对所述目标视场拍摄的图像来确定所述感兴趣区域。
8.如权利要求2所述的方法，还包括，基于选定目标、拍摄时的空间条件以及人工标注，使用深度学习来训练所述图像识别方法。
9.如权利要求2所述的方法，其中，将所述感兴趣区域与所述相应区域进行融合以得到第三图像还包括：仅当所述感兴趣区域包括特定对象时将所述感兴趣区域与所述相应区域进行融合以得到第三图像。
10.如权利要求1或9所述的方法，还包括，在融合之后输出第三图像，或者在用第三图像更新完全图像之后输出更新后的完全图像。
11.一种用于成像的装置，包括：
图像拍摄组件，被配置为
针对目标视场以第一分辨率进行拍摄和量化，以得到具有第一位宽的第一图像；以及
针对所述目标视场以第二分辨率进行拍摄和差分处理，以得到具有第二位宽的第二图像，其中所述差分处理包括：针对以第二分辨率拍摄的像素点，对所述像素点与所述像素点的相邻或相近像素点之间的差进行量化，以得到经量化的差作为第二图像中相应像素点的值；以及
数据处理组件，耦接到所述图像拍摄组件并且被配置为将第一图像与第二图像进行融合，以得到第三图像，
其中，第一分辨率低于第二分辨率，并且第一位宽高于第二位宽。
12.如权利要求11所述的装置，其中，将第一图像与第二图像进行融合以得到第三图像还包括：
使用图像识别方法来确定第二图像中的所述目标视场的感兴趣区域；
获得第一图像中与所述感兴趣区域相对应的相应区域；以及
将第一图像的所述相应区域与第二图像的所述感兴趣区域进行融合，以得到第三图像。
13.如权利要求11所述的装置，还包括编码组件和传输组件，
所述编码组件耦接到所述图像拍摄组件，并且被配置为在进行融合之前，对第二图像进行编码，
所述传输组件耦接到所述编码组件和所述数据处理组件，并且被配置为将编码的第二图像传输到所述数据处理组件，并且
所述数据处理组件还被配置为在接收到编码的第二图像之后对所述编码的第二图像进行解码以用于融合。
14.如权利要求13所述的装置，其中，
所述编码组件还被配置为使用游程编码对第二图像进行编码，并且其中，将第二图像的比特序列编码成一个记录重复数据的重复次数的计数序列L和一个记录重复数据本身的数据序列D。
15.如权利要求14所述的装置，其中，
所述编码组件还被配置为，使用霍夫曼编码来记录所述计数序列L，并且使用固定长度编码来记录所述数据序列D。
16.如权利要求11所述的装置，其中，将第一图像与第二图像进行融合包括：使用卷积神经网络来融合第一图像与第二图像。
17.如权利要求12所述的装置，其中，使用图像识别方法来确定第二图像中的所述目标视场的感兴趣区域包括：结合在特定时间范围内针对所述目标视场拍摄的图像或先前存储的针对所述目标视场拍摄的图像来确定所述感兴趣区域。
18.如权利要求11所述的装置，其中，所述数据处理组件还被配置为，基于选定目标、拍摄时的空间条件以及人工标注，使用深度学习来训练所述图像识别方法。
19.一种其上记录有程序代码的非暂时性计算机可读介质，所述程序代码在由计算机执行时执行如权利要求1-10所述的方法。
CN202110522201.8A 2021-05-13 2021-05-13 用于成像的方法、装置和计算机可读介质 Pending CN115345777A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110522201.8A CN115345777A (zh) 2021-05-13 2021-05-13 用于成像的方法、装置和计算机可读介质
EP22806853.2A EP4325426A1 (en) 2021-05-13 2022-05-13 Imaging method and apparatus, and computer-readable medium
JP2023570254A JP2024519349A (ja) 2021-05-13 2022-05-13 イメージングのための方法、装置およびコンピュータ読み取り可能な媒体
PCT/CN2022/092615 WO2022237891A1 (zh) 2021-05-13 2022-05-13 用于成像的方法、装置和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110522201.8A CN115345777A (zh) 2021-05-13 2021-05-13 用于成像的方法、装置和计算机可读介质

Publications (1)

Publication Number Publication Date
CN115345777A true CN115345777A (zh) 2022-11-15

Family

ID=83947341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110522201.8A Pending CN115345777A (zh) 2021-05-13 2021-05-13 用于成像的方法、装置和计算机可读介质

Country Status (4)

Country Link
EP (1) EP4325426A1 (zh)
JP (1) JP2024519349A (zh)
CN (1) CN115345777A (zh)
WO (1) WO2022237891A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109724951A (zh) * 2017-10-27 2019-05-07 黄晓淳 一种动态超分辨荧光成像技术
CN109727188A (zh) * 2017-10-31 2019-05-07 比亚迪股份有限公司 图像处理方法及其装置、安全驾驶方法及其装置
US10600154B2 (en) * 2018-06-26 2020-03-24 Applied Research, LLC System and method for generating high-resolution stereo image and depth map
CN112767290B (zh) * 2019-11-01 2022-11-11 RealMe重庆移动通信有限公司 图像融合方法、图像融合装置、存储介质与终端设备

Also Published As

Publication number Publication date
JP2024519349A (ja) 2024-05-10
EP4325426A1 (en) 2024-02-21
WO2022237891A1 (zh) 2022-11-17

Similar Documents

Publication Publication Date Title
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
CN110210608B (zh) 基于注意力机制和多层次特征融合的低照度图像增强方法
Hu et al. Underwater image restoration based on convolutional neural network
CN102113017A (zh) 使用边缘检测产生深度数据的系统及方法
JP2014116951A (ja) 適応探索範囲を用いた動き推定
US20180198977A1 (en) Image processing apparatus, image processing method, recording medium, program and imaging-capturing apparatus
CN104065891A (zh) 机器视觉3d线扫描图像获取及处理
WO2014148114A1 (ja) 画像処理装置、撮像装置、監視システム、符号化装置、画像処理方法
CN102792671A (zh) 用于图像采集和转换的方法和装置
CN116469100A (zh) 一种基于Transformer的双波段图像语义分割方法
CN108280818B (zh) 一种基于压缩感知的快速目标成像方法和系统
CN112699844A (zh) 一种基于多尺度残差层级密连接网络的图像超分辨率方法
CN111242884A (zh) 图像坏点检测、校正方法及装置、存储介质、摄像设备
CN110942097A (zh) 基于单像素探测器的免成像分类方法和系统
Wang et al. Gridformer: Residual dense transformer with grid structure for image restoration in adverse weather conditions
CN115345777A (zh) 用于成像的方法、装置和计算机可读介质
JP5811879B2 (ja) 画像処理装置および画像処理方法
US20240233090A1 (en) Imaging method and apparatus, and computer-readable medium
JP6614824B2 (ja) 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム
US11861814B2 (en) Apparatus and method for sensing image based on event
CN115909088A (zh) 基于超分辨特征聚合的光学遥感图像目标检测方法
Wang et al. Intelligent autofocus
CN109819251B (zh) 一种脉冲阵列信号的编解码方法
CN110648291B (zh) 一种基于深度学习的无人机运动模糊图像的复原方法
Kumar et al. A novel method for image compression using spectrum

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination