CN113906726A - 成像方法、成像装置、可移动物体和无人飞行器 - Google Patents

成像方法、成像装置、可移动物体和无人飞行器 Download PDF

Info

Publication number
CN113906726A
CN113906726A CN202080035806.8A CN202080035806A CN113906726A CN 113906726 A CN113906726 A CN 113906726A CN 202080035806 A CN202080035806 A CN 202080035806A CN 113906726 A CN113906726 A CN 113906726A
Authority
CN
China
Prior art keywords
image
lens
brightness
blob
white frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080035806.8A
Other languages
English (en)
Inventor
林隽曦
江君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN113906726A publication Critical patent/CN113906726A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G06T5/77—
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/20—Vertical take-off and landing [VTOL] aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

一种成像方法，包括：为拍摄装置的镜头提供预定亮度的拍摄条件(S1)；在拍摄条件下开启镜头以拍摄白帧(S2)；通过对白帧的分析判断镜头上是否存在斑点(S3)；在判断镜头上存在斑点的情况下，获取斑点的图像的属性信息(S4)；利用镜头对拍摄对象进行拍摄，以生成拍摄对象的第一图像(S5)；以及根据斑点的图像的属性信息，在第一图像上进行斑点等效去除处理，以生成拍摄对象的去除斑点的图像的处理图像(S6)。在拍摄图像之前无需对已被污染的镜头进行清洗，提高了拍摄效率，提升了拍摄体验，并且改善了拍摄效果。

Description

成像方法、成像装置、可移动物体和无人飞行器
技术领域
本发明涉及无人飞行器摄像领域，更具体地，涉及一种成像方法、成像装置、以及包括该成像装置的可移动物体和无人飞行器。
背景技术
随着科技的发展，空中摄影技术渐兴，其中，无人机航拍技术由于其成本较载人航拍更低且更为安全，逐渐得到摄影师的青睐。无人机航拍工作通常采用飞行器搭载摄影机、照相机等拍摄装置进行拍摄。现在人们越来越多地利用无人机飞到高空和远处进行拍摄，特别是一些人类难以到达的位置，比如悬崖、山顶等。在无人机飞到高空或远处进行拍摄的过程中，拍摄装置的镜头上可能会沾上不明斑点，比如灰尘等。由于使无人机返回进行镜头清理需要大量时间，并且所拍摄场景的持续时间可能很短(如日落)，因此即使发现镜头上存在不明斑点，也无法使无人机返回以进行清理。由于镜头上的斑点的存在，导致无人机拍摄画面的画质变差，严重者甚至无法重现其所拍摄的场景的当时画面，从而破坏了利用无人机进行拍摄的用户体验。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。
为实现上述目的，本发明的一个方面的技术方案提供了一种成像方法，该成像方法包括：为拍摄装置的镜头提供预定亮度的拍摄条件；在所述拍摄条件下开启所述镜头以拍摄白帧；通过对所述白帧的分析判断所述镜头上是否存在斑点；在判断所述镜头上存在斑点的情况下，获取所述斑点的图像的属性信息；利用所述镜头对拍摄对象进行拍摄，以生成所述拍摄对象的第一图像；以及根据所述斑点的图像的属性信息，在所述第一图像上进行斑点等效去除处理，以生成所述拍摄对象的去除所述斑点的图像的处理图像。
本发明第二个方面的技术方案提供一种计算机可读存储介质，所述计算机可读存储介质存储有可执行指令，执行所述可执行指令以实现如上所述的任一种成像方法。
本发明第三个方面的技术方案提供一种成像装置，所述成像装置包括：镜头，所述镜头用于对拍摄对象进行成像；照明单元，所述照明单元为所述镜头提供预定亮度的拍摄条件；白帧拍摄控制单元，所述白帧拍摄控制单元用于控制所述镜头和照明单元以拍摄白帧；斑点判断单元，所述斑点判断单元设置成通过对所述白帧的分析判断所述镜头上是否存在斑点；图像信息获取单元，所述图像信息获取单元设置成在判断所述镜头上存在斑点的情况下，获取所述斑点的图像的属性信息；图像拍摄控制单元，所述图像拍摄控制单元设置成控制所述镜头对拍摄对象进行拍摄，以生成所述拍摄对象的第一图像；以及等效去除处理单元，所述等效去除处理单元设置成根据所述斑点的图像的属性信息，在所述第一图像上进行斑点等效去除处理，以生成所述拍摄对象的去除所述斑点的图像的处理图像。
本发明第四个方面的技术方案提供一种成像设备，该成像设备包括如上所述的任一种成像装置。
本发明第五个方面的技术方案提供一种可移动物体，所述可移动物体包括载体、由所述载体承载的搭载物、用于为所述可移动物体提供动力的推进机构、设置在所述载体上的传感系统和通信系统，所述搭载物包括如上所述的任一种成像装置。
本发明第六个方面的技术方案提供一种无人飞行器，该无人飞行器包括如上所述的任一种成像装置。
与现有技术相比，本发明具有以下有益的技术效果：本发明通过在利用镜头进行拍摄之前进行白帧的拍摄，获取白帧的亮度值，并基于清理干净的镜头所拍摄的白帧或基于镜头自身的参数确定白帧的参考亮度，在所拍摄的白帧的亮度值与参考亮度值之间的差值超过预定阈值的情况下判定镜头上存在斑点，依据斑点图像的亮度值对所拍摄的图像进行补偿。由此，无需在拍摄时对已被污染的镜头进行清洗，也能获得拍摄对象的清晰图像，特别适用于设置在比如为无人机的可移动物体上的拍摄装置的拍摄，即在拍摄时及时发现镜头上存在斑点，也无需控制可移动物体返回进行镜头的清洗，由此提高了拍摄效率，改善了拍摄效果。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过对本发明的实践获知。
附图说明
图1是本发明实施例的成像方法的流程图；
图2是本发明实施例的成像方法的通过白帧判断拍摄装置的镜头上是否存在斑点的流程图；
图3是本发明实施例的可移动物体的结构示意图；
图4是本发明实施例的成像装置的结构示意图；
图5是本发明实施例的成像装置的斑点判断单元的结构示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通信；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
本发明提供一种成像方法，该成像方法可被用于镜头上具有斑点或污点的拍摄装置的成像，通过该成像方法能够在所拍摄的图像中消除镜头上的斑点或污点在成像过程中对图像的影响，也就是在图像中消除镜头上的斑点的图像，由此能够还原拍摄对象的原本状态，从而拍摄到与清理干净的镜头所拍摄到的图像基本相同的图像，而且对于搭载在无人飞行器等可移动物体上的拍摄装置的镜头来说，在拍摄过程中无需因为镜头上粘附了灰尘等类似斑点而使可移动物体返回以便进行镜头清理的耗时过程，从而能够更加准确地拍摄或抓取瞬时出现的场景，为执行无人机拍摄的用户提供了便利，提高了拍摄效率并提升了用户体验。
如图1所示，示出根据本发明的成像方法的流程图，该方法主要包括如下步骤，步骤S1，为拍摄装置的镜头提供预定亮度的拍摄条件，此处指的是为拍摄装置执行拍摄动作提供照明条件，以便提供足够的亮度。接着执行步骤S2，即在预定亮度的拍摄条件下开启镜头以拍摄白帧，控制镜头的快门以便在所需的光照条件下进行拍摄，在此主要是在强光下进行拍摄，以便获得白帧。然后执行步骤S3，通过对所述白帧的分析判断镜头上是否存在斑点，一般地，在镜头非常干净的情况下，通过照射强光所拍摄的白帧是画质均匀的纯白颜色，比如其RGB色彩值为(255，255，255)，当检测到所拍摄的白帧中存在某一个或多个通道的值与上述白色的色彩值相差较大时，则可以判定镜头上存在斑点。随后执行步骤S4，在判断镜头上存在斑点的情况下，获取所述斑点的图像的属性信息，由此可以对斑点进行相关处理。接着执行步骤S5，利用镜头对拍摄对象进行拍摄，以生成拍摄对象的第一图像，此时进行的是正常拍摄，以获取拍摄对象的所需图像，并且所拍摄的第一图像中存在镜头上的斑点的图像。最后执行步骤S6，根据斑点的属性信息，在第一图像上进行斑点等效去除处理，以生成拍摄对象的去除斑点图像的处理图像。通过对第一图像执行斑点等效去除处理，消除镜头上的斑点对拍摄对象的图像的影响，由此生成优良画质的处理图像，由于对第一图像进行了斑点等效去除处理，因此所获得的处理图像与采用清理干净的镜头所拍摄的图像基本相同，从而在拍摄位置进行拍摄时无需清理镜头上的斑点或污点，以提高拍摄效率，节省拍摄时间。
在根据本发明的成像方法的一些实施例中，可以在将镜头清理干净的情况下拍摄白帧，以此白帧的RGB值作为参照，并计算使用过程中在相同的光照条件下所拍摄的白帧的RGB值与参照的差别，依此来判断镜头上是否存在斑点。当然，在此所获取的不一定是完全的白帧，比如拍摄时的光照强度并非特别强，需要对拍摄所得的图像的RGB值进行记录，并在需要判定镜头上是否存在斑点时利用相同的光照条件进行拍摄，通过对比前后拍摄的图像的RGB值的差别来判断镜头上是否存在斑点。
在一些实施例中，为拍摄装置的镜头提供预定亮度的拍摄条件包括在拍摄装置上安装预定亮度的灯。一般情况下，在拍摄装置的镜头上安装高亮度灯，以便通过高亮度灯对镜头进行照明，减少外界环境对所采集图像的影响，以获取白帧。
进一步地，如图2所示，示出通过白帧判断拍摄装置的镜头上是否存在斑点的流程图。通过白帧判断拍摄装置的镜头上是否存在斑点的步骤可以包括，S31，将白帧分割成多个白帧单元，S32，获取每一个白帧单元的亮度均值，S33，将每一个白帧单元的亮度均值与白帧的预定亮度值进行比较，S34，当白帧单元的亮度均值与白帧的预定亮度值之间的差值大于预定阈值时，判定存在斑点。通过将白帧分割成多个白帧单元可以对斑点进行精确定位，以便在后期的斑点等效去除处理时更具有针对性和目的性。可以在镜头完全清理干净的情况下获取白帧的亮度值，或者可以根据镜头的实际状态确定白帧的预定亮度值，通过在利用镜头进行拍摄之前获取白帧，并将该白帧分割成多个白帧单元，并获取每一个白帧单元的亮度均值，将该亮度均值与白帧的预定亮度值进行比较，如果两者之差大于预定阈值，则说明有斑点图像存在于该白帧单元中，由此判定镜头上存在斑点。
在判定镜头上存在斑点的情况下，获取所述斑点的属性信息，以便在后续成像过程中对图像进行相关等效去除处理。在此，斑点的属性信息可以包括斑点的位置、大小和亮度值。通过获取斑点的位置和大小可以在对斑点处的图像信息进行处理时更有针对性，使得处理结果更加准确，通过获取斑点的亮度值能够为图像中斑点图像的处理提供准确的补偿值，以便最佳地还原图像。
以下将根据斑点大小分两种情况对根据本发明的成像方法中的斑点等效去除处理的具体过程进行说明。也就是说，根据本发明的成像方法中的在第一图像上进行斑点等效去除处理的步骤包括判断斑点的图像的大小，在斑点的图像的大小不大于5×5像素时，判定斑点为较小斑点，在斑点的图像的大小大于5×5像素时，判定斑点为较大斑点。当然，在此也可以采用其他的分类标准，按照多大尺寸分类可以根据实际情况来确定。在判定斑点为较大斑点的情况下，又可以分为两种状态，即拍摄静态图像的状态和拍摄动态图像的状态，以下将分别进行说明。
在判定斑点为较小斑点的情况下，对第一图像进行静态坏点校正处理，其中，对第一图像进行静态坏点校正处理的具体步骤可以包括将斑点视为镜头的坏点，并建立坏点补偿表；根据坏点补偿表对第一图像上的相应位置进行坏点补偿。这种斑点等效去除处理采用的原理即为镜头的静态坏点校正处理的原理，其可以利用镜头自身的坏点补偿表，并将镜头上的斑点作为坏点补充到镜头的坏点补偿表中，通过查找坏点补偿表的方式对斑点的图像进行补偿。当然，也可以建立新的坏点补偿表，以便通过新的坏点补偿表进行补偿值的查找。
上述坏点补偿表包括斑点的图像的亮度值与光量补偿量之间的关系，根据坏点补偿表对第一图像上的相应位置进行坏点补偿包括根据斑点的图像的亮度值对第一图像上的相应位置补偿相对应的光量补偿量。在此可以通过对不同的斑点进行打光拍照，以测量斑点的图像的亮度值与没有斑点的图像的亮度值之间的关系，并基于此确定光量补偿量，并对图像上的与斑点相对应的位置补偿相应的光量补偿量。
在第二种情况下，即在判定斑点为较大斑点的情况下，当判断镜头拍摄静态图像时，对第一图像进行运动补偿处理，该运动补偿处理包括以下步骤，首先使镜头在第一位置处拍摄上述第一图像，该第一图像的第一部分被斑点遮挡，也就是利用具有斑点的镜头进行图像的拍摄。接着，使镜头运动至第二位置处拍摄第二图像，以使第二图像中的第二部分处未被斑点遮挡，其中第二图像的第二部分与第一图像的第一部分的拍摄对象相同，也就是说，在拍摄第一图像时，存在被斑点遮挡的第一部分，在拍摄第二图像时，需要确保第一图像中的被遮挡部分完全暴露出来，以便产生在第一图像中被遮挡部分的清晰图像。最后，利用第二图像的第二部分对第一图像的第一部分进行补偿，也就是说，第二图像的第二部分与第一图像的第一部分对应了相同的拍摄对象，由此可以利用第二部分替换第一部分，从而还原了被拍摄对象的完整图像。
在此，上述第二位置尽可能地靠近第一位置，以使第一图像的第一部分所对应的被拍摄对象在第二图像中刚好完全暴露。在对被拍摄对象进行拍摄的过程中，由于拍摄位置的不同，所拍摄的对象的图像会出现差别，比如对于同一被拍摄对象，镜头在被拍摄对象的正前面和与所述正前面成30度角的方向上所拍摄的图像是不同的，为了使用于对第一图像进行补偿的第二图像中的第二部分尽可能接近第一图像中的第一部分所对应的拍摄对象的清晰图像，应使第二位置尽量地靠近第一位置，由此使得补偿后的图像不会在其第一部分处出现显示突兀的现象。
另外，对第一图像进行运动补偿处理的步骤还可以包括使镜头运动至第三或更多个位置处，并拍摄第三或更多个图像，以利用第三或更多个图像对第一图像进行补偿。由于镜头上可能存在不止一个斑点，在镜头上存在两个或更多斑点的情况下，如果在镜头移动一次进行拍摄不能完全弥补第一图像中被斑点遮挡的全部部分时，可以使镜头运动至第三位置或运动至更多个位置，以使镜头在每一个位置所拍摄的图像用于补偿第一图像中的至少一个斑点遮挡部分。
执行斑点等效去除处理的另一种状态是在判定斑点为较大斑点时镜头拍摄动态图像的情况，此时，在第一图像上进行斑点等效去除处理的步骤具体包括：在利用镜头对拍摄对象进行拍摄之前建立斑点亮度补偿表；以及在对拍摄对象进行拍摄时，根据斑点亮度补偿表对第一图像进行亮度补偿。通过获取斑点的图像亮度值，在斑点亮度补偿表中进行查询，查询到与该亮度值相对应的亮度补偿值，对第一图像进行亮度补偿。
该斑点亮度补偿表包括斑点的图像的亮度值与亮度补偿值之间的关系，根据斑点亮度补偿表对第一图像进行补偿的步骤包括根据所述斑点的图像的亮度值在所述斑点亮度补偿表中选择相应的亮度补偿值，为第一图像补偿所述亮度补偿值。建立斑点亮度补偿表的步骤包括在镜头上照射不同强度的光，并在每一种强度的光照射时获取白帧；根据所照射的光的强度与相应光照强度下白帧中的斑点的亮度值建立光照强度与亮度补偿值之间的关系，以形成斑点亮度补偿表。由此，可以根据对拍摄对象进行拍摄时的光照强度来对第一图像中的斑点图像进行亮度补偿。进一步地，建立斑点亮度补偿表的步骤还包括在不同的镜头环境下建立多级亮度补偿表，不同的镜头环境包括镜头上具有不同的斑点。在此，镜头上具有不同的斑点指的是镜头上可能存在大小和厚度不同的斑点，使得斑点对光的遮挡程度不同，因此可以对多个不同的斑点进行光照测试，以便获得不同的光照条件以及不同的斑点条件下光照强度与亮度补偿值之间的关系。
如上所述的拍摄装置可以搭载在可移动物体上，以便通过可移动物体将拍摄装置运送至需要进行拍摄的位置。由于在可移动物体携带拍摄装置运动至拍摄位置的过程中，镜头存在被污染的可能，也就是有可能在镜头上粘附尘土等而形成斑点，由此对拍摄装置的成像产生影响。在此，为了消除拍摄装置的镜头在运输过程中被污染的风险，在为拍摄装置的镜头提供预定亮度的拍摄条件之前，使可移动物体运动至拍摄位置。也就是说，在拍摄白帧以判断镜头上是否存在斑点之前，使搭载有拍摄装置的可移动物体运动至拍摄位置，由于拍摄装置已经处于拍摄位置，因此镜头被进一步污染的可能性较小，此时对镜头上的斑点进行测试，并依据该测试进行画质补偿将是准确的。在此，可移动物体包括无人机。
本文中所描述的实施例可以适用于任何可移动物体。以下以搭载在无人机上的拍摄装置为例对根据本发明的成像方法的一个具体实施例进行说明。
图3示出了根据本发明的实施例的包括载体110和搭载物120的可移动物体100。尽管可移动物体100被描绘为无人飞行器，但是该描述并非旨在限制，并且可以使用任何合适类型的可移动物体。本领域技术人员将理解，在无人飞行器的背景下描述的任何实施例可以应用于任何合适的可移动物体。在一些实例中，可以在可移动物体100上提供比如为拍摄装置的搭载物120，而不需要载体110，载体110比如可以包括云台。可移动物体100可以包括推进机构130、传感系统140和通信系统150。
在此，推进机构130可以包括一个或多个旋翼、螺旋桨、叶片、发动机、电机、轮子、轴、磁体或喷嘴。例如，推进机构130可以是自紧式旋翼、旋翼组件或其他旋转推进单元。可移动物体100可以具有一个或更多个推进机构130。多个推进机构130可以是相同类型的，也可以是不同类型的。可以利用比如为驱动轴的任何合适的机构将推进机构130安装在可移动物体100上。推进机构130可以安装在可移动物体100的任何合适的部分上，比如，底部、前部、后部、侧面或其合适的组合上。
在一些实施例中，推进机构130可以使可移动物体100从表面垂直起飞或在表面上垂直着陆，而不需要可移动物体100的任何水平移动(例如，不沿着跑道行驶)。可选地，可以操作推进机构130以允许可移动物体100在指定位置和/或以指定朝向悬停在空中。推进机构130中的一个或多个可以独立于其它推进机构来控制。备选地，推进机构130可以配置为被同时控制。例如，可移动物体100可以具有多个水平定向旋翼，其可以向可移动物体100提供提升和/或推力。可以致动多个水平定向旋翼，以向可移动物体100提供垂直起飞、垂直着陆和悬停能力。在一些实施例中，一个或多个水平定向旋翼可以沿顺时针方向旋转，而一个或多个水平旋翼可以沿逆时针方向旋转。例如，顺时针旋翼的数量可以等于逆时针旋翼的数量。每个水平定向旋翼的旋转速率可以独立地变化，以便控制由每个旋翼产生的升力和/或推力，从而调节可移动物体100的空间部署、速度和/或加速度。
传感系统140可以包括一个或多个传感器，其可以感测可移动物体100的空间部署、速度和/或加速度。一个或多个传感器可以包括全球定位系统传感器、运动传感器、惯性传感器、近距离传感器或图像传感器。由传感系统140提供的感测数据可以用于控制可移动物体100的空间部署、速度和/或取向。备选地，传感系统140可以用于提供关于可移动物体100周围的环境的数据，诸如，天气条件，对潜在障碍物的接近度、地理特征的位置、人造结构的位置等等。
通信系统150经由无线信号154与终端152进行通信。通信系统150和终端152可以包括适用于无线通信的任意数量的发射机、接收机和/或收发机。通信可以是单向通信，以便只能在一个方向上传输数据。例如，单向通信可以仅涉及可移动物体100向终端152发送数据，或仅终端152向可移动物体100发送数据。可以从通信系统150的一个或多个发射机向终端152的一个或多个接收机发送数据，或反之亦然。另外，通信也可以是双向通信，使得可以在可移动物体100和终端152之间的两个方向上传送数据。双向通信可以涉及从通信系统150的一个或多个发射机向终端152的一个或多个接收机发送数据，且反之亦然。
在一些实施例中，终端152可以向可移动物体100、载体110和搭载物120中的一个或多个提供控制数据，并从可移动物体100、载体110和搭载物120中的一个或多个接收信息(例如，可移动物体100、载体110或搭载物120的位置和/或运动信息；由搭载物120感测的数据，诸如由比如为摄像装置的搭载物捕获的图像数据)。在一些实例中，来自终端152的控制数据可以包括针对可移动物体100、载体110和/或搭载物120的相对位置、移动、致动或控制的指令。例如，控制数据可以引起修改可移动物体100的位置和/或朝向(例如，通过对推进机构130的控制)，或搭载物120相对于可移动物体100的移动(例如，通过对载体110的控制)。来自终端152的控制数据可以用于控制诸如为摄像装置或其他图像捕获设备的搭载物的操作(例如，拍摄静止或运动的图像，放大或缩小，打开或关闭，切换成像模式，改变图像分辨率，改变焦点，改变景深，改变曝光时间，改变视角或视野)。在一些实例中，来自可移动物体100、载体110和/或搭载物120的通信可以包括来自一个或多个传感器(例如，传感系统140的传感器或搭载物120的传感器)的信息。通信可以包括来自一个或多个不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、近距离传感器或图像传感器)的感测信息。这种信息可以涉及可移动物体100、载体110和/或搭载物120的定位(例如，位置和/或朝向)、移动或加速度。来自搭载物120的信息可以包括由搭载物120捕获的数据或搭载物120的感测状态。通过终端152进行发送的控制数据可以被配置为控制可移动物体100、载体110或搭载物120中的一个或多个的状态。可替代地，载体110和搭载物120还可以配置为包括各自的通信模块，并分别与终端152进行通信，使得该终端152可以单独地与可移动物体100、载体110和搭载物120中的每一个进行通信并对其进行控制。
在一些实施例中，可移动物体100可以被配置为与除了终端152之外的另一远程设备进行通信。终端152还可以被配置为与另一远程设备以及可移动物体100进行通信。例如，可移动物体100和/或终端152可以与另一可移动物体或另一可移动物体的载体或搭载物进行通信。当需要时，远程设备可以是第二终端或其他计算设备(例如，计算机、膝上型计算机、平板电脑、手机或其他移动设备)。远程设备可以被配置为向可移动物体100传送数据，从可移动物体100接收数据，将数据发送到终端152，和/或从终端152接收数据。可选地，远程设备可以连接到互联网或其他电信网络，使得从可移动物体100和/或终端152接收的数据可以上传到网站或服务器。
在利用根据本发明的拍摄装置进行拍摄之前，可以在拍摄装置上安装具有指定亮度的灯，以便在对镜头进行标定时使用。在镜头清理干净的情况下开启指定亮度的灯，并控制拍摄装置拍摄白帧，对白帧的亮度进行测量，以测量所得的参考亮度值V1作为基准。另外，也可以根据镜头的状态参数直接确定其白帧的预定亮度值，作为其参考亮度值V1，用作白帧亮度的参考基准。然后通过终端或控制器使无人机飞行至预定的拍摄位置，在无人机飞行至预定拍摄位置的过程中可能面临镜头被污染的风险，使得镜头上有可能存在斑点。当无人机到达指定的拍摄位置之后，控制具有指定亮度的灯开启，并同时控制拍摄装置的镜头的快门，以在灯开启的情况下拍摄白帧。在此，该具有指定亮度的灯所发出的是强光，由此可以尽可能多地排除外界景物的影响。在此需要说明的是，在获取白帧的亮度参考值V1时所采用的光的强度应该与执行拍摄作业之前获取白帧时所采用的光的强度相同。
接着，无人机的处理单元对所拍摄的白帧进行分析和处理，以判断所获取的白帧中是否存在斑点的图像。当判断白帧中存在斑点的图像时，则获取斑点的图像的位置、大小以及亮度等信息。后续无人机可以执行正常拍摄或进行辅助拍摄，在此所述的辅助拍摄指的是为了对所拍摄的图像进行斑点等效去除处理而需要的拍摄。无人机根据所获取的斑点的图像的位置、大小以及亮度等信息，对所拍摄的所需场景的图像进行斑点等效去除处理。最后，通过拍摄装置的图像处理单元进行处理以生成能够进行展示的图像。当然，在判断白帧中是否存在斑点的过程中如果判定不存在斑点，则可以直接进行拍摄，无需对所拍摄的图片进行斑点等效去除处理。
以下对判断白帧中是否存在斑点的图像的具体过程进行说明。在拍摄装置获取白帧之后，可以以固定大小，比如为20×20像素，将白帧分割成多个白帧单元，并计算各个白帧单元的亮度均值Vave1，将各个白帧单元的亮度均值Vave1与白帧的参考亮度值V1进行比较，在满足|V1-Vave1|＞T的情况下，判定白帧单元中存在斑点的图像，否则判定白帧单元中不存在斑点的图像，其中T为预设阈值，在此可以根据实际需求进行确定。在判定白帧单元中存在斑点图像的情况下，获取该白帧单元的位置以及该白帧单元的亮度均值，并输出备用。
在判定白帧中存在斑点图像之后，需要根据具体情况对图像进行斑点等效去除处理。首先根据斑点图像的大小分别对其进行等效去除处理，在此以5×5像素为界对较小斑点和较大斑点进行分别处理，也就是不大于5×5像素的斑点采用一种处理方式，对于大于5×5像素的斑点采用另一种处理方式。在斑点不大于5×5像素的情况下，获取斑点的位置，并将该斑点作为拍摄装置的镜头的坏点写入镜头的坏点表里，从而根据现有的静态坏点校正方法对斑点进行静态坏点校正处理，由此还原被污染的镜头拍摄的图像的真实状态。
在斑点尺寸大于5×5像素的情况下，分为两种情况进行处理。第一种情况是在拍摄静态图像时，首先获取白帧中的斑点图像的位置和大小，通过终端或控制器控制无人机飞行至预定的拍摄位置并进行拍摄，以获得第一图像(在此可称为第一帧图像)。接着，根据所获取的斑点图像的大小，控制无人机平移一小段距离，无人机平移的距离保证在第一图像中被斑点遮挡的部分刚好露出即可，然后拍摄第二图像，即第二帧图像。根据无人机平移的位移信息或者根据图像对齐算法在第二图像中查找第一图像中被斑点遮挡的部分，利用第二图像中的相关部分来补偿第一图像中的被遮挡部分。在此，为了保证能够准确地查找到第一图像中的被遮挡部分，无人机的平移距离应当尽可能地小，以使在正常情况下从第一位置拍摄的第一图像与从第二位置拍摄的第二图像尽可能地接近，使得在利用第二图像的相关部分对第一图像的被遮挡部分进行替换后不会发生图像的变形。如果在摄像装置的镜头上存在多个斑点，在通过无人机的一次平移无法满足对遮挡部分的更新的情况下，可以使无人机执行多次平移以拍摄多帧图像来对第一图像的多个斑点进行补偿，所述多次平移可以沿同一方向，也可以沿不同的方向。
对较大斑点进行等效去除处理的第二种情况是拍摄动态图像的情况。首先针对该镜头建立斑点亮度补偿表，在此可以在清理干净的镜头上照射不同强度的光，以获取不同强度的光下的白帧，并测量和记录白帧的亮度参考值V2。然后，针对镜头上的斑点向镜头上照射与上述相同的不同亮度的光，获取白帧，并测量和记录此时的亮度值Vave2，通过计算|V2-Vave2|的结果来分析斑点对图像的影响，从而建立斑点亮度补偿表。然后，当无人机飞行至需要拍摄的拍摄位置时，获取白帧以确定斑点的位置。最后根据照射的光的强度以及斑点的亮度值，在斑点亮度补偿表中查找相应的亮度补偿值，以便对图像的原始亮度值进行更新，在此依据的是第一图像中的斑点图像的更新值等于斑点原始信号值加上亮度补偿值。
本发明还涉及一种计算机可读存储介质，该计算机可读存储介质中存储有可执行指令，执行这些可执行指令能够实现如上所述的任一种成像方法。
根据本发明的一些实施例，还涉及一种成像装置200，如图4所示，示出根据本发明的成像装置200的结构框图。该成像装置200包括用于对拍摄对象进行成像的镜头210、为镜头210提供预定亮度的拍摄条件的照明单元220、控制镜头210和照明单元220以拍摄白帧的白帧拍摄控制单元230、通过对白帧的分析判断镜头210上是否存在斑点的斑点判断单元240、用于获取斑点的图像的属性信息的图像信息获取单元250、控制镜头210对拍摄对象进行拍摄以生成拍摄对象的第一图像的图像拍摄控制单元260以及对第一图像上进行斑点等效去除处理的等效去除处理单元270，等效去除处理单元270根据斑点的图像的属性信息在第一图像上进行斑点等效去除处理，以生成拍摄对象的去除斑点的图像的处理图像。
根据本发明的成像装置200可以通过白帧拍摄控制单元230控制镜头210和照明单元220来拍摄白帧，并通过斑点判断单元240判断白帧中是否存在斑点图像，进一步通过图像信息获取单元250获取斑点图像的属性信息，接着通过图像拍摄控制单元260控制镜头210进行所需对象的拍摄，以获取拍摄对象的第一图像，等效去除处理单元270则可以根据图像信息获取单元250所获取的斑点图像的属性信息对第一图像进行斑点等效去除处理，从而获得拍摄对象的清洗的图像。根据本发明的成像装置200在拍摄之前无需对镜头210进行清理，也能够获得清晰的图像，这对于设置的可移动物体上的成像装置200的拍摄操作是特别有利的，在成像装置200随可移动物体运动至拍摄位置的过程中难免会对镜头造成污染，本发明的成像装置200可以对镜头上的污染物或斑点进行识别，并对污染物或斑点的图像进行补偿处理，从而获得拍摄对象的清晰的图像，改善了成像装置200的拍摄效果，提高了成像装置200的拍摄效率，提升了搭载该成像装置200的可移动物体的用户体验。
根据本发明的成像装置200的照明单元220可以包括预定亮度的灯，比如可以为LED光源或其他类型的光源。斑点判断单元240可以包括分割模块242、亮度均值获取模块244、比较模块246和判断模块248，如图5所示，其中，分割模块242用于将白帧分割成多个白帧单元，亮度均值获取模块244用于获取每一个白帧单元的亮度均值，比较模块246用于将每一个白帧单元的亮度均值与白帧的预定亮度值进行比较，当白帧单元的亮度均值与白帧的预定亮度值之间的差值大于预定阈值时，判断模块248则判定白帧单元中存在斑点的图像。如上所述，斑点的图像的属性信息包括斑点的图像的位置、大小和亮度值。
进一步地，等效去除处理单元270包括斑点大小判断模块，该斑点大小判断模块用于判断斑点的图像的大小，在斑点的图像的大小不大于5×5像素时，判定斑点为较小斑点，在斑点的图像的大小大于5×5像素时，判定斑点为较大斑点。
在斑点大小判断模块判定斑点为较小斑点的情况下，等效去除处理单元270对第一图像进行静态坏点校正处理，在此，对第一图像进行静态坏点校正处理包括将斑点视为镜头的坏点，建立坏点补偿表，并根据坏点补偿表对第一图像上的相应位置进行坏点补偿。该坏点补偿表包括斑点的图像的亮度值与光量补偿量之间的关系，根据坏点补偿表对第一图像上的相应位置进行坏点补偿包括根据斑点的图像的亮度值对第一图像上的相应位置补偿相对应的光量补偿量。
在一些实施例中，等效去除处理单元270还可以包括图像状态判断模块，该图像状态判断模块用于在斑点大小判断模块判定斑点为较大斑点的情况下，判断镜头所拍摄的是静态图像还是动态图像，并据此对所拍摄的图像进行补偿处理。
进一步地，等效去除处理单元270还包括运动补偿模块，在图像状态判断模块判定镜头所拍摄的是静态图像的情况下，运动补偿模块对第一图像进行运动补偿处理，即，使镜头在第一位置处拍摄第一图像，在此，第一图像的第一部分被斑点遮挡，使镜头运动至第二位置处拍摄第二图像，以使第二图像中的第二部分处未被斑点遮挡，在此，第二图像的第二部分与第一图像的第一部分的拍摄对象相同，然后利用第二图像的第二部分对第一图像的第一部分进行补偿。在此，第二位置尽可能地靠近第一位置，以使第一图像的第一部分所对应的被拍摄对象在第二图像中刚好完全暴露。此外，对第一图像进行运动补偿处理还可以包括使镜头运动至第三或更多个位置处，并拍摄第三或更多个图像，以利用第三或更多个图像对第一图像进行补偿。
在一些实施例中，等效去除处理单元270还包括斑点亮度补偿模块，在图像状态判断模块判定镜头所拍摄的是动态图像的情况下，在利用镜头对拍摄对象进行拍摄之前，斑点亮度补偿模块建立斑点亮度补偿表，在对拍摄对象进行拍摄时，根据斑点亮度补偿表对第一图像进行补偿。在此，斑点亮度补偿表包括斑点的图像的亮度值与亮度补偿值之间的关系，根据斑点亮度补偿表对第一图像进行补偿包括根据斑点的亮度值在斑点亮度补偿表中选择相应的亮度补偿值，为第一图像补偿所述亮度补偿值。建立斑点亮度补偿表的过程包括在镜头上照射不同强度的光，并在每一种强度的光照射时获取白帧，根据所照射的光的强度与相应光照强度下白帧中的斑点的图像的亮度值建立光照强度与亮度补偿值之间的关系，以形成斑点亮度补偿表。建立斑点亮度补偿表的过程还可以包括在不同的镜头环境下建立多级亮度补偿表，不同的镜头环境包括镜头上具有不同的斑点。
在一些实施例中根据本发明的成像装置200搭载在可移动物体上。在通过照明单元220为镜头210提供预定亮度的拍摄条件之前，使可移动物体运动至拍摄位置，可移动物体包括无人飞行器。
本发明还涉及一种成像设备，该成像设备包括如上所述的成像装置200，由于其包括前述成像装置200，因此其能够带来该成像装置所具有的全部有益效果，在此不再赘述。
本发明还公开了一种能够成像的可移动物体100，该可移动物体100包括载体110、由载体110承载的搭载物120、用于为可移动物体100提供动力的推进机构130、设置在载体110上的传感系统140以及设置在载体110上的通信系统150，当然，传感系统140和通信系统150也可以设置在搭载物120或可移动物体100的其他结构上，这些设置方式都在本发明的保护范围内，在此，搭载物120可以包括如上所述的成像装置200，该成像装置200可以通过载体110的云台设置在可移动物体100上。该可移动物体可以是无人飞行器。本发明还涉及一种包括上述成像装置200的无人飞行器。
本说明书的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或单元必须具有特定的方向、以特定的方位构造和操作，因此，不能理解为对本发明的限制。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (40)

1.一种成像方法，其特征在于，所述成像方法包括：
为拍摄装置的镜头提供预定亮度的拍摄条件；
在所述拍摄条件下开启所述镜头以拍摄白帧；
通过对所述白帧的分析判断所述镜头上是否存在斑点；
在判断所述镜头上存在斑点的情况下，获取所述斑点的图像的属性信息；
利用所述镜头对拍摄对象进行拍摄，以生成所述拍摄对象的第一图像；以及
根据所述斑点的图像的属性信息，在所述第一图像上进行斑点等效去除处理，以生成所述拍摄对象的去除所述斑点的图像的处理图像。
2.根据权利要求1所述的成像方法，其特征在于：
为所述拍摄装置的镜头提供预定亮度的拍摄条件包括在所述拍摄装置上安装预定亮度的灯。
3.根据权利要求1所述的成像方法，其特征在于：
通过对所述白帧的分析判断所述镜头上是否存在斑点的步骤包括：
将所述白帧分割成多个白帧单元；
获取每一个白帧单元的亮度均值；
将所述每一个白帧单元的亮度均值与所述白帧的预定亮度值进行比较；以及
当所述白帧单元的亮度均值与所述白帧的预定亮度值之间的差值大于预定阈值时，判定所述镜头上存在斑点。
4.根据权利要求1所述的成像方法，其特征在于：
获取所述斑点的图像的属性信息包括获取所述斑点的图像的位置、大小和亮度值。
5.根据权利要求4所述的成像方法，其特征在于：
在所述第一图像上进行斑点等效去除处理的步骤包括判断所述斑点的图像的大小，在所述斑点的图像的大小不大于5×5像素时，判定所述斑点为较小斑点，在所述斑点的图像的大小大于5×5像素时，判定所述斑点为较大斑点。
6.根据权利要求5所述的成像方法，其特征在于：
在判定所述斑点为较小斑点的情况下，对所述第一图像进行静态坏点校正处理，其中，对所述第一图像进行静态坏点校正处理包括：
将所述斑点视为所述镜头的坏点，并建立坏点补偿表；以及
根据所述坏点补偿表对所述第一图像上的相应位置进行坏点补偿。
7.根据权利要求6所述的成像方法，其特征在于：
所述坏点补偿表包括所述斑点的图像的亮度值与光量补偿量之间的关系，所述根据所述坏点补偿表对所述第一图像上的相应位置进行坏点补偿包括根据所述斑点的图像的亮度值对所述第一图像上的相应位置补偿相对应的光量补偿量。
8.根据权利要求5所述的成像方法，其特征在于：
在判定所述斑点为较大斑点的情况下，还包括判断所述镜头拍摄静态图像还是拍摄动态图像的步骤。
9.根据权利要求8所述的成像方法，其特征在于：
在判定所述镜头拍摄静态图像的情况下，对所述第一图像进行运动补偿处理，其中，对所述第一图像进行运动补偿处理包括：
使所述镜头在第一位置处拍摄所述第一图像，所述第一图像的第一部分被所述斑点遮挡，
使所述镜头运动至第二位置处拍摄第二图像，以使所述第二图像中的第二部分处未被所述斑点遮挡，其中所述第二图像的第二部分与所述第一图像的所述第一部分的拍摄对象相同；以及
利用所述第二图像的第二部分对所述第一图像的第一部分进行补偿。
10.根据权利要求9所述的成像方法，其特征在于：
所述第二位置尽可能地靠近所述第一位置，以使所述第一图像的所述第一部分所对应的被拍摄对象在所述第二图像中刚好完全暴露。
11.根据权利要求9所述的成像方法，其特征在于：
对所述第一图像进行运动补偿处理还包括：
使所述镜头运动至第三或更多个位置处，并拍摄第三或更多个图像，以利用所述第三或更多个图像对所述第一图像进行补偿。
12.根据权利要求8所述的成像方法，其特征在于：
在判定所述镜头拍摄动态图像的情况下，
在所述第一图像上进行斑点等效去除处理的步骤还包括：
在利用所述镜头对拍摄对象进行拍摄之前建立斑点亮度补偿表；以及
在对所述拍摄对象进行拍摄时，根据所述斑点亮度补偿表对所述第一图像进行补偿。
13.根据权利要求12所述的成像方法，其特征在于：
所述斑点亮度补偿表包括所述斑点的图像的亮度值与亮度补偿值之间的关系，根据所述斑点亮度补偿表对所述第一图像进行补偿的步骤包括根据所述斑点的亮度值在所述斑点亮度补偿表中选择相应的亮度补偿值，为所述第一图像补偿所述亮度补偿值。
14.根据权利要求12所述的成像方法，其特征在于：
所述建立斑点亮度补偿表的步骤包括：
在所述镜头上照射不同强度的光，并在每一种强度的光照射时获取白帧；以及
根据所照射的光的强度与相应光照强度下所述白帧中的斑点的亮度值建立光照强度与亮度补偿值之间的关系，以形成所述斑点亮度补偿表。
15.根据权利要求14所述的成像方法，其特征在于：
所述建立斑点亮度补偿表的步骤还包括：
在不同的镜头环境下建立多级亮度补偿表，所述不同的镜头环境包括镜头上具有不同的斑点。
16.根据权利要求1-15中任一项所述的成像方法，其特征在于：
所述拍摄装置搭载在可移动物体上。
17.根据权利要求16所述的成像方法，其特征在于：
在为所述拍摄装置的镜头提供预定亮度的拍摄条件之前，所述方法还包括使所述可移动物体运动至拍摄位置的步骤。
18.根据权利要求16所述的成像方法，其特征在于：
所述可移动物体包括无人飞行器。
19.一种计算机可读存储介质，所述计算机可读存储介质存储有可执行指令，其特征在于，
执行所述可执行指令以实现根据权利要求1至18中任一项所述的成像方法。
20.一种成像装置，其特征在于，所述成像装置包括：
镜头，所述镜头用于对拍摄对象进行成像；
照明单元，所述照明单元为所述镜头提供预定亮度的拍摄条件；
白帧拍摄控制单元，所述白帧拍摄控制单元用于控制所述镜头和照明单元以拍摄白帧；
斑点判断单元，所述斑点判断单元设置成通过对所述白帧的分析判断所述镜头上是否存在斑点；
图像信息获取单元，所述图像信息获取单元设置成在判断所述镜头上存在斑点的情况下，获取所述斑点的图像的属性信息；
图像拍摄控制单元，所述图像拍摄控制单元设置成控制所述镜头对拍摄对象进行拍摄，以生成所述拍摄对象的第一图像；以及
等效去除处理单元，所述等效去除处理单元设置成根据所述斑点的图像的属性信息，在所述第一图像上进行斑点等效去除处理，以生成所述拍摄对象的去除所述斑点的图像的处理图像。
21.根据权利要求20所述的成像装置，其特征在于，
所述照明单元包括预定亮度的灯。
22.根据权利要求20所述的成像装置，其特征在于，
所述斑点判断单元包括：
分割模块，所述分割模块用于将所述白帧分割成多个白帧单元；
亮度均值获取模块，所述亮度均值获取模块用于获取每一个白帧单元的亮度均值；
比较模块，所述比较模块用于将所述每一个白帧单元的亮度均值与所述白帧的预定亮度值进行比较；以及
判断模块，当所述白帧单元的亮度均值与所述白帧的预定亮度值之间的差值大于预定阈值时，所述判断模块判定所述白帧单元中存在斑点的图像。
23.根据权利要求20所述的成像装置，其特征在于：
所述斑点的图像的属性信息包括所述斑点的图像的位置、大小和亮度值。
24.根据权利要求21所述的成像装置，其特征在于：
所述等效去除处理单元包括斑点大小判断模块，所述斑点大小判断模块用于判断所述斑点的图像的大小，在所述斑点的图像的大小不大于5×5像素时，判定所述斑点为较小斑点，在所述斑点的图像的大小大于5×5像素时，判定所述斑点为较大斑点。
25.根据权利要求24所述的成像装置，其特征在于：
在所述斑点大小判断模块判定所述斑点为较小斑点的情况下，所述等效去除处理单元对所述第一图像进行静态坏点校正处理，其中，对所述第一图像进行静态坏点校正处理包括：
将所述斑点视为所述镜头的坏点，建立坏点补偿表；以及
根据所述坏点补偿表对所述第一图像上的相应位置进行坏点补偿。
26.根据权利要求25所述的成像装置，其特征在于：
所述坏点补偿表包括所述斑点的图像的亮度值与光量补偿量之间的关系，所述根据所述坏点补偿表对所述第一图像上的相应位置进行坏点补偿包括根据所述斑点的图像的亮度值对所述第一图像上的相应位置补偿相对应的光量补偿量。
27.根据权利要求24所述的成像装置，其特征在于：
所述等效去除处理单元还包括图像状态判断模块，所述图像状态判断模块用于在所述斑点大小判断模块判定所述斑点为较大斑点的情况下，判断所述镜头所拍摄的是静态图像还是动态图像。
28.根据权利要求27所述的成像装置，其特征在于：
所述等效去除处理单元还包括运动补偿模块，在所述图像状态判断模块判定所述镜头所拍摄的是静态图像的情况下，所述运动补偿模块对所述第一图像进行运动补偿处理，其中，对所述第一图像进行运动补偿处理包括：
使所述镜头在第一位置处拍摄所述第一图像，所述第一图像的第一部分被所述斑点遮挡，
使所述镜头运动至第二位置处拍摄第二图像，以使所述第二图像中的第二部分处未被所述斑点遮挡，其中所述第二图像的第二部分与所述第一图像的所述第一部分的拍摄对象相同；以及
利用所述第二图像的第二部分对所述第一图像的第一部分进行补偿。
29.根据权利要求28所述的成像装置，其特征在于：
所述第二位置尽可能地靠近所述第一位置，以使所述第一图像的所述第一部分所对应的被拍摄对象在所述第二图像中刚好完全暴露。
30.根据权利要求28所述的成像装置，其特征在于：
对所述第一图像进行运动补偿处理还包括：
使所述镜头运动至第三或更多个位置处，并拍摄第三或更多个图像，以利用所述第三或更多个图像对所述第一图像进行补偿。
31.根据权利要求27所述的成像装置，其特征在于：
所述等效去除处理单元还包括斑点亮度补偿模块，在所述图像状态判断模块判定所述镜头所拍摄的是动态图像的情况下，
在利用所述镜头对拍摄对象进行拍摄之前，所述斑点亮度补偿模块建立斑点亮度补偿表，并且在对所述拍摄对象进行拍摄时，根据所述斑点亮度补偿表对所述第一图像进行补偿。
32.根据权利要求31所述的成像装置，其特征在于：
所述斑点亮度补偿表包括所述斑点的图像的亮度值与亮度补偿值之间的关系，根据所述斑点亮度补偿表对所述第一图像进行补偿包括根据所述斑点的亮度值在所述斑点亮度补偿表中选择相应的亮度补偿值，为所述第一图像补偿所述亮度补偿值。
33.根据权利要求31所述的成像装置，其特征在于：
建立斑点亮度补偿表包括：
在所述镜头上照射不同强度的光，并在每一种强度的光照射时获取白帧；以及
根据所照射的光的强度与相应光照强度下所述白帧中的斑点的亮度值建立光照强度与亮度补偿值之间的关系，以形成所述斑点亮度补偿表。
34.根据权利要求33所述的成像装置，其特征在于：
建立斑点亮度补偿表还包括：
在不同的镜头环境下建立多级亮度补偿表，所述不同的镜头环境包括镜头上具有不同的斑点。
35.根据权利要求20-34中任一项所述的成像装置，其特征在于：
所述成像装置搭载在可移动物体上。
36.根据权利要求35所述的成像装置，其特征在于：
在通过所述照明单元为所述镜头提供预定亮度的拍摄条件之前，使所述可移动物体运动至拍摄位置。
37.根据权利要求35所述的成像装置，其特征在于：
所述可移动物体包括无人飞行器。
38.一种成像设备，其特征在于，所述成像设备包括根据权利要求20-37中任一项所述的成像装置。
39.一种可移动物体，包括载体、由所述载体承载的搭载物、用于为所述可移动物体提供动力的推进机构、设置在所述载体上的传感系统和通信系统，其特征在于，所述搭载物包括根据权利要求20-37中任一项所述的成像装置。
40.一种无人飞行器，其特征在于，所述无人飞行器包括根据权利要求20-37中任一项所述的成像装置。
CN202080035806.8A 2020-08-17 2020-08-17 成像方法、成像装置、可移动物体和无人飞行器 Pending CN113906726A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/109522 WO2022036504A1 (zh) 2020-08-17 2020-08-17 成像方法、成像装置、可移动物体和无人飞行器

Publications (1)

Publication Number Publication Date
CN113906726A true CN113906726A (zh) 2022-01-07

Family

ID=79186964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080035806.8A Pending CN113906726A (zh) 2020-08-17 2020-08-17 成像方法、成像装置、可移动物体和无人飞行器

Country Status (2)

Country Link
CN (1) CN113906726A (zh)
WO (1) WO2022036504A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290994A (ja) * 2001-03-26 2002-10-04 Sharp Corp 小型カメラモジュールの異物検査方法およびその異物検査装置
CN102693534A (zh) * 2012-05-25 2012-09-26 北京航空航天大学 一种基于图像修补技术的快速去除图像污点的方法
CN107404647A (zh) * 2016-05-20 2017-11-28 中兴通讯股份有限公司 镜头状态检测方法及装置
CN109816621A (zh) * 2017-11-16 2019-05-28 富士通株式会社 异常光斑的检测装置及方法、电子设备
CN110463199A (zh) * 2018-04-10 2019-11-15 深圳市大疆创新科技有限公司 图像传感器坏点检测方法、拍摄装置、无人机及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111532B (zh) * 2010-05-27 2013-03-27 周渝斌 相机镜头遮挡检测系统及方法
CN103245676B (zh) * 2013-03-23 2015-05-20 明基材料有限公司 光学镜片脏污检测方法
US10191356B2 (en) * 2014-07-04 2019-01-29 Light Labs Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
CN110807731B (zh) * 2018-07-20 2023-06-30 宁波舜宇光电信息有限公司 用于补偿图像坏点的方法、装置、系统及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290994A (ja) * 2001-03-26 2002-10-04 Sharp Corp 小型カメラモジュールの異物検査方法およびその異物検査装置
CN102693534A (zh) * 2012-05-25 2012-09-26 北京航空航天大学 一种基于图像修补技术的快速去除图像污点的方法
CN107404647A (zh) * 2016-05-20 2017-11-28 中兴通讯股份有限公司 镜头状态检测方法及装置
CN109816621A (zh) * 2017-11-16 2019-05-28 富士通株式会社 异常光斑的检测装置及方法、电子设备
CN110463199A (zh) * 2018-04-10 2019-11-15 深圳市大疆创新科技有限公司 图像传感器坏点检测方法、拍摄装置、无人机及存储介质

Also Published As

Publication number Publication date
WO2022036504A1 (zh) 2022-02-24

Similar Documents

Publication Publication Date Title
US9418299B2 (en) Surveillance process and apparatus
CN104154997A (zh) 一种无人机载轻小型自稳定航空多光谱成像系统
KR102228194B1 (ko) 카메라 초점 유지 장치 및 그 방법
WO2014181726A1 (ja) 背景差分抽出装置及び背景差分抽出方法
WO2021035744A1 (zh) 可移动平台的图像采集方法、设备及存储介质
US11228710B1 (en) Configuring imaging devices based on control signals
CN113286089B (zh) 一种控制移动设备拍摄的方法、控制装置及控制系统
CN110720209B (zh) 一种图像处理方法及设备
US11089235B2 (en) Systems and methods for automatic detection and correction of luminance variations in images
CN111953892A (zh) 无人飞行器、检查方法及检查程序
US20220358679A1 (en) Parameter Calibration Method and Apparatus
CN109765747B (zh) 一种航空图像检焦方法、检焦系统及相机
WO2022151473A1 (zh) 拍摄控制方法、拍摄控制装置及云台组件
CN113906726A (zh) 成像方法、成像装置、可移动物体和无人飞行器
KR102047840B1 (ko) 항공사진 촬영을 위한 중심 초점 확보형 카메라 시스템
US20220345607A1 (en) Image exposure method and device, unmanned aerial vehicle
WO2022109860A1 (zh) 跟踪目标对象的方法和云台
CN110891149B (zh) 高动态范围图像自动曝光方法及无人飞行器
WO2021093578A1 (zh) 高动态范围图像曝光控制方法、航拍相机及无人飞行器
JPWO2018158820A1 (ja) 距離算出システム、方法及びプログラム
CN113329169B (zh) 成像方法、成像控制装置及计算机可读存储介质
CN102023459B (zh) 利用闪光灯辅助侦测焦距的方法
JP2017062124A (ja) 撮像装置
CN117294963A (zh) 一种基于动态视觉传感器与图像传感器融合的稳像方法
CN116805987A (zh) 一种继电保护柜端子排全景图采集系统及其采集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220107