CN117881944A - 具有共享镜的超级相机 - Google Patents
具有共享镜的超级相机 Download PDFInfo
- Publication number
- CN117881944A CN117881944A CN202180101954.XA CN202180101954A CN117881944A CN 117881944 A CN117881944 A CN 117881944A CN 202180101954 A CN202180101954 A CN 202180101954A CN 117881944 A CN117881944 A CN 117881944A
- Authority
- CN
- China
- Prior art keywords
- scan
- camera
- angle
- scanning
- mirror structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 407
- 230000003287 optical effect Effects 0.000 claims abstract description 137
- 238000005070 sampling Methods 0.000 claims abstract description 63
- 230000033001 locomotion Effects 0.000 claims description 176
- 238000000034 method Methods 0.000 claims description 145
- 239000011521 glass Substances 0.000 claims description 54
- 230000002829 reductive effect Effects 0.000 claims description 42
- 239000000463 material Substances 0.000 claims description 38
- 238000005286 illumination Methods 0.000 claims description 30
- 230000008859 change Effects 0.000 claims description 21
- 230000036961 partial effect Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 238000002310 reflectometry Methods 0.000 claims description 15
- 230000007423 decrease Effects 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 11
- 238000005096 rolling process Methods 0.000 claims description 11
- 230000006641 stabilisation Effects 0.000 claims description 7
- 238000011105 stabilization Methods 0.000 claims description 7
- 230000000873 masking effect Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 28
- 230000008569 process Effects 0.000 description 14
- WYTGDNHDOZPMIW-RCBQFDQVSA-N alstonine Natural products C1=CC2=C3C=CC=CC3=NC2=C2N1C[C@H]1[C@H](C)OC=C(C(=O)OC)[C@H]1C2 WYTGDNHDOZPMIW-RCBQFDQVSA-N 0.000 description 13
- 238000012937 correction Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 11
- 238000013500 data storage Methods 0.000 description 11
- 238000013461 design Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 7
- 230000001788 irregular Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 230000000087 stabilizing effect Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 230000001934 delay Effects 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 239000005350 fused silica glass Substances 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 229920000049 Carbon (fiber) Polymers 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 239000006117 anti-reflective coating Substances 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 229910052790 beryllium Inorganic materials 0.000 description 1
- ATBAMAFKBVZNFJ-UHFFFAOYSA-N beryllium atom Chemical compound [Be] ATBAMAFKBVZNFJ-UHFFFAOYSA-N 0.000 description 1
- 239000004917 carbon fiber Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 208000007345 glycogen storage disease Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- 239000005304 optical glass Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012892 rational function Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- HBMJWWWQQXIZIP-UHFFFAOYSA-N silicon carbide Chemical compound [Si+]#[C-] HBMJWWWQQXIZIP-UHFFFAOYSA-N 0.000 description 1
- 229910010271 silicon carbide Inorganic materials 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/10—Scanning systems
- G02B26/105—Scanning systems with one or more pivoting mirrors or galvano-mirrors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
- G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3826—Terrain data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3852—Data derived from aerial or satellite images
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/10—Scanning systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/10—Scanning systems
- G02B26/101—Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/18—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors
- G02B7/182—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors for mirrors
- G02B7/1821—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors for mirrors for rotating or oscillating mirrors
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/006—Apparatus mounted on flying objects
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/221—Remote-control arrangements
- G05D1/222—Remote-control arrangements operated by humans
- G05D1/223—Command input arrangements on the remote controller, e.g. joysticks or touch screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/51—Housings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
- B64U2101/32—UAVs specially adapted for particular uses or applications for imaging, photography or videography for cartography or topography
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/10—Scanning systems
- G02B26/12—Scanning systems using multifaceted mirrors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/221—Remote-control arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
一种成像系统可以包括第一和第二相机,所述第一和第二相机被配置为分别在对象区域上沿着第一和第二扫描路径捕获第一和第二倾斜图像集合。驱动耦合到扫描镜结构,该扫描镜结构具有至少一个镜面,并且被配置为基于扫描角度绕扫描轴旋转该结构。第一和第二相机每个具有与扫描轴成斜角设置的光轴,并包括相应的镜头以将从镜面反射的第一和第二成像光束聚焦到位于每个相机中的图像传感器。由它们相应的相机捕获的第一和第二成像光束可以根据扫描角度而变化。每个图像传感器通过以第一扫描角度值和第二扫描角度值对成像光束采样来捕获相应倾斜图像集合。
Description
技术领域
本发明涉及用于从航空照片创建正射马赛克(orthomosaics)和纹理3D模型的高效航空相机系统和高效方法。
背景技术
本文中提供的背景技术描述是为了总体呈现本公开的上下文的目的。目前署名的发明人的工作,在该背景技术部分中所描述的工作的程度上,以及该描述的在提交时可能以其他方式不符合现有技术的方面,既不明示也不暗示地被承认为针对本公开的现有技术。
可以根据航空照片创建正射照片的准确地理参考马赛克,其称为正射马赛克。在这样的情况下,这些照片可以提供一个区域(诸如地面)的有用图像。创建正射马赛克需要系统捕获感兴趣区域(ROI)的重叠航空照片,以确保完整覆盖ROI,并确保影像中存在足够的冗余度,以允许准确的光束法平差、正射校正和照片对准。
光束法平差是通过其细化地面点和相机姿态的冗余估计的过程。光束法平差可以在手动识别的地面点的位置上操作,或者越来越多地在自动识别的地面特征的位置上操作,这些地面特征在重叠的照片之间自动匹配。
重叠的航空照片通常通过在感兴趣区域上方以蜿蜒模式导航勘测飞机来捕获。勘测飞机携带航空扫描相机系统,并且蜿蜒飞行模式确保由扫描相机系统捕获的照片沿着飞行模式内的飞行路线重叠以及在相邻飞行路线之间重叠。
尽管这样的扫描相机系统在一些实例中可能有用,但是它们并非没有其缺陷。这样的缺陷的示例包括:(1)难以在载具上的配置空间中装配若干个长焦距镜头和匹配的光圈镜来捕获垂直和倾斜影像;(2)飞行器中的相机孔一般是矩形的,但是偏航校正万向节的空间要求由圆形限定,因此存在间隔效率低;以及(3)低质量图像(例如模糊、渐晕)。
发明内容
本公开针对一种成像系统,其包括:第一相机,其被配置为沿着对象区域上的第一扫描路径捕获第一倾斜图像集合;第二相机,其被配置为沿着对象区域上的第二扫描路径捕获第二倾斜图像集合;包括至少一个镜面的扫描镜结构;以及驱动,其耦合到扫描镜结构并被配置为基于扫描角度绕扫描轴旋转扫描镜结构,其中第一相机具有与扫描轴成斜角设置的光轴,并且包括镜头以将从扫描镜结构反射的第一成像光束聚焦到第一相机的图像传感器,第二相机具有与扫描轴成斜角设置的光轴,并且包括镜头以将从扫描镜结构反射的第二成像光束聚焦到第二相机的图像传感器,第一成像光束的仰角和方位角中的至少一个以及第二成像光束的仰角和方位角中的至少一个根据扫描角度而变化,第一相机的图像传感器通过以第一扫描角度值对第一成像光束采样来沿着第一扫描路径捕获第一倾斜图像集合,并且第二相机的图像传感器通过以第二扫描角度值对第二成像光束采样来沿着第二扫描路径捕获第二倾斜图像集合。
本公开针对一种成像方法,其包括:使用具有至少一个镜面的扫描镜结构将来自对象区域的第一成像光束反射到第一相机的第一图像传感器,以沿着对象区域的第一扫描路径捕获第一倾斜图像集合,第一相机包括第一镜头以将第一成像光束聚焦到第一图像传感器;使用扫描镜结构将第二成像光束从对象区域反射到第二相机的第二图像传感器,以沿着对象区域的第二扫描路径捕获第二倾斜图像集合,第二相机包括第二镜头以将第二成像光束聚焦到第二图像传感器;基于扫描角度绕扫描轴旋转扫描镜结构,其中第一和第二成像光束中的每一个的仰角和方位角中的至少一个根据扫描角度变化;将第一和第二相机中的每一个的光轴设置成与扫描轴成斜角;以及以扫描角度值对第一和第二成像光束采样。
本公开针对一种安装在载具上的成像系统,包括:第一相机,其被配置为沿着对象区域上的第一扫描路径捕获第一倾斜图像集合;包括至少一个镜面的扫描镜结构;驱动,其耦合到扫描镜结构并被配置为基于扫描角度绕扫描轴旋转扫描镜结构;以及处理电路,其被配置为至少部分地基于载具的偏航角度来设置扫描镜结构的扫描角度,其中第一相机具有与扫描轴成斜角设置的光轴,并且包括镜头以将从扫描镜结构反射的第一成像光束聚焦到第一相机的图像传感器,由第一相机捕获的第一成像光束的方位角根据载具的扫描角度和偏航角度而变化,并且第一相机的图像传感器通过以扫描角度值对第一成像光束采样来沿着第一扫描路径捕获第一倾斜图像集合。
本公开针对一种方法,包括:使用具有至少一个镜面的扫描镜结构将第一成像光束从对象区域反射到第一相机的第一图像传感器,以沿着对象区域的第一扫描路径捕获第一倾斜图像集合,第一相机包括镜头以将第一成像光束聚焦到第一图像传感器;基于扫描角度绕扫描轴旋转扫描镜结构,其中扫描角度值至少部分地基于包括扫描镜结构的载具的偏航角度来确定,其中由第一相机捕获的第一成像光束的方位角根据载具的扫描角度和偏航角度而变化;以及以扫描角度值对第一成像光束采样。
本公开针对一种成像系统,包括:相机,其被配置为沿着对象区域上的扫描路径捕获倾斜图像集合;扫描镜结构,包括用于接收来自对象区域的光的至少一个表面,所述至少一个表面具有至少一个第一镜部分、至少一个第二部分,所述至少一个第二部分由围绕第一镜部分的外围布置的低反射材料组成,该低反射材料的反射性低于第一镜部分;以及驱动,其耦合到扫描镜结构并被配置为基于扫描角度绕旋转轴旋转扫描镜结构,其中相机包括镜头以将从扫描镜结构的至少一个表面反射的成像光束聚焦到相机的图像传感器,至少一个第一镜部分被配置为在被选择用于产生该倾斜图像集合的扫描角度集合上反射来自对象区域的光;所述至少一个第二部分被配置为阻挡将绕过第一镜部分并被相机以超过该扫描角度集合的扫描角度接收的光,并且相机的图像传感器通过以扫描角度值对成像光束采样来沿着扫描路径捕获该倾斜图像集合。
本公开针对一种容纳在载具中的成像系统,包括:相机,其被配置为沿着对象区域的扫描路径捕获图像集合;包括至少一个镜面的扫描镜结构;以及驱动,其耦合到扫描镜结构并被配置为基于扫描角度绕扫描轴旋转扫描镜结构;其中相机包括镜头以将从扫描镜结构反射的成像光束聚焦到相机的图像传感器,由相机捕获的成像光束的仰角和方位角中的至少一个根据扫描角度而变化,相机的图像传感器通过以扫描角度值对成像光束采样来沿着扫描路径捕获该图像集合,通过其中安装了成像系统的受限空间的部分遮挡和扫描镜结构的扫描角度在扫描角度的预定范围之外中的至少一个来减少成像光束对图像传感器的照射,并且基于表示成像光束对图像传感器的照射的模型来选择沿着扫描路径的扫描角度值。
本公开针对一种用于渐晕减少的方法,包括:使用具有至少一个镜面的扫描镜结构将成像光束从对象区域反射到相机的图像传感器,以沿着对象区域的扫描路径捕获图像集合,其中成像光束对图像传感器的照射通过其中安装了包括扫描镜结构的成像系统的受限空间的部分遮挡和扫描镜结构的扫描角度在扫描角度的预定范围之外中的至少一个而减少;基于使成像光束的仰角和方位角中的至少一个变化的扫描角度绕扫描轴旋转扫描镜结构,其中扫描角度值至少部分地基于成像光束对图像传感器的照射的模型;以扫描角度值对成像光束采样;裁剪该图像集合中受渐晕影响的图像的至少一些部分;以及在裁剪已经去除了受渐晕影响的至少一些部分之后,将该图像集合中的一个或多个图像拼接在一起。
本公开针对一种安装在载具中的受限空间中的成像系统,包括:相机,其被配置为沿着对象区域上的扫描路径捕获图像集合,该相机包括光圈、镜头和图像传感器;包括至少一个镜面的扫描镜结构;以及驱动,其耦合到扫描镜结构并被配置为基于扫描角度绕扫描轴旋转扫描镜结构,其中镜头将从扫描镜结构的至少一个镜面反射的成像光束聚焦到图像传感器,反射到相机的成像光束的方位角和仰角中的至少一个根据扫描角度而变化,相机的图像传感器通过以扫描角度值对成像光束采样来沿着扫描路径捕获该图像集合,并且相机的光圈被配置为被动态调谐成使得以下中的至少一个成立:在该图像集合的捕获期间光圈保持在至少一个镜面到光圈上的投影几何形状内,以及光圈保持在未被扫描路径上方的受限空间遮挡的光区域内。
本公开针对一种控制安装在载具中的成像系统的方法,包括:使用扫描镜结构的至少一个镜面将成像光束从对象区域反射到相机的图像传感器,以沿着对象区域的扫描路径捕获图像集合,该相机包括镜头和光圈;基于扫描角度绕扫描轴旋转扫描镜结构,其中反射到相机的成像光束的方位角和仰角中的至少一个根据扫描角度而变化;以扫描角度值对成像光束采样;以及动态地调谐相机的光圈,使得以下中的至少一个成立:在该图像集合的捕获期间,光圈保持在至少一个镜面到光圈上的投影几何形状内,以及光圈保持在未被扫描路径上方的受限空间遮挡的光区域内。
本公开针对一种安装在载具的受限空间中的成像系统,包括:扫描镜结构,包括至少一个镜面;相机,其被配置为沿着对象区域上的扫描路径捕获图像集合,其中该相机包括镜头以将从扫描镜结构的至少一个镜面反射的成像光束聚焦到相机的图像传感器;驱动,其耦合到扫描镜结构并被配置为基于扫描角度绕扫描轴旋转扫描镜结构;以及电路,其被配置为由于成像光束对图像传感器的照射减少而在一个或多个扫描路径位置处形成渐晕数据,并且在对应的扫描角度处根据渐晕数据更新该图像集合中的一个或多个图像的像素值,其中由相机捕获的成像光束的仰角和方位角中的至少一个根据扫描角度而变化,相机的图像传感器通过以扫描角度值对成像光束采样来沿着扫描路径捕获该图像集合,并且成像光束对图像传感器的照射减少是由其中安装了成像系统的受限空间的部分遮挡和扫描镜结构的扫描角度在扫描角度的预定范围之外中的至少一个引起的。
本公开针对一种用于渐晕减少的方法,包括:使用具有至少一个镜面的扫描镜结构将成像光束从对象区域反射到相机的图像传感器,以沿着对象区域的扫描路径捕获图像集合,该相机包括将成像光束聚焦到图像传感器的镜头;基于扫描角度绕扫描轴旋转扫描镜结构,其中成像光束的方位角和仰角中的至少一个根据扫描角度变化;由于成像光束的部分遮挡而在沿着扫描路径的一个或多个位置处形成渐晕数据,其中成像光束对图像传感器的照射减少是由其中安装了包括扫描镜结构的成像系统的受限空间的部分遮挡和扫描镜结构的扫描角度在扫描角度的预定范围之外中的至少一个引起的;以及根据渐晕数据更新该图像集合中的一个或多个图像的像素值。
本公开针对一种成像系统,包括:相机,其被配置为从来自对象区域的成像光束中捕获对象区域的图像,该相机包括图像传感器和镜头;一个或多个玻璃板,其定位在相机的图像传感器和镜头之间;一个或多个第一驱动,其耦合到一个或多个玻璃板中的每一个;包括至少一个镜面的扫描镜结构;第二驱动,其耦合到扫描镜结构并被配置为基于扫描角度绕扫描轴旋转扫描镜结构;以及运动补偿系统,其被配置为基于成像系统和对象区域的相对动态以及一个或多个玻璃板的光学属性来确定板旋转速率和板旋转角度中的至少一个;以及基于对应的板旋转速率和板旋转角度中的至少一个来控制一个或多个第一驱动以绕一个或多个预定轴旋转一个或多个玻璃板。
本公开针对一种成像方法,包括:使用扫描镜结构的至少一个镜面将成像光束从对象区域反射到相机的图像传感器,以沿着对象区域的扫描路径捕获图像集合,该相机包括镜头和图像传感器;使用相机的图像传感器从由至少一个镜面反射的来自对象区域的成像光束捕获图像;将一个或多个玻璃板定位在相机的图像传感器和镜头之间;基于相机的特性、一个或多个玻璃板的特性和定位、以及相机和对象区域的相对动态中的一个来确定板旋转速率和板旋转角度;以及基于对应的板旋转速率和板旋转角度绕一个或多个预定轴旋转一个或多个玻璃板。
附图说明
当结合随附附图考虑时,通过参考以下详细描述来提供对本公开的更完整理解,其中:
图1a示出了根据本公开的一个示例性实施例从静止飞行器取得的扫描相机系统的扫描图案;
图1b示出了根据本公开的一个示例性实施例从静止飞行器取得的扫描相机系统的重叠扫描图案集合;
图2示出了根据本公开的一个示例性实施例的飞行器可以使用扫描相机系统捕获图像的蜿蜒飞行路径;
图3示出了根据本公开的一个示例性实施例的扫描相机系统在各种地面位置处的分布视图;
图4a示出了根据本公开的一个示例性实施例的从第一视角的扫描驱动单元;
图4b示出了根据本公开的一个示例性实施例的从第二视角的扫描驱动单元;
图4c示出了根据本公开的一个示例性实施例的由扫描驱动单元从俯视图捕获的扫描图案;
图4d示出了根据本公开的一个示例性实施例的由扫描驱动单元从斜视图捕获的扫描图案;
图4e示出了根据本公开的一个示例性实施例的扫描驱动单元中扫描镜结构的第一潜在几何形状集合;
图4f示出了根据本公开的一个示例性实施例的扫描驱动单元中扫描镜结构的第二潜在几何形状集合;
图4g示出了根据本公开的一个示例性实施例的扫描镜结构和桨状襟翼的潜在几何形状;
图5a示出了根据本公开的一个示例性实施例的从第一视角的另一扫描驱动单元;
图5b示出了根据本公开的一个示例性实施例的从第二视角的扫描驱动单元;
图5c示出了根据本公开的一个示例性实施例的由扫描驱动单元从俯视图捕获的扫描图案;
图5d示出了根据本公开的一个示例性实施例由扫描驱动单元从斜视图捕获的扫描图案;
图5e示出了根据本公开的一个示例性实施例的扫描驱动单元中主镜的潜在几何形状;
图5f示出了根据本公开的一个示例性实施例的扫描驱动单元中次镜的潜在几何形状;
图6a示出了根据本公开的一个示例性实施例的从第一视角的另一扫描驱动单元;
图6b示出了根据本公开的一个示例性实施例的从第二视角的扫描驱动单元;
图6c示出了根据本公开的一个示例性实施例的由扫描驱动单元从俯视图捕获的扫描图案;
图6d示出了根据本公开的一个示例性实施例由扫描驱动单元从斜视图捕获的扫描图案;
图6e示出了根据本公开的一个示例性实施例的扫描驱动单元中主镜的潜在几何形状;
图6f示出了根据本公开的一个示例性实施例的扫描驱动单元中次镜的潜在几何形状;
图7a示出了根据本公开的一个示例性实施例的从第一视角的扫描相机系统;
图7b示出了根据本公开的一个示例性实施例的从第二视角的扫描相机系统;
图7c示出了根据本公开的一个示例性实施例的从第三视角的扫描相机系统;
图7d示出了根据本公开的一个示例性实施例的从第四视角的扫描相机系统;
图7e示出了根据本公开的一个示例性实施例的由扫描相机系统从俯视图捕获的扫描图案;
图7f示出了根据本公开的一个示例性实施例的由扫描相机系统从斜视图捕获的扫描图案;
图8a示出了根据本公开的一个示例性实施例的从具有前向运动的飞行器取得的扫描图案的俯视图和斜视图;
图8b示出了根据本公开的一个示例性实施例的从具有前向运动的飞行器取得的多个扫描图案集合的俯视图和斜视图;
图8c示出了根据本公开的一个示例性实施例的多个扫描图案集合的俯视图和斜视图;
图9示出了根据本公开的一个示例性实施例的系统示图;
图10示出了根据本公开的一个示例性实施例的另一系统示图;
图11示出了根据本公开的一个示例性实施例的另一系统示图;
图12图示了根据本公开的一个示例性实施例的光在玻璃板处的折射;
图13a从透视图示出了根据本公开的一个示例性实施例的用于扫描相机系统的相机中的运动补偿的布置;
图13b从侧视图示出了根据本公开的一个示例性实施例的用于扫描相机系统的相机中的运动补偿的该布置;
图13c从光轴向下的视图示出了根据本公开的一个示例性实施例的用于扫描相机系统的相机中的运动补偿的该布置;
图14a从透视图示出了根据本公开的一个示例性实施例的用于扫描相机系统的相机中运动补偿的另一种布置;
图14b从侧视图示出了根据本公开的一个示例性实施例的用于扫描相机系统的相机中的运动补偿的该布置;
图14c从光轴向下的视图示出了根据本公开的一个示例性实施例的用于扫描相机系统的相机中的运动补偿的该布置;
图15a从透视图示出了根据本公开的一个示例性实施例的用于扫描相机系统的相机中运动补偿的另一种布置;
图15b从侧视图示出了根据本公开的一个示例性实施例的用于扫描相机系统的相机中的运动补偿的该布置;
图15c从光轴向下的视图示出了根据本公开的一个示例性实施例的用于扫描相机系统的相机中的运动补偿的该布置;
图16示出了根据本公开的一个示例性实施例的倾斜板运动的倾斜(顶部)、倾斜速率(中部)和倾斜加速度(底部)的轨迹;
图17a示出了根据本公开的一个示例性实施例的用于运动补偿的各种对象区域投影几何形状和对应的传感器图;
图17b图示了根据本公开的一个示例性实施例的来自图17a的运动补偿像素速度(上部)以及第一和第二光学板的对应倾斜速率(下部);
图18a图示了根据本公开的一个示例性实施例的用于运动补偿的对象区域投影几何形状和对应的传感器图;
图18b图示了根据本公开的一个示例性实施例的来自图18a的运动补偿像素速度(上部)以及第一和第二光学板的对应板速率(下部);
图19a示出了根据本公开的一个示例性实施例的来自图18b的第一光学板的倾斜轨迹,其可以用于实现所需倾斜速率的运动补偿;
图19b示出了根据本公开的一个示例性实施例的来自图18b的第二光学板的倾斜轨迹,其可以用于实现所需倾斜速率的运动补偿;
图20a图示了根据本公开的一个示例性实施例的第一扫描驱动单元的像素速度和倾斜速率;
图20b图示了根据本公开的一个示例性实施例的第二扫描驱动单元的像素速度和倾斜速率;
图21a图示了根据本公开的一个示例性实施例的第一扫描驱动单元的像素速度和倾斜速率;
图21b图示了根据本公开的一个示例性实施例的第二扫描驱动单元的像素速度和倾斜速率;
图22a图示了根据本公开的一个示例性实施例的第一扫描驱动单元的像素速度和倾斜速率;
图22b图示了根据本公开的一个示例性实施例的第二扫描驱动单元的像素速度和倾斜速率;
图23a图示了根据本公开的一个示例性实施例的第一扫描驱动单元的像素速度和倾斜速率;
图23b图示了根据本公开的一个示例性实施例的第二扫描驱动单元的像素速度和倾斜速率;
图24示出了根据本公开的一个示例性实施例的扫描相机系统的视图;
图25示出了根据本公开的一个示例性实施例的在不存在滚动、俯仰或偏航的情况下勘测孔中的扫描相机系统的俯视图(上部)和仰视图(下部);
图26示出了根据本公开的一个示例性实施例的勘测孔中扫描相机系统的俯视图(上部)和仰视图(下部),其中使用稳定平台校正了滚动;
图27示出了根据本公开的一个示例性实施例的勘测孔中的扫描相机系统的俯视图(上部)和仰视图(下部),其中使用稳定平台校正了俯仰;
图28示出了根据本公开的一个示例性实施例的勘测孔中的扫描相机系统的俯视图(上部)和仰视图(下部),其中使用稳定平台校正了偏航;
图29示出了根据本公开的一个示例性实施例的勘测孔中扫描相机系统的俯视图(上部)和仰视图(下部),其中稳定平台尚未校正偏航;
图30a示出了根据本公开的一个示例性实施例的当飞行器具有偏航时扫描相机系统的扫描图案的俯视图和斜视图;
图30b示出了根据本公开的一个示例性实施例的当飞行器具有偏航时扫描相机系统的三个具有前向重叠的扫描图案集合的俯视图和斜视图;
图31示出了根据本公开的一个示例性实施例的在飞行器的偏航已通过偏移扫描角度进行校正的情况下勘测孔中的扫描相机系统的俯视图(上部)和仰视图(下部);
图32a示出了根据本公开的一个示例性实施例的当飞行器具有偏航时扫描相机系统的扫描图案的俯视图和倾斜图;
图32b示出了根据本公开的一个示例性实施例的当飞行器具有偏航时扫描相机系统的三个具有前向重叠的扫描图案集合的俯视图和斜视图;
图33a图示了根据本公开的一个示例性实施例的在没有重影图像光束的情况下捕获图像;
图33b图示了根据本公开的一个示例性实施例的在重影图像光束的情况下捕获图像;
图34a图示了根据本公开的一个示例性实施例的具有低反射率材料的混合镜;
图34b图示了根据本公开的一个示例性实施例的使用混合镜来防止重影图像;
图35a图示了根据本公开的一个示例性实施例的由勘测孔引起的渐晕;
图35b图示了根据本公开的一个示例性实施例的由勘测孔引起的渐晕;
图36a示出了根据本公开的一个示例性实施例的受渐晕影响的均匀无纹理表面的图像;
图36b图示了根据本公开的一个示例性实施例的来自图36a的图像上各种位置处的渐晕;
图36c示出了根据本公开的一个示例性实施例的使用修改的光圈获得的并具有较少渐晕的图像;
图36d示出了根据本公开的一个示例性实施例的可以限定光圈的区域的示例;
图36e示出了根据本公开的一个示例性实施例的可以限定光圈的区域的示例;
图36f示出了根据本公开的一个示例性实施例的可以限定光圈的区域的示例;
图36g示出了根据本公开的一个示例性实施例的可以限定光圈的区域的示例;
图36h示出了根据本公开的一个示例性实施例的可以限定光圈的区域的示例;
图37图示了根据本公开的一个示例性实施例的可以在已经从航空勘测中捕获图像之后执行的后处理;
图38a示出了根据本公开的一个示例性实施例的具有采样传感器像素的扫描图案集合的俯视图和斜视图;
图38b示出了根据本公开的一个示例性实施例的具有采样传感器像素的另一扫描图案集合的俯视图和斜视图;
图39a示出了根据本公开的一个示例性实施例的扫描图案集合的俯视图和斜视图,其中传感器像素以比图38a中更多数量的扫描角度进行采样;
图39b示出了根据本公开的一个示例性实施例的扫描图案集合的另一俯视图和斜视图,其中传感器像素以比图38b中更多数量的扫描角度进行采样;
图40示出了根据本公开的一个示例性实施例的扫描相机系统的各种合适的勘测参数;
图41示出了根据本公开的一个示例性实施例的扫描相机系统的各种合适的勘测参数;
图42a示出了根据本公开的一个示例性实施例的扫描图案的俯视图;
图42b示出了根据本公开的一个示例性实施例的来自图42a的扫描图案的斜视图;
图42c示出了根据本公开的一个示例性实施例的扫描图案的俯视图;
图42d示出了根据本公开的一个示例性实施例的来自图42c的扫描图案的斜视图;
图42e示出了根据本公开的一个示例性实施例的扫描图案的俯视图;
图42f示出了根据本公开的一个示例性实施例的来自图42e的扫描图案的斜视图;
图43a示出了根据本公开的一个示例性实施例的具有竖向取向的传感器的潜在扫描镜结构几何形状;
图43b示出了根据本公开的一个示例性实施例的具有包括过度旋转取向在内的竖向取向的传感器的潜在扫描镜结构几何形状;
图43c示出了根据本公开的一个示例性实施例的具有竖向取向的传感器的潜在主镜几何形状;
图43d示出了根据本公开的一个示例性实施例的具有竖向取向的传感器的潜在次镜几何形状;
图44a示出了根据本公开的一个示例性实施例的使用具有竖向取向的传感器的扫描相机系统获得的扫描图案的俯视图;
图44b示出了根据本公开的一个示例性实施例的使用带具有竖向取向的传感器的扫描相机系统获得的扫描图案的斜视图;
图44c示出了根据本公开的一个示例性实施例的具有真实前向运动的多个扫描图案的俯视图;
图44d示出了根据本公开的一个示例性实施例的具有真实前向运动的多个扫描图案的斜视图;
图45a示出了根据本公开的一个示例性实施例的在第一视角的扫描驱动单元;
图45b示出了根据本公开的一个示例性实施例的在第二视角的扫描驱动单元;
图45c示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图45d示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的斜视图;
图45e示出了根据本公开的一个示例性实施例的潜在主镜几何形状;
图45f示出了根据本公开的一个示例性实施例的潜在次镜几何形状;
图46a示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图46b示出了根据本公开的一个示例性实施例的来自图46a的扫描驱动单元的扫描图案的斜视图;
图46c示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图46d示出了根据本公开的一个示例性实施例的来自图46c的扫描驱动单元的扫描图案的斜视图;
图46e示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图46f示出了根据本公开的一个示例性实施例的来自图46e的扫描驱动单元的扫描图案的斜视图;
图47a示出了根据本公开的一个示例性实施例的扫描相机系统的扫描图案的俯视图;
图47b示出了根据本公开的一个示例性实施例的来自图47a的扫描图案的斜视图;
图47c示出了根据本公开的一个示例性实施例的扫描相机系统的扫描图案的俯视图;
图47d示出了根据本公开的一个示例性实施例的来自图47c的扫描图案的斜视图;
图48a示出了根据本公开的一个示例性实施例的在第一视角的扫描驱动单元;
图48b示出了根据本公开的一个示例性实施例的在第二视角的扫描驱动单元;
图48c示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图48d示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的斜视图;
图48e示出了根据本公开的一个示例性实施例的潜在主镜几何形状;
图48f示出了根据本公开的一个示例性实施例的潜在次镜几何形状;
图49a示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图49b示出了根据本公开的一个示例性实施例的来自图49a的扫描驱动单元的扫描图案的斜视图;
图49c示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图49d示出了根据本公开的一个示例性实施例的来自图49c的扫描驱动单元的扫描图案的斜视图;
图49e示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图49f示出了根据本公开的一个示例性实施例的来自图49e的扫描驱动单元的扫描图案的斜视图;
图50a示出了根据本公开的一个示例性实施例的从第一视角的扫描相机系统;
图50b示出了根据本公开的一个示例性实施例的从第二视角的扫描相机系统;
图50c示出了根据本公开的一个示例性实施例的从第三视角的扫描相机系统;
图50d示出了根据本公开的一个示例性实施例的从第四视角的扫描相机系统;
图50e示出了根据本公开的一个示例性实施例的图50a-50d的扫描相机系统的扫描图案的俯视图;
图50f示出了根据本公开的一个示例性实施例的图50a-50d的扫描相机系统的扫描图案的斜视图;
图51a示出了根据本公开的一个示例性实施例的在第一视角的扫描驱动单元;
图51b示出了根据本公开的一个示例性实施例的在第二视角的扫描驱动单元;
图51c示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图51d示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的斜视图;
图51e示出了根据本公开的一个示例性实施例的潜在主镜几何形状;
图51f示出了根据本公开的一个示例性实施例的潜在次镜几何形状;
图52a示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图52b示出了根据本公开的一个示例性实施例的来自图52a的扫描驱动单元的扫描图案的斜视图;
图52c示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图52d示出了根据本公开的一个示例性实施例的来自图52c的扫描驱动单元的扫描图案的斜视图;
图52e示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图52f示出了根据本公开的一个示例性实施例的来自图52e的扫描驱动单元的扫描图案的斜视图;
图53a示出了根据本公开的一个示例性实施例的扫描相机系统的扫描图案的俯视图;
图53b示出了根据本公开的一个示例性实施例的来自图53a的扫描图案的斜视图;
图53c示出了根据本公开的一个示例性实施例的扫描相机系统的扫描图案的俯视图;
图53d示出了根据本公开的一个示例性实施例的来自图53c的扫描图案的斜视图;
图53e示出了根据本公开的一个示例性实施例的扫描相机系统的扫描图案的俯视图;
图53f示出了根据本公开的一个示例性实施例的来自图53e的扫描图案的斜视图;
图54a示出了根据本公开的一个示例性实施例的在第一视角的扫描驱动单元;
图54b示出了根据本公开的一个示例性实施例的在第二视角的扫描驱动单元;
图54c示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图54d示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的斜视图;
图54e示出了根据本公开的一个示例性实施例的潜在主镜几何形状;
图54f示出了根据本公开的一个示例性实施例的潜在次镜几何形状;
图55a示出了根据本公开的一个示例性实施例的扫描相机系统的扫描图案的俯视图;
图55b示出了根据本公开的一个示例性实施例的来自图55a的扫描图案的斜视图;
图55c示出了根据本公开的一个示例性实施例的扫描相机系统的扫描图案的俯视图;
图55d示出了根据本公开的一个示例性实施例的来自图55c的扫描图案的斜视图;
图55e示出了根据本公开的一个示例性实施例的扫描相机系统的扫描图案的俯视图;
图55f示出了根据本公开的一个示例性实施例的来自图55e的扫描图案的斜视图;
图56a示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图56b示出了根据本公开的一个示例性实施例的来自图56a的扫描图案的斜视图;
图56c示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图56d示出了根据本公开的一个示例性实施例的来自图56c的扫描图案的斜视图;
图56e示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图56f示出了根据本公开的一个示例性实施例的来自图56e的扫描图案的斜视图;
图57a示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图57b示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图57c示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图57d示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图57e示出了根据本公开的一个示例性实施例的扫描相机系统的扫描图案的俯视图;
图57f示出了根据本公开的一个示例性实施例的来自图57e的扫描图案的斜视图;
图58a示出了根据本公开的一个示例性实施例的在第一视角的扫描驱动单元;
图58b示出了根据本公开的一个示例性实施例的在第二视角的扫描驱动单元;
图58c示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图58d示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的斜视图;
图58e示出了根据本公开的一个示例性实施例的扫描镜结构几何形状;
图58f示出了根据本公开的一个示例性实施例的扫描镜结构几何形状,其包括用于过度旋转的几何形状;
图59a示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图59b示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的斜视图;
图59c示出了根据本公开的一个示例性实施例的扫描相机系统的扫描图案的俯视图;
图59d示出了根据本公开的一个示例性实施例的扫描相机系统的扫描图案的斜视图;
图60a示出了根据本公开的一个示例性实施例的在第一视角的扫描驱动单元;
图60b示出了根据本公开的一个示例性实施例的在第二视角的扫描驱动单元;
图60c示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图60d示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的斜视图;
图60e示出了根据本公开的一个示例性实施例的扫描镜结构几何形状;
图60f示出了根据本公开的一个示例性实施例的扫描镜结构几何形状,其包括用于过度旋转的几何形状;
图61a示出了根据本公开的一个示例性实施例的在第一视角的扫描驱动单元;
图61b示出了根据本公开的一个示例性实施例的在第二视角的扫描驱动单元;
图61c示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图61d示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的斜视图;
图61e示出了根据本公开的一个示例性实施例的扫描镜结构几何形状;
图61f示出了根据本公开的一个示例性实施例的扫描镜结构几何形状,其包括用于过度旋转的几何形状;
图62a示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图62b示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的斜视图;
图62c示出了根据本公开的一个示例性实施例的扫描相机系统的扫描图案的俯视图;
图62d示出了根据本公开的一个示例性实施例的来自图62c的扫描相机系统的扫描图案的斜视图;
图62e示出了根据本公开的一个示例性实施例的扫描相机系统的扫描图案的俯视图;
图62f示出了根据本公开的一个示例性实施例的来自图62e的扫描相机系统的扫描图案的斜视图;
图63a示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的俯视图;
图63b示出了根据本公开的一个示例性实施例的扫描驱动单元的扫描图案的斜视图;
图63c示出了根据本公开的一个示例性实施例的扫描相机系统的扫描图案的俯视图;
图63d示出了根据本公开的一个示例性实施例的来自图63c的扫描相机系统的扫描图案的斜视图;
图63e示出了根据本公开的一个示例性实施例的扫描相机系统的扫描图案的俯视图;以及
图63f示出了根据本公开的一个示例性实施例的来自图63e的扫描相机系统的扫描图案的斜视图。
具体实施方式
如本文中使用的术语“一”或“一个”被定义为一个或多于一个。如本文中使用的术语“多个”被定义为两个或多于两个。如本文中使用的术语“另一个”被定义为至少第二个或第更多个。如本文中使用的术语“包含”和/或“具有”被定义为包括(即开放式语言)。贯穿本文件对“一个实施例”、“某些实施例”、“实施例”、“实施方式”、“示例”或类似术语的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本公开的至少一个实施例中。因此,这样的短语的出现或在贯穿本说明书的各种地方的出现不一定全部是指同一实施例。此外,特定的特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合而没有限制。
扫描相机系统可以包括安装在载具中或载具上的多个相机和耦合光束转向机构。例如,扫描相机系统可以安装在飞行器的勘测孔内或诸如吊舱之类的外部空间中。为了清楚起见,将使用飞行器来便于讨论本文中呈现的各种实施例,尽管本领域技术人员可以领会该载具不限于为飞行器。
控制扫描相机系统,以在飞行器沿勘测区域上方的路径时捕获对象区域(通常为地面)的一系列图像。每个图像以仰角(图像的中心光线或“视线”与水平面的角度)和方位角(中心光线围绕垂直轴相对于定义的零方位轴的角度)捕获对象区域上的投影区域。仰角也可以用倾角(图像的中心光线或“视线”与垂直轴的角度)来表达,使得具有高仰角的垂直影像对应于低倾角,并且仰角90°对应于倾角0°。本公开将使用地面作为本文中讨论的各种实施例的示例性对象区域,但是可以领会,在其他实施例中,对象不一定是地面。例如,它可以由建筑物、桥梁、墙壁、其他基础设施、植被、自然特征(诸如悬崖、水体)、或由扫描相机系统成像的任何其他对象的各部分组成。
可以基于镜头的焦距、相机传感器的尺寸、相机的位置和取向、与对象区域的距离、以及对象区域的几何形状,执行相机在对象区域上的投影几何形状的计算。可以基于成像系统中的非线性失真(诸如桶形失真、大气效应和其他校正)来细化计算。此外,如果扫描相机系统包括诸如镜之类的光束转向元件,则必须在计算中考虑这些元件,例如通过基于光束转向元件对虚拟相机建模来代替投影几何形状计算中的实际相机而使用。
扫描相机系统可以由一个或多个扫描驱动单元组成,每个扫描驱动单元包括扫描元件(诸如扫描镜)以执行光束转向。扫描镜可以由任何合适的旋转电机(诸如压电旋转台、步进电机、DC电机或无刷电机)驱动,该旋转电机通过齿轮箱耦合、直接耦合或皮带驱动。替代地,镜可以经由齿轮耦合到线性致动器或线性电机。每个扫描驱动单元包括将光束聚焦到一个或多个相机传感器上的镜头,其中该镜头可以从包括屈光镜头、反射镜头和反射折射镜头的组中选择。每个扫描驱动单元还包括一个或多个相机,所述一个或多个相机被配置为捕获对象区域的一系列图像或帧。每个帧具有由扫描驱动单元几何形状和扫描角度确定的视图仰角和方位角,并且可以由投影几何形状在对象区域上表示。投影几何形状是由相机成像的对象区域上的区域。
由扫描驱动单元捕获的帧序列的投影几何形状可以被组合,以给出扫描图案。现在参考附图,其中贯穿若干个视图类似的附图标记指定相同或对应的部件,图1a从俯视图(左侧)和示出飞行器110的透视图(右侧)示出了具有三个扫描驱动单元301、302、303的扫描相机系统300的扫描图案。注意,图1a中的扫描图案假设所有帧都是针对同一飞行器110位置捕获的。在真实系统中,飞行器110将在帧捕获之间移动,这将在稍后讨论。图中的x轴和y轴在飞行器110正下方的地面上的位置处相交。网格线117、118对应于飞行器110左侧和右侧的距离等于飞行器110的高度。类似地,网格线119、116对应于飞行器110前方和后方的距离等于飞行器110的高度。两个弯曲的扫描图案111、112对应于扫描驱动单元301的两个相机,而两个扫描图案113、114关于y轴对称,并且对应于扫描驱动单元302和扫描驱动单元303中每一个的单个相机。虚线单投影几何形状115对应于较低分辨率的概览相机图像。
飞行器110可以遵循蜿蜒飞行路径,诸如图2中所图示的路径。该路径由沿着飞行方向(y轴)的一系列直飞行路线210、211、212、213、214、215组成,这一系列直飞行路线由弯曲的转弯路径220、221、222、223、224、225连接。蜿蜒飞行路径的特征在于飞行路线间隔226,即垂直于飞行方向(即沿着图2中的x轴)的相邻飞行路线(210至211、211至212等)的间隔。一般而言,飞行路线间隔是固定的,但可以自适应地捕获一些图像密度增加的区域。注意,扫描图案的组合宽度可以比飞行路线间隔更宽得多。
当飞行器沿其飞行路径在勘测区域上方移动时,重复每个扫描图案,以对勘测区域中的场景给出密集覆盖,具有所捕获的图像的合适重叠,用于摄影测量、形成摄影马赛克和其他用途。跨飞行路线,这可以通过将扫描图案内的帧的扫描角度设置得足够接近在一起来实现。沿着飞行路线,这可以通过设置足够小的扫描图案(即随着扫描角度变化而捕获的帧集合)之间的前向间隔来实现。每个扫描驱动单元的时序约束可以基于每个扫描图案的帧数、前向间隔、和飞行器在地面上方的速度来估计。这些约束可以包括每帧捕获的时间预算和每扫描图案的时间预算。
图1b示出了来自图1a的扫描相机系统300的扫描图案,其中每个扫描驱动单元301、302、303的附加扫描图案定位在原始对象区域几何形状的前后一个前向间隔处。在这种配置中,选择扫描角度步长和前向间隔以给出10%的帧重叠。在其他配置中,可以选择扫描角度步长和前向间隔,以给出帧中固定数量的重叠像素、或者对应于对象区域上指定距离的重叠、或者某个其他准则。
一般而言,扫描相机系统的时序约束比固定相机系统具有更多限制性时序约束。然而,对于给定数量的相机,扫描相机系统可以允许增加飞行路线间隔,从而导致更高效的相机系统。它们还更高效地利用有限的空间,在这些空间中,它们可以安装在商业上可获得的飞行器中(或者在内部,诸如在勘测孔中;或者在外部,诸如在吊舱中)。
图2中所示蜿蜒飞行路径的飞行路线210、211、212、213、214、215标记有针对三个扫描驱动单元301、302、303的以适当前向间隔间隔开的位置。这些可以被认为是标记飞行器110在蜿蜒飞行路径上的位置,在该位置处将为三个扫描驱动单元301、302、303中的每一个捕获每个扫描图案的初始帧。用于对应于图1a中扫描图案113、114的扫描驱动单元302、303的前向间隔近似是用于对应于图1a的两个弯曲扫描图案111、112的扫描驱动单元301的前向间隔的一半,用于相等百分比的扫描角度的前向重叠。
蜿蜒路径的飞行路线可以采用任何方位取向。可能优选将飞行路线(图1a和图1b中的y轴)与东北或西北方向对准。在这种配置中,图1a和图1b中所图示的扫描相机系统300具有捕获与基本方向(北、南、东和西)对准的倾斜影像的有利属性。
图3示出了扫描相机系统300在九个不同地面位置处的视图分布(仰角和方位角),该扫描相机系统300具有如图1a中所示的扫描图案,并以比图2的示例勘测飞行路径更真实的蜿蜒飞行路径(更多和更长的飞行路线)飞行。每个图都是Lambert等面积投影,其中y轴平行于飞行路线。坐标x=0、y=0处的点对应于具有零倾角的飞行器110正下方的地面视图。
固定仰角236、237、238处的观察方向的圆形分别表示倾角为12°、39°和51°的视图。半球294、295、296、297中的观察方向的弯曲路径表示在方位角上以90°间隔的在39°和51°之间倾角的视图。如果蜿蜒飞行遵循东北或西北飞行路线方向,则半球294、295、296、297中的观察方向的弯曲路径可以表示沿基本方向的倾斜影像的合适视图。
每个观察方向230、231、232、233、234、235对应于由扫描相机系统300捕获的图像中的像素,并表示在图像捕获时地面位置相对于其中安装了扫描相机系统300的飞行器110的观察方向(仰角和方位角)。图像中的相邻像素将对应于具有类似观察方向的相邻地面位置。观察方向230、231、232、233、234、235或者落在通过中心的水平带内,或者落在大约45度仰角的圆形带内。水平带中的观察方向230、235对应于由扫描驱动单元302和扫描驱动单元303的相机捕获的图像,而圆形带周围的观察方向231、232、233、234对应于由扫描驱动单元301捕获的图像。一些视图可能适用于倾斜影像(例如,观察方向231、232、233、234),并且一些视图可能适用于垂直影像(例如,观察方向235)。其他视图可能适用于其他图像产品,例如它们可能有助于生成该区域的3D纹理模型。
航空成像的捕获效率通常以每单位时间捕获的面积(例如每小时平方公里)为特征。对于具有长飞行路线的蜿蜒飞行路径,一个好的经验法则是,这与飞机的速度和飞行路线间隔、或勘测的包围(swathe)宽度成比例。一个更准确的估计将计及在飞行路线之间操纵所花费的时间。在增加的高度处飞行可以提高效率,因为飞行路线间隔与高度成比例,并且速度也可以随着高度增加,然而它也将会降低影像的分辨率,除非光学元件被修改以进行补偿(例如通过增加焦距或减少传感器像素间距)。
扫描相机系统的数据效率可以通过每面积勘测期间捕获的数据量(例如每平方公里(km)千兆字节(GB))来表征。随着图像重叠的减少以及地面上每个点的视图数量的减少,数据效率提高。数据效率确定了给定勘测的扫描相机系统中所需的数据存储量,并且还将影响数据处理成本。在进行勘测的经济评估中,数据效率与捕获效率相比一般是更不重要的因素,因为数据存储和处理的成本一般低于部署具有扫描相机系统的飞行器的成本。
给定扫描相机系统的最大飞行路线间隔可以通过分析地面上捕获图像(扫描图案)的组合投影几何形状连同那些捕获图像的仰角和方位角、以及图像的任何重叠要求(诸如用于生成图像产品的摄影测量方法的要求)来确定。
为了生成高质量的成像产品,可能合期望的是:(1)以不同的捕获仰角和方位角对地面上的每一个点进行成像,以及(2)确保对象区域上的图像有某个所需水平的重叠(例如,为了摄影测量或摄影马赛克形成的目的)。
由以限定的飞行路线间隔操作的给定扫描相机系统捕获的图像集合的质量可能取决于各种因素,包括图像分辨率和图像锐度。
由每个相机捕获的图像分辨率或细节水平通常由地面采样距离(GSD)(即当投影到相机视场内的对象区域(地面)上时相邻像素中心之间的距离)表征。给定相机系统的GSD的计算是很好理解的,并且可以依据相机镜头的焦距、沿着视线到对象区域的距离、以及图像传感器的像素间距来确定。到对象区域的距离是航空相机相对于地面的高度和视线倾角的函数。
图像的锐度由若干个因素确定,这若干个因素包括:镜头/传感器模块传递函数(MTF);传感器平面上的图像焦点;任何反射表面(镜)的表面质量(例如表面不规则性和平整度);相机系统光学元件的稳定性;相机系统或其组件的任何稳定性能;相机系统相对于地面的运动;以及任何运动补偿单元的性能。
可以通过在曝光时间期间跟踪图像在传感器上的偏移来确定对图像捕获的各种动态影响的组合效果。这种组合运动在图像中生成模糊,其降低锐度。模糊可以用MTF的下降来表达。对图像偏移的两个重要贡献是扫描相机系统相对于对象区域的线性运动(有时称为前向运动)和扫描相机系统的旋转速率(即滚动速率、俯仰速率和偏航速率)。如果扫描相机系统安装在稳定系统或万向节上,则扫描相机系统的旋转速率可能不与飞行器的旋转速率相同。
由扫描相机系统捕获的图像可以用于创建多个有用的基于图像的产品,包括:摄影马赛克,包括正射马赛克和全景图;倾斜影像;3D模型(有或没有纹理);和原始图像观察工具。
除了分辨率和锐度之外,用于生成这些产品的捕获图像的质量可能取决于其他因素,包括:投影图像的重叠;在勘测期间由相机系统捕获的地面点上方的视图分布(仰角和方位角);以及由于图像捕获时的时间和视图差异(移动物体、改变的照明条件、改变的大气条件等)所致的区域外观差异。
当生成摄影马赛克时,投影图像的重叠是一个关键参数。已知的是,使用低分辨率概览相机可以通过减少准确摄影测量所需的高分辨率图像之间的所需重叠来提高系统的效率。这进而改善了数据效率并增加了图像捕获的时间预算。
垂直影像的图像集合质量取决于地面点上方捕获图像的倾角的统计。任何与零倾角的偏差都导致建筑物的垂直墙壁被成像,从而导致建筑物在垂直图像中倾斜的外观。最大倾角是图像中与垂直的最大偏差,并且是垂直影像质量的一个关键指标。最大倾角可能在较高质量勘测的10°直到较低质量勘测的25°之间变化。最大倾角是扫描驱动单元的捕获图像(或扫描图案)的飞行路线间隔和对象区域投影几何形状的函数。
正射马赛克以这样的方式混合来自捕获图像的图像像素,使得最小化所使用像素的倾角,同时也最小化来自不同原始捕获图像的像素值相邻的伪像。因此,上面讨论的最大倾角参数是用于正射马赛克生成的关键参数,其中较大的最大倾角导致建筑物的倾斜外观。正射马赛克的质量还取决于勘测中捕获的相邻图像的重叠。较大的重叠允许从相邻图像中取得的像素之间的接缝被明智地放置在几乎没有纹理的地方,或者图像的3D几何形状适用于以最小的视觉伪像混合影像的地方。此外,合成图像像素之间的区域外观差异导致接缝处的伪像增加,其也影响了生成的正射马赛克的质量。
倾斜图像产品的影像质量可以沿着与垂直影像和正射马赛克的质量类似的线来理解。一些倾斜影像产品基于特定视点,诸如方位角与特定方向(例如四个基本方向北、南、东或西)对准的45度仰角图像。捕获的影像可能在仰角和方位角两者上都与期望的视点不同。取决于图像产品,由于仰角或方位角的误差所致的质量损失将有所不同。还可以生成混合或拼接的图像倾斜产品(有时称为全景图)。这样产品的影像质量将取决于视图的角度误差,并且也取决于图像视图之间的重叠,这与上文正射马赛克影像的讨论的方式类似。
用于生成3D模型的图像集合的质量主要取决于地面点上方的视图分布(仰角和方位角)。一般而言,已经观察到,减少视图之间的间隔和增加视图的数量两者都将改善3D模型的预期质量。预期3D质量的试探法可以基于这样的观察生成并用于指导扫描相机系统的设计。
图4a-图4f、图5a-图5f和图6a-图6f展示了可以用于实现图1a的扫描图案的扫描驱动单元301、302、303。图4a和图4b中所示的第一扫描驱动单元301可以用于捕获具有以45°仰角为中心的圆弧的扫描图案111、112。图4c和图4d中分别示出了来自扫描驱动单元301的两个相机310、311的扫描图案111、112的俯视图和斜视图。
图4a和图4b中示出了从不同视角观察的扫描驱动单元301的两个几何图示。扫描驱动单元301包括在垂直扫描轴(仰角θS=-90°和方位角φS=0°)上附接到扫描驱动313的扫描镜结构312。在一个实施例中,扫描镜结构312是双侧的。该几何图示示出了扫描驱动313的扫描角度被设置为0°的配置,使得第一镜面314被定向(仰角和方位角)成其法线沿着y轴指向第一相机310。第二镜面315安装在扫描镜结构312的相对侧并指向第二相机311。两个相机310、311以斜角向下定向,但是具有相对的方位角(相机310仰角θS=-45°和方位角φS=180°,相机311仰角θS=-45°和方位角φS=0°)。
在一个示例中,相机310、311利用Gpixel GMAX3265传感器(9344×7000像素,像素间距3.2微米)。相机镜头可以具有420mm的焦距和120mm的光圈(对应于F3.5)。扫描镜结构312可以具有25mm的厚度。除非另有陈述,否则所有图示相机都利用Gpixel GMAX3265传感器,其中镜头焦距为420mm并且光圈为120mm(F3.5),并且所有图示镜的厚度都为25mm。
镜头的光轴一般定义为镜头的对称轴。例如,它可以由从传感器中心或传感器中心附近的点穿过处于其中心或其中心附近的镜头元件的光线来定义。扫描驱动单元中的镜头的光轴可以通过扫描驱动单元的一个或多个镜结构来修改。它可以延伸到镜头之外,在一个或多个镜面处反射,然后继续到达对象区域上的一点。沿着光轴从相机310到镜面314的距离可以是247mm。沿着光轴从第二相机311到第二镜面315的距离也可以是247mm。在其他实施例中,可以选择元件之间的距离,以便组件装配在所需的空间内,并且扫描驱动单元301能够旋转所需的角度范围(对于这里描述的双侧布置,该角度范围可以在±30.7°和±46.2°之间)。假设扫描镜结构312的旋转轴与一个或两个相机310、311的光轴相交。在本说明书中呈现的所有扫描驱动单元的组件之间的距离可以被选择为在可用空间内最佳地装配,同时允许扫描镜结构所需的旋转角度范围。
扫描镜结构的反射表面的形状应足够大,以将从地面上的区域成像的全光束光线反射到相机镜头光圈上,因此当扫描驱动单元的扫描角度在给定的扫描角度范围内变化时,全光束光线聚焦到相机传感器上。在扫描镜结构312的一个实施例中,扫描角度的标准范围是-30.7°到30.7°。现有方法已在其他地方描述,其可以用于计算满足该准则的合适的扫描镜结构形状。
一种合适的方法确定扫描镜结构表面的区域的几何形状,该扫描镜结构表面的区域与光束轮廓相交,该光束轮廓由在每个采样扫描角度通过镜头光圈在对象区域和相机传感器之间穿过的光线定义。光束轮廓可以从相机光圈处的圆形变化到对应于焦距处的传感器形状的矩形形状。镜表面上这些相交区域的几何形状的联合给出了处置扫描角度采样集合所需的扫描镜结构尺寸。在一些实例中,所计算的扫描镜结构形状可能关于旋转轴不对称,并且因此可以可能的是通过偏移旋转轴来减小扫描镜结构的惯性矩。在这种情况下,可以针对偏移的旋转轴重新计算扫描镜结构几何形状。重新计算的形状可能仍然围绕旋转轴不对称,在这种情况下,可以重复偏移旋转轴和重新计算几何形状的过程,直到扫描镜结构足够接近对称并且惯性矩最小化。
上面描述的方法生成相机中特定传感器取向所需的扫描镜结构的几何形状。图4a-图4f、图5a-图5f和图6a-图6f中所示的扫描驱动单元301、302、303的传感器被定向在可以被称为横向的取向上。从上面观察,最接近y轴捕获的图像的投影几何形状具有横向几何形状(其沿x轴的长度宽于其沿y轴的长度)。替代实施例可以使用与图4a-图4f、图5a-图5f和图6a-图6f中所图示的成90°定向的传感器,这被称为竖向取向。从上面观察,最接近y轴捕获的图像的投影几何形状将具有竖向几何形状(其沿x轴的长度窄于其沿y轴的长度)。其他实施例可以使用横向和竖向取向之间的任何取向。
使用扫描镜结构几何形状可能是有利的,该扫描镜结构几何形状足够大,从而除了横向取向之外,还处置传感器的竖向取向。这样的扫描镜结构几何形状可以生成为横向取向和竖向取向镜几何形状的联合。这样的扫描镜结构几何形状可以允许扫描驱动使用的配置的更大柔性。另外,通过考虑除横向和竖向取向之外的角度,使用可以处置传感器的任何取向的扫描镜结构几何形状可能是有利的。这样的扫描镜结构可以通过假设传感器是圆形形状的并且直径尺寸等于传感器的对角线长度来计算。
扫描镜结构可以包括铝、铍、碳化硅、熔合石英或其他材料。取决于扫描镜结构的材料,扫描镜结构可以包括空腔以减小质量和惯性矩,或者是实心的(没有空腔)。镜面可以被涂覆以改善反射率和/或平整度,例如使用镍、熔合石英或其他材料。涂层可以在扫描镜结构的两侧上,以减小当扫描镜结构的温度改变时的热效应。可以根据捕获图像所需的锐度和由于镜反射所致的可接受锐度损失来设置镜面所需的平整度。镜面可以被抛光以实现所需的平整度规范。
扫描镜结构的厚度一般设置为尽可能小,以便减小质量并最小化空间要求,同时保持扫描镜结构的结构完整性,使得其可以在扫描图案的捕获图像的时间预算内动态旋转,而不损害捕获图像的光学质量。在一个实施例中,25mm的厚度可能是合适的。
取决于扫描镜结构制作中使用的制造过程和材料,使用凸面镜形状可能是有利的。在这种情况下,上面计算的形状的凸包可以用作扫描镜结构形状。此外,可以扩大扫描镜结构形状,以便确保扫描镜结构和扫描驱动单元的其他组件的制造公差或设置扫描角度的控制公差不导致系统中的任何杂散或散射光线以及随之而来的视觉质量损失。
图4e示出了为扫描驱动单元301计算的各种扫描镜结构几何形状。这些几何形状包括:最小几何形状(“最小”);在其周界周围延伸超过最小几何形状5mm(“扩大”)的扩大的最小几何形状;以及扩大的最小几何形状的凸包(“凸形”)的扩大的凸形几何形状。这些几何形状中的任何一种或者可以设想的其他变型(例如以处置替代的传感器取向)可以用于定义用于该扫描驱动单元301的扫描镜结构312的形状。
选择旋转轴316,使得其通过光圈中心与沿镜头光轴的光线相交。扫描驱动单元将附接在延伸超过扫描镜结构312的一端。扫描镜结构312的质心与旋转轴316对准,使得不需要旋转轴的偏移。
图4f再次示出了扩大的凸形几何形状(“凸形”),并且还示出了在扫描角度的范围在扫描角度范围的每一端扩展7.5°(“过度”)的情况下可能需要的扩展的几何形状。通过增加样本步数,扫描角度样本的角间隔保持与计算中的原始值大致相同。这种几何形状将在本说明书中稍后参考偏航校正的过度旋转进行进一步讨论。
图4g示出了根据实施例的镜和/或桨状襟翼的附加几何形状的放大视图。例如,如在图4g中可以看到,桨状襟翼(阴影线区域)可以覆盖镜的整个周界或其一个或多个部分。镜和/或桨状襟翼可以是对称的或不对称的。
相对镜面(例如镜面314、315)上的图像捕获可以同步或不同步。一般而言,一旦扫描镜结构已经完全静止,就进行图像捕获,以便实现高图像质量。在其他布置中,图像稳定可以用于补偿在图像曝光期间的镜运动。
在略微修改的布置中,扫描镜结构312可以采用单个镜面(即镜面314或315中的一个),并且扫描镜结构312可以使用扫描驱动313旋转通过完整的360°,使得单个镜面可以由两个相机311、310依次使用。例如,在修改的布置中,第二镜面315不需要是镜面。这种多路复用布置将对图像捕获的时序有更严格的要求,因为图像不是针对两个镜面314、315同时捕获的。
扫描相机系统300的第二扫描驱动单元302在图5a-图5f中示出。如图5c和图5d中所示,扫描驱动单元302可以用于捕获与从0°到45°倾角的飞行路线成直角的单个笔直扫描图案113。扫描图案113延伸到飞行器110的右侧(沿着飞行路线向前看)。图5a和图5b中示出了从不同视角观察的扫描驱动单元302的两个几何图示。扫描驱动单元302包括保持在水平扫描轴(仰角θS=-0°和方位角φS=180°)上的单侧扫描主镜323、和固定的次镜324。该几何图示示出了扫描驱动322的扫描角度被设置为0°的配置,在该角度下主镜323的表面以指向z轴和x轴之间的斜角(仰角和方位角/>)的法线定向。当扫描角度为0°(仰角/>和方位角/>)时,次镜324以与主镜323的法线相对的法线定向。存在单个相机321,它以与垂直z轴成1度的角度(仰角θS=-89°和方位角φS=-90°)向下指向。扫描驱动322对从-23°到-0.5°的扫描角度采样,以便生成扫描图案113。
在一个实施例中,沿着光轴从相机321的镜头到次镜324的距离可以是116mm,并且沿着光轴从主镜323到次镜324的距离可以是288mm。当然,在其他实施例中可以使用其他距离。
对于扫描驱动单元302,存在两种镜几何形状要考虑。(扫描)主镜323的示例几何形状在图5e中示出,其包括最小几何形状(“最小”)、扩大的几何形状(“扩大”)和凸形几何形状(“凸形”)(其基本上与扩大的几何形状相同)。所计算的主镜的质心被发现相对于投影到镜面的扫描驱动轴偏移,因此图5e示出了偏移的扫描驱动轴,该偏移的扫描驱动轴可以用于减小如上面讨论的惯性矩。图5f中示出了(固定的)次镜324的示例几何形状,其包括最小几何形状(“最小”)和扩大的几何形状(“扩大”)。
图6a和图6b中所图示的第三扫描驱动单元303是第二扫描驱动单元302围绕z轴旋转180°的克隆。图6a和图6b包括相机325、主镜327、扫描驱动326和次镜328。如图6c和图6d中所示,由于扫描驱动单元302、303的对称性,扫描驱动单元303的扫描图案114是扫描驱动单元302的扫描图案113的镜像,其遵循笔直路径延伸到飞行器110的左侧(沿着飞行路线向前看)。图6e和图6f中所示的镜几何形状和动态性与上面参考图5e和图5f描述的镜几何形状和动态性相同。
图7a至图7d示出了扫描相机系统300的扫描驱动301、302、303的组合组件的一系列透视图,这些组合组件在上面参考图4a-图4f、图5a-图5f和图6a-图6f进行了描述,包括:相机310、311、321、325;具有附接到扫描驱动313的镜面314、315的扫描镜结构312;附接到扫描驱动322、326的两个主镜323、327;和两个固定的次镜324、328。
在图7a-图7d中可以看到,扫描驱动单元302结构被布置成使得其成像路径在扫描驱动单元301的相机310下方通过,并且扫描驱动单元303被布置成使得其成像路径在扫描驱动单元301的相机311下方通过。这种布置在空间上高度高效,并且有利于部署在宽范围的飞行器相机(勘测)孔中。
图7e和图7f示出了使用扫描相机系统300实现的扫描图案,其包括倾斜影像的弯曲扫描图案111、112和沿垂直于飞行路线的方向从垂直到倾斜捕获图像扫描的笔直扫描图案113、114。除了扫描驱动单元成像能力之外,扫描相机系统300附加地可以包括一个或多个固定相机。这些相机可以是标准RGB相机、红外相机、灰度相机、多光谱相机、超光谱相机或其他合适的相机。在一个实施例中,固定相机可以是具有80mm F5.6镜头的Phase OneiXM100相机传感器(11664×8750像素,3.76微米间距)。单个或多点LIDAR相机系统也可以并入扫描相机系统。
固定相机可以用作概览相机,并且可以设置固定相机的捕获率以便在捕获的图像之间实现期望的前向重叠,诸如60%。可以限制勘测的飞行路线间隔,使得概览相机图像的侧向重叠实现第二期望目标,诸如40%。概览相机可以垂直向下定向,并且可以绕垂直轴旋转,使得对象区域上的投影几何形状不与飞行器的取向对准。
上面关于图1a、图4c、图4d、图5c、图5d、图6c、图6d、图7e和图7f描述的扫描相机系统300的扫描图案111、112、113、114不表示飞行器110的前向运动;它们是在假设对象区域上面有固定飞行器110的情况下生成的。重新绘制扫描图案的地面投影几何形状以包括飞行器110在地面上方的线性运动可以给出图8a(单扫描图案情况)和图8b(三扫描图案情况)的略微修改的扫描图案图。这些扫描图案给出了可以用于计算飞行参数以实现重叠目标(诸如10%重叠)的扫描图案的更真实视图。注意,它们不影响捕获图像的观察方向(仰角和方位角),因为视角是作为在捕获图像时成像地面点相对于飞行器110的位置的位置差的函数来计算的。图8c示出了根据本公开的一个示例性实施例的由扫描相机系统捕获的多个扫描图案集合的俯视图和斜视图。图8c的扫描相机系统是简化的系统,其包括没有相机311的扫描驱动单元301和仅包括扫描驱动单元302。该扫描相机系统可以在修改的飞行路径中飞行,其中每条飞行路线210至215在两个方向上飞行。
应理解,扫描相机系统300的几何形状可以以多个方式进行修改,而不改变扫描驱动单元301、302、303中的每一个的基本功能。例如,扫描驱动和镜的位置和厚度可以更改,元件之间的距离可以改变,并且镜的几何形状可以改变。一般而言,优选的是保持镜尽可能接近在一起并且尽可能接近镜头,而不导致妨碍操作所期望的扫描角度范围的机械障碍或者导致图像质量损失的光学障碍。
此外,可以改变各个镜头的焦距或传感器类型和几何形状。除了镜几何形状和位置的对应几何改变之外,这些改变可能导致系统的适当飞行路线距离、扫描角度之间的步长、扫描角度范围和帧时序预算的改变。
系统控件405可以在勘测期间操作扫描相机系统。图9中示出了合适系统控件405的高级表示。封闭在虚线框中的组件(例如,自动导航401、运动补偿(MC)单元415)表示在其他实施例中可以省略的单元。系统控件405可以具有与扫描相机系统408、稳定平台407、数据存储装置406、GNSS接收器404、自动导航401、导航显示器402和导航输入403的接口。系统控件405可以包括可以是分布式的一个或多个计算设备,诸如计算机、膝上型计算机、微控制器、ASIC或FPGA,以在操作期间控制相机系统的扫描驱动单元和固定相机。系统控件405还可以帮助飞行器的飞行员或自动导航在感兴趣的地面区域上方遵循合适的飞行路径,诸如关于图2讨论的蜿蜒飞行路径。系统控件405可以集中定位或分布在扫描相机系统408的组件周围。系统控件405可以使用以太网、串行、CoaxPress(CXP)、CAN总线、i2C、SPI、GPIO、定制内部接口或其他适当的接口来实现系统所需的数据速率和时延。
系统控件405可以包括数据存储装置406的一个或多个接口,该数据存储装置406可以存储与勘测飞行路径、扫描驱动几何形状、扫描驱动单元参数(例如扫描角度)、数字高程模型(DEM)、全球导航卫星系统(GNSS)测量、惯性测量单元(IMU)测量、稳定平台测量、其他传感器数据(例如热、压力)、运动补偿数据、镜控制数据、聚焦数据、捕获图像数据、和时序/同步数据相关的数据。数据存储装置406还可以包括到扫描相机系统408的各个传感器、控制单元和组件的多个直接接口。
扫描相机系统408可以包括一个或多个扫描驱动单元411、412,IMU 409和(一个或多个)固定相机410。IMU 409可以包括具有不同性能指标(诸如范围、分辨率、准确度、带宽、噪声和采样率)的一个或多个单独单元。例如,IMU 409可以包括支持高达5kHz采样率的KVH1775IMU。来自各个单元的IMU数据可以单独使用,或者可以融合用于系统中的其他地方。在一个实施例中,(一个或多个)固定相机410可以包括Phase One iXM100、Phase OneiXMRS100M、Phase One iXMRS150M、AMS Cmosis CMV50000、Gpixel GMAX3265或IOIndustries Flare 48M30-CX,并且可以使用焦距在50mm和200mm之间的合适的相机镜头。
系统控件405可以使用来自一个或多个GNSS接收器404的数据实时监测飞行器110的位置和速度。一个或多个GNSS接收器404可以与各种基于空间的卫星导航系统(包括全球定位系统(GPS)、GLONASS、伽利略和北斗)兼容。
扫描相机系统408可以安装在稳定平台407上,稳定平台407可以用于将扫描相机系统408与影响飞行器110的扰动隔离,诸如姿态(滚动、俯仰和/或偏航)和姿态速率(滚动速率、俯仰速率和偏航速率)。它可以使用主动和/或被动稳定方法来实现这一点。理想地,扫描相机系统408被设计成在稳定平台407内尽可能平衡。在一个实施例中,稳定平台407包括滚动环和俯仰环,使得扫描相机系统408与滚动、俯仰、滚动速率和俯仰速率干扰隔离。
在一些实施例中,系统控件405可以进一步控制图像的捕获和分析,用于设置扫描驱动单元411、412和/或(一个或多个)固定相机410的相机的镜头的正确焦点的目的。系统控件405可以基于来自另一个相机的图像在多个相机上设置焦点。在其他实施例中,焦点可以通过镜头的热稳定性来控制,或者可以基于已知的镜头属性和从相机到地面的估计光路来设置。扫描相机系统408的一些相机可以是定焦的。例如,用于概览图像的一些定焦相机可以是定焦的。
每个扫描相机系统与一定数量的扫描驱动单元相关联。例如,扫描相机系统408包括扫描驱动单元411、412,尽管可以包括更多。作为另一个示例,图7a-图7d中所示的扫描相机系统300包括3个扫描驱动单元301、302、303,它们在上面关于图4a-图4f、图5a-图5f和图6a-图6f进行了讨论。下面将讨论具有不同数量的扫描驱动单元的扫描相机系统的替代配置。图9中所示的每个扫描驱动单元411、412可以包括扫描镜413和一个或多个相机414、416。
图9中的每个相机414、416可以包括镜头、传感器和可选地运动补偿单元415、417。相机414、416的镜头和传感器可以匹配,使得镜头的视场能够以某种可接受的均匀性水平曝光传感器的所需区域。
每个镜头可以并入聚焦机构和传感器,以监测其环境和性能。它可以是热稳定的,并且可以包括具有抗反射涂层的多个高质量镜头元件,以实现锐利的成像,而没有来自内部反射的重影图像。系统控件405可以基于图像捕获之间的聚焦数据438执行聚焦操作。这可以基于诸如图像(例如图像纹理)、LIDAR、数字高程模型(DEM)、热数据或其他输入之类的传感器输入来使用已知的自动聚焦技术。
扫描镜413的控制和扫描驱动单元411的(一个或多个)相机414、416的图像捕获在图10的高级过程中图示。系统控件405使用来自数据存储装置406的数据输入来迭代地设置扫描角度430并触发(一个或多个)相机414、416来捕获图像。根据扫描驱动单元参数434设置扫描角度430,扫描驱动单元参数434定义了对应于针对每个扫描图案要捕获的图像序列的扫描驱动角度序列,以及扫描图案的帧的顺序时序。如上面讨论的,可以设置扫描角度的序列和帧捕获的时序,以实现地面上捕获图像的投影几何形状的期望重叠,这对于特定的航空图像产品是有利的。
可选地,扫描角度430设置的序列可以根据IMU数据(诸如飞行器相对于(与飞行路线对准的)预期姿态的姿态)进行更新。例如,在稳定平台407不处置偏航的情况下,可以校正扫描角度430以计及飞行器的偏航。具体地,对于关于图4a-4f讨论的捕获两个弧形扫描图案111、112的扫描驱动单元301,可以使用半个偏航角度的扫描角度校正,使得针对偏航校正扫描图案,如稍后将关于图32-图37更详细讨论的。替代地,如果稳定平台407仅具有部分偏航校正,则可以使用较小的扫描角度校正。
镜控件432从系统控件405接收将扫描驱动设置为扫描角度430的指令,并可选地使用来自镜传感器433的输入,该镜传感器433报告镜驱动431的状态以便控制镜驱动431,使得将扫描镜413设置为期望的扫描角度430。镜控件432发送要存储在数据存储装置406中的镜控制数据437。当扫描镜413已经根据镜控制数据437安放到正确的扫描角度时,系统控件405可以向与扫描镜413相关联的(一个或多个)相机414、416发送触发指令。
可选地,系统控件405还控制相机触发器的时序,使其与每个相机414、416的运动补偿的操作同步。与相机414、416的运动补偿相关的运动补偿(MC)数据435存储在数据存储装置406中,并且可以用于实现这种同步。
对应于捕获图像的像素数据439存储在数据存储装置406中。可选地,万向节角度470可以存储在数据存储装置406中,数据存储装置406包括在为存储的像素数据439捕获图像时与稳定平台407(即万向节)中的扫描相机系统408的取向相关的信息。与图像捕获同步记录的其他数据可以包括GNSS数据(如图11中所示的地面速度462、纬度/经度数据463和高度464)和IMU姿态数据436。
可以理解,根据扫描驱动单元的扫描图案,可以采用图10中所图示的过程捕获具有投影几何形状的运动补偿图像。在不影响本说明书中描述的系统和方法的范围的情况下,可以略微修改该过程。
运动补偿可以使用各种方法,包括但不限于倾斜或旋转光路中的透明光学板或镜头元件、倾斜或旋转光路中的镜、和/或相机传感器平移。运动补偿方法的动态可以与图像捕获同步,使得在曝光期间不期望的图像运动最小化,并且输出图像的锐度最大化。注意,运动补偿可能使传感器上的图像偏移,这将影响相机的主点,并且可能需要在图像处理(诸如光束法平差和校准)中计及。
图11的高级过程中图示了相机414的运动补偿单元415的合适过程。系统控件405发送信号来控制运动补偿单元415的操作,与扫描镜413的控制同步,并触发相机414来捕获具有期望投影几何形状的运动补偿图像。
运动补偿单元415使用几何形状估计器模块450来确定扫描驱动单元411的相机414在其当前配置中的投影几何形状451,其为扫描角度的函数。投影几何形状451是传感器中的像素位置和地面上成像位置的坐标之间的映射。对象区域上的坐标可以是例如图4a和图4b中所示的各种扫描图案图示的x轴和y轴。如果地面被表示为平面,则投影几何形状451可以用投影几何形状来表达,或者可以使用其他表示来处置更一般的非平坦对象区域。
几何形状估计器模块450可以基于镜控制数据437中报告的已知扫描角度430、已知扫描驱动单元(SDU)几何形状数据467、报告扫描驱动单元取向的IMU姿态数据466、和飞行器高度数据464来计算投影几何形状451。可选地,几何形状估计器模块450可以使用来自飞行器的数字高程模型(DEM)465和纬度/经度数据463的局部地面表面高度轮廓数据来形成更准确的投影几何形状。几何形状估计器模块450可以以固定速率操作,或者可以在特定时间操作,例如基于通过镜控制数据437提供的扫描镜413的安放。
投影几何形状451可以与各种运动传感器测量组合使用,以估计像素速度估计。像素速度估计是对曝光期间聚焦图像在相机传感器上方的运动的估计。本文中描述了两种不同的像素速度估计器,其涉及飞行器的线性运动和角运动。这些分别称为前向运动像素速度估计器452和姿态速率像素速度估计器454。
前向运动像素速度估计器452除了使用由GNSS接收器404生成的飞行器的当前地面速度462之外,还使用投影几何形状451来计算与相机曝光期间扫描相机系统408的线性运动相对应的前向运动像素速度453。像素速度可以表达为相机传感器上方的地面图像的平均速度,并且可以包括一对速率(例如,以像素/毫秒表达),其对应于地面图像沿着传感器的两个轴的运动速率。替代地,它可以包括取向角(例如,以度或弧度为单位)和运动大小(例如,以像素/毫秒为单位),或者任何其他合适的矢量表示。
前向运动像素速度估计器452可以通过基于投影几何形状绘制与跨传感器的点集合相对应的地面上的位置,根据飞行器在短时间步长(例如1ms或与相机曝光时间相关的值)内的运动使那些点偏移,然后投影回到传感器来计算前向运动像素速度453。由于飞行器的运动所致的每个传感器位置从原始位置的偏移可以除以时间步长来估计传感器位置处的局部矢量速度。可以通过统计上组合(例如平均)该采样传感器位置集合上的局部矢量速度来计算图像的像素速度。
前向运动像素速度估计器452可以以固定更新速率操作,或者可以在输入数据(地面速度462和投影几何形状451)存在改变时操作以更新,或基于一些其他适当的准则操作以更新。
姿态速率像素速度估计器454除了使用由IMU 409生成的IMU姿态速率468之外,还使用投影几何形状451来计算与相机曝光期间扫描相机系统408的姿态改变速率(例如偏航速率)相对应的姿态速率像素速度455。姿态速率像素速度455可以以与前向运动像素速度453相同的矢量形式表达。姿态速率像素速度估计器454可以使用类似的基于短时间步长的估计方法来确定姿态速率像素速度455。传感器上的像素位置可以通过投影几何形状451映射到地面上的位置。然后基于该投影几何形状451生成第二投影几何形状,该投影几何形状451根据扫描相机系统的姿态改变而旋转,由于当前姿态速率,该姿态改变将在短时间步长内发生。基于第二投影几何形状将地面上的位置映射回到传感器坐标。姿态速率像素速度455可以被估计为传感器位置相对于原始位置的改变除以时间步长。
姿态速率像素速度估计器454模块可以以固定更新速率操作,或者可以在输入数据(IMU姿态速率468和投影几何形状451)存在改变时操作以更新,或基于一些其他适当的准则操作以更新。IMU姿态速率468可以具有高频分量,并且姿态速率像素速度455可以在短时间内变化。
就(一个或多个)运动补偿驱动460的动态要求而言,向运动补偿控件458发送与单次图像捕获相对应的多个更新的姿态速率像素速度估计可能是有利的。这在处理流程中由附加ROI像素速度估计器440表示。对IMU数据使用某种前向预测估计器来减小测量时间和相机曝光时间之间的实际姿态速率的差异也可能是有利的。合适的前向预测方法可以包括各种已知的滤波器(诸如线性滤波器、Kalman滤波器)和统计方法(诸如最小二乘估计)。前向预测方法可以基于来自具有类似稳定平台和相机系统的类似飞行器的先前采样的姿态速率数据来调谐。
在一个实施例中,扫描相机系统408可以通过稳定平台407与滚动和俯仰速率隔离,并且姿态速率像素速度455可以仅基于飞行器的偏航速率进行计算。在其他实施例中,扫描相机系统408可以与滚动、俯仰和偏航隔离,并且姿态速率像素速度455可以假设为可忽略不计。
除了运动传感器像素速度估计器(诸如前向运动像素速度估计器452和姿态速率像素速度估计器454)之外,还可以基于捕获的图像计算像素速度的直接测量。对小的感兴趣区域(ROI)图像469(优选地在该区域的纹理区域中取得)执行该分析可能是有利的,以便减少图像捕获和像素速度估计生成之间的时延。ROI图像469应该在不存在运动补偿的情况下被捕获,并且相对于正常的图像帧捕获可以使用短的曝光时间,但是优选地在镜已经安放之后。可以使用任何合适的图像对准方法(例如傅立叶域或真实空间中基于相关性的方法、基于梯度的偏移估计方法、或其他技术)在略微不同的时间捕获的ROI图像之间估计矢量像素偏移。矢量像素偏移估计可以通过将该偏移除以ROI图像捕获时间之间的时间步长而转换成像素速度。
ROI像素速度估计器440可以将来自多于两个ROI图像的像素速度估计进行组合以改善准确度,并可以以固定速率操作或在ROI图像可用时操作。如果不满足某些准则,例如如果图像中纹理不足,则可以拒绝估计的ROI像素速度457。例如,基于对由扫描相机系统捕获的其他图像的分析或基于同一区域的先前勘测,可以设置捕获图像的位置以改善在成像区域中发现良好纹理的可能性。
图11中所图示的运动补偿过程可以适于一个或多个扫描镜结构在捕获期间不静止的情况。允许镜在操作期间连续移动而不是每次曝光都停止可能是有利的。替代过程将使用附加的扫描镜像素速度估计器,该扫描镜像素速度估计器将分析曝光期间扫描镜结构的运动。扫描镜像素速度估计器可以使用短时间步长估计方法来确定扫描镜像素速度。传感器上的像素位置可以通过投影几何形状451映射到地面上的位置。然后基于在第二时间计算的投影几何形状451生成第二投影几何形状,该第二时间是投影估计时间之后的短时间,并且用于对应于在那时预期扫描镜角度的第二扫描镜角度。基于第二投影几何形状将地面上的位置映射回到传感器坐标。扫描镜像素速度可以被估计为传感器位置相对于原始位置的改变除以时间步长。扫描镜像素速度可以附加地被供应给运动补偿控件,在运动补偿控件中,扫描镜像素速度可以与前向运动像素速度453和/或姿态速率像素速度455相组合。
运动补偿控件458组合输入的可用像素速度估计以确定总体像素速度估计,并使用该估计来控制运动补偿单元的驱动以触发运动补偿元件的动态行为,从而在相机曝光时间期间稳定传感器上的图像。运动补偿控件458还接收来自系统控件405的时序信号,系统控件405给出运动补偿所需的时序,使得它可以与扫描镜结构的安放和相机的曝光同步。运动补偿控件458可以可选地使用运动补偿校准数据461,运动补偿校准数据461可以用于将待由运动补偿单元415补偿的估计的总体像素速度准确地转换成与运动补偿元件的所需控制(例如光学板、镜或运动补偿中使用的其他组件的旋转或倾斜)相关的动态信息。
姿态速率像素速度455和前向运动像素速度453估计是基于运动传感器的像素速度估计,其对应于飞行器的不同运动。这些可以通过将矢量分量相加在一起来组合。替代地,例如如果仅一个速率可用,或者如果不需要一个速率(例如,如果稳定平台407有效地将扫描相机系统408与所有姿态速率隔离),则可以使用单个估计。
ROI像素速度457是直接测量的总体像素速度估计,其包括来自姿态速率和前向运动的运动。当ROI像素速度457可用时,其可以用于代替其他像素速度估计,或者其可以与统计上的其他估计相组合(例如基于Kalman滤波器或其他适当的线性或非线性方法)。
在(一个或多个)运动补偿驱动460的操作中可能存在一些时延,以实现运动补偿单元415的组件的适当动态。因此,运动补偿控件458可以在图像曝光之前的某个所需的时间步长开始发送用于(一个或多个)运动补偿驱动460的运动的控制信号,以便计及该时延。运动补偿控件458可以基于更新的像素速度估计(诸如低时延姿态速率像素速度估计器456)在图像曝光之前可选地更新(一个或多个)运动补偿驱动460的控制信号。这样的低时延更新可以用于实现更准确的运动补偿和更锐利的影像。
倾斜光学板运动补偿的操作原理是基于光在板表面的折射,如图12中所图示。当光线290入射在倾斜的光学板291上时,根据Snell定律,光线290在前表面292处被折射,并且然后在后表面293处被折射以返回到其原始取向。对光线290的影响是它相对于其原始路径偏移了横向距离δ。偏移量的尺寸与光学板231的厚度成比例,大致与倾斜角成比例(对于小角度),并且还取决于玻璃的折射率。如果光学板291的倾斜角(θt)随时间变化,则光线的偏移也变化。将该原理应用于相机,使镜头和传感器之间的光学板的倾斜变化可以用于使光线偏移,该光线聚焦以在传感器上形成图像,从而使传感器上的图像偏移。
可以在相机镜头和传感器之间引入一个或多个倾斜光学板。这样的板影响光线在传感器上的聚焦,然而,在镜头设计中可以考虑这种影响,使得镜头的MTF保持高,并且可以获得锐利的图像。该设计在光学板的设计倾斜角处得到补偿,该设计倾斜角可以是零倾斜,或者是与曝光期间板的预期动态相关的某个标称倾斜。在除了光学板的设计角度以外的角度下,光路的改变导致像差和MTF下降。例如,光学板玻璃中的色散引起处于不同波长的光线取得不同的偏差,从而导致一些色差和MTF下降。只要板的角度不偏离设计角度太多,这种锐度的损失就是小的。
可以根据与两个表面的平整度和相对表面之间的楔角相关的公差制造光学板。在一个实施例中,它们应该由具有高折射率和低色散的材料构建。这样的玻璃将具有相对高的Abbé数。这些板将被动态控制以遵循期望的旋转轨迹;在这样的情况下,可以使用具有低比重和高硬度的玻璃。要放置在镜头和传感器之间的光学板的总厚度和材料是镜头设计中的关键参数。在一个实施例中,可以使用BK7玻璃,因为它在折射率、色散、比重和硬度方面具有良好的综合属性,并且也容易获得。其他合适的玻璃包括S-FPL51、S-FPL53或SPHM-53。
一般而言,较厚的玻璃板更好,因为它们需要较小的倾斜来实现给定的运动校正,然而,镜头和传感器之间的可用空间对板厚度设置了上限。合适的玻璃厚度可以是大约10mm,尽管可以理解的是,本说明书中描述的运动补偿方法在宽范围的玻璃板厚度范围内都是有效的。用于板制造的合适公差可能是表面粗糙度小于λ/4,平行度小于1弧分,其中反射率小于0.5%。
图13a、图13b和图13c分别从透视图、侧视图和镜头光轴向下的视图图示了扫描相机系统的相机中运动补偿的第一布置。相机包括聚焦镜头240,两个光学板241、242和传感器243。传感器243安装在适当的焦平面中以捕获该区域的锐利图像。每个光学板241、242被安装成允许绕板倾斜轴控制板倾斜角度。板倾斜角度可以使用任何合适的致动器或旋转电机(诸如DC电机或无刷电机)来控制,所述致动器或旋转电机通过齿轮箱耦合、直接耦合、或皮带驱动。
在图13a、图13b和图13c中,第一光学板241的倾斜轴与第二光学板242的倾斜轴正交。在这种布置中,光学板241、242可以绕它们相应的轴倾斜,以在正交方向上使传感器243上的图像偏移,尽管非正交布置是可能的。一个区域的图像可以在传感器243上方沿着任何矢量方向并且以取决于第一和第二光学板241、242的倾斜速率的速度偏移。如果一个区域的图像由于相机相对于该区域的动态运动而在该区域上方移动,则两个光学板241、242的速率可以独立设置,使得运动的矢量方向和速度起到稳定图像的作用。
光学板241、242的横向形状和尺寸应足够大,使得所有聚焦光线入射在传感器243上。光学板241、242在形状上可以是圆形、方形、矩形、方形斜面或矩形斜面。基于矩形和方形的形状的一个优势是它们围绕倾斜轴具有较低的惯性矩,从而减少了用于在操作期间控制光学板运动的驱动电机上的负载。如果传感器243具有不一致的纵横比,那么基于矩形的形状可以具有非常低的惯性矩,同时足够大以涵盖所有成像的光线。然而,这样的光学板确实需要矩形光学板241、242的主轴与传感器243的主轴正确对准。光学板241、242可以被安装成使得它们可以被动态控制以根据所需的动态性倾斜,如本文中所讨论的。在一个实施例中,光学板可以是5mm厚的BK7玻璃。
图14a、图14b和图14c分别从透视图、侧视图和镜头光轴向下的视图图示了扫描相机系统的相机中的运动补偿的第二布置。相机包括聚焦镜头240、单个光学板244和传感器243。传感器243安装在适当的焦平面中以捕获该区域的锐利图像。安装光学板244,以允许在垂直于光轴的平面中绕任意轴控制板倾斜角。这包括围绕与传感器轴对准的轴的倾斜(由旋转281、283图示),以及任何中间角度(诸如由旋转282、284图示的那些角度)。一个区域的图像可以在传感器243上方沿着由旋转轴确定的任何矢量方向并且以取决于光学板244的倾斜速率的速度偏移。如果一个区域的图像由于相机相对于该区域的动态运动而在该区域上方移动,则可以独立地设置光学板244的倾斜轴和倾斜速率,使得运动和速度的矢量方向起到稳定图像的作用。
光学板244的横向形状和尺寸的准则与用于光学板241、242的相同,也就是说,其应足够大,使得所有聚焦光线入射在传感器243上。可以使用圆形、矩形和方形板。然而,注意,由于使用了单个板,因此与双板的情况(来自图13a、图13b、图13c)相比,对板的空间限制可以减小,这意味着增加光学板244的厚度可以是可能的。如上面讨论的,对于给定的倾斜,增加厚度增加了图像偏移。在一个实施例中,光学板244可以是10mm厚的BK7玻璃。
图15a、图15b和图15c分别从透视图、侧视图和镜头光轴向下的视图图示了扫描相机系统的相机中的另一种运动补偿布置。相机包括聚焦镜头240、两个光学板245、246和传感器243。传感器243安装在适当的焦平面中以捕获该区域的锐利图像。如可以在图15b的侧视图中看到的,每个光学板245、246以固定的板倾斜角安装。每个光学板245、246被附加地安装,使得其可以以可以控制的旋转速率和旋转相位绕光轴旋转。在操作期间,两个光学板245、246以独立选择的旋转速率和独立的旋转相位旋转。控制光学板245、246的旋转,使得在传感器243曝光以捕获图像时两个光学板245、246的倾斜相对,以便最小化图像质量的损失。在曝光时,光学板245、246的相位确定图像运动的矢量方向,并且光学板245、246的旋转速率确定由相机的运动补偿单元生成的图像运动的速度。如果一个区域的图像由于相机相对于该区域的动态运动而在该区域上方移动,则两个光学板245、246的相位和旋转速率可以独立设置,使得运动和速度的矢量方向起到稳定图像的作用。
光学板245、246的横向形状和尺寸的准则与用于光学板241、242的相同,也就是说,它们应足够大,使得所有聚焦光线入射在传感器243上。由于光学板245、246绕光轴旋转,使用圆形光学板可能是有利的。在一个实施例中,光学板245、246可以是倾斜6°的5mm厚的BK7玻璃。
参考回到图11,在一个实施例中,运动补偿单元415可以包括一对光学板241、242,如参考图13a-图13c所讨论的。每个倾斜光学板241、242可以由(一个或多个)运动补偿驱动460根据由运动补偿控件458提供的轨迹倾斜。一个或多个运动补偿传感器459可以用于跟踪运动并向运动补偿控件458给出反馈。
图16示出了适用于倾斜板运动的一些示例轨迹。示出了三个样本轨迹,一个具有较长时延一个具有较短时延/>并且一个是通过将较长时延轨迹的一部分和较短时延轨迹的一部分相加在一起而生成的,其可以被称为混合时延轨迹/>
图16包括与三个轨迹相关联的倾斜(顶部图)、倾斜速率(中部图)和倾斜加速度(底部图)的图。图每个都以时间(x轴)0为中心,该时间0被假设为图像曝光时间的中间值,并且基于分段线性倾斜加速度。可以基于不同的假设形成替代轨迹,诸如分段恒定倾斜加速度、分段线性倾斜加加速度、或可以基于特定运动补偿控件和驱动选择的其他合适的假设。
图16的三条轨迹在时间0周围的时间段-Texp到Texp内实现了相同的恒定倾斜速率(零倾斜加速度)。这个恒定倾斜速率的时间段可以比相机的总曝光时间长,以便允许倾斜板的控制和曝光时序中的误差。对可允许的最大和最小倾斜可能存在一些限制,其由倾斜角度图中的±θmax指示。在时间偏移为零时(恒定倾斜速率时段的中间)的倾斜为零,以便最小化曝光期间由于非零倾斜所致的锐度损失。
比较这三个轨迹,可以看到较长和混合时延轨迹在所需的加速速率方面可能是有利的,而较低的时延在所需的最大倾斜方面可能是有利的。然而,如果飞机的动态具有一些高频分量,则混合和较低时延轨迹可能是有利的,因为它们可以使用更多最新的运动估计,在曝光时间内具有较低的误差。
图17a包括14个对象区域投影几何形状G1至G14,其图示了上面参考图3讨论的扫描相机系统300的第三扫描驱动单元303的14帧扫描图案。在这种实例中,假设扫描相机系统300与飞行器的运动对准,如在不存在偏航的情况下可能发生的那样。每个地面投影几何形状G1-G14都具有表示飞行器的前向运动矢量的箭头。图17a还包括14个对应的传感器图S1至S14,其图示了由于每个矩形传感器轮廓中箭头所示的前向运动所致的相对于传感器几何形状的对应运动补偿像素速度。
图17b的上部图示出了图17a中所图示的运动补偿像素速度的分量作为帧号(1到14)的函数,其中像素间距为3.2微米。图17b中的下部图示出了运动补偿所需的第一和第二光学板(例如光学板241、242)的对应板倾斜。在这种情况下,板可以是5mm BK7板,其中第一轴在0°处对准并且第二轴在90°处对准,使得倾斜第一板导致沿着x轴的图像偏移并且倾斜第二板导致沿着y轴的图像偏移。从像素速度到板倾斜速率的转换可以使用运动补偿校准数据来实现,运动补偿校准数据可以由每个板的厚度、材料(折射率)和取向数据组成,或者替代地可以由用于将图像偏移转换为板倾斜、并且反之亦然的函数参数组成。注意,图17b的上部图的像素速度都不包括x轴中的分量,并且因此第一板的倾斜速率对于所有帧都为零。在这种特定情况下,第一板是冗余的。
图18a包括26个对象区域投影几何形状G1至G26,其图示了上面参考图4a-图4f讨论的扫描相机系统300的第一扫描驱动单元301的26帧扫描图案。假设扫描相机系统300与飞行器的运动对准,并且每个地面投影几何形状具有表示飞行器前向运动矢量的箭头。图18a还包括26个对应的传感器图S1至S26,其图示了由于每个矩形传感器轮廓中箭头所示的前向运动所致的相对于传感器几何形状的对应运动补偿像素速度。
图18b给出了图18a中所图示帧的像素速度分量(其中像素间距为3.2微米)和运动补偿所需的第一和第二板的对应倾斜速率的图,再次假设5mm BK7板,其中第一轴在0°处对准并且第二轴在90°处对准。由于第一扫描驱动单元301的扫描图案,像素速度一般沿着两个轴具有非零分量,并且因此使用两个光学板。
图19a示出了第一光学板的倾斜轨迹,该倾斜轨迹可以用于实现图18b的第二下部图中所示的所需倾斜速率的运动补偿。轨迹由26个部分组成,这些部分是图16的较长时延轨迹的缩放副本,由零板倾斜的固定部分联结。根据第一光学板所需的倾斜速率设置每个部分的缩放。替代轨迹可以基于图16的较短时延轨迹或混合时延轨迹来形成,或者可以使用具有不同时延或时延的混合的轨迹的混合。图19b示出了第二光学板的倾斜轨迹,该倾斜轨迹可以用于实现图18b的第二下部图中所示的所需倾斜速率的运动补偿。该轨迹以与用于图19a中所示的第一光学板的倾斜轨迹相同的方式形成。在图19a和图19b中所示的图中,沿x轴的每对相邻垂直虚线之间的增量等于75毫秒。
图20a和图20b图示了光学板的对准如何通过运动补偿校准数据影响计算的运动补偿倾斜速率。图20a示出了针对第一扫描驱动单元301和与图18b相同的像素速度数据计算的运动补偿板倾斜速率的替代集合,但是是针对以45°和135°定向的5mm BK7板。图20b示出了针对第二扫描驱动单元302和与图18b相同的像素速度数据计算的运动补偿板倾斜速率的替代集合,但是是针对以45°和135°定向的5mm BK7板。
图21a和图21b图示了扫描相机系统300相对于飞行路径的对准如何影响像素(间距:3.2微米)速度和倾斜速率,具体是针对稳定平台中未校正的15度偏航的情况。图21a和图21b分别示出了针对扫描驱动单元301和扫描驱动单元302的像素速度和倾斜速率,以及针对5mm BK7倾斜板分别以0°和90°定向的情况。
图22a和图22b图示了扫描相机系统300的姿态的改变速率如何影响像素(间距:3.2微米)速度和倾斜速率,具体是针对偏航速率高达每秒3°的情况,该偏航速率在每帧随机采样且未在稳定平台中进行校正。图22a和图22b分别示出了针对扫描驱动单元301和扫描驱动单元302的像素速度和倾斜速率,以及针对5mm BK7倾斜板分别以0°和90°定向的情况。
图23a和图23b图示了扫描相机系统300相对于飞行路径的姿态和对准的改变速率如何影响像素(间距3.2微米)速度和倾斜速率,具体是针对15°的偏航和高达每秒3°的偏航速率的情况,该偏航速率未在稳定平台中进行校正、并在每帧随机采样。图23a和图23b分别示出了针对扫描驱动单元301和扫描驱动单元302的像素速度和倾斜速率,以及针对5mmBK7倾斜板分别以0°和90°定向的情况。
那些被应用于生成图17a、图17b、图18a、图18b、图19a、图19b、图20a、图20b、图21a、图21b、图22a、图22b、图23a和图23b的样本轨迹的类似技术也可以应用于图14的单个倾斜光学板情况。然而,在这种情况下,将存在厚度大致为单个板(例如10mm BK7)两倍的单个板(即光学板244),并且倾斜板驱动将被致动以实现倾斜速率和倾斜取向。倾斜取向将基于对像素速度的x和y分量的三角运算来计算,而倾斜大小将基于像素速度矢量的大小来计算。
参考图15a、图15b和图15c讨论的旋转倾斜板运动补偿单元的旋转速率和相位的计算更加复杂。应该控制两个板(即光学板245、246)在相对的方向上旋转,使得在曝光时间的中间,它们以相对的倾斜定向。相对的倾斜应该根据所需像素速度的矢量方向来定向,并且对于具有根据板厚度、板材料和所需像素速度大小来确定的大小的板应该使用相等和相对的旋转速率。这样的轨迹可以通过使用与图16中所示轨迹类似的轨迹来实现,然而这样的轨迹可能需要非常大的驱动扭矩,并且取决于运动补偿像素速度要求,对某些帧使用连续旋转操作可能更高效。在一个实施例中,光学板可以是倾斜6°的5mm厚的BK7玻璃。
在运动补偿要求大多由于飞行器的线性运动所致的情况下,通过在倾斜板情况下在一个或两个光学板(即楔形物)的侧面之间引入小角度,可以减少由传感器像素上方的可变投影几何形状引起的运动补偿误差。在运动补偿要求包括来自姿态速率像素速度的显著贡献的情况下,这种楔形配置的任何优势都将减少。
图24中示出了扫描相机系统300的替代视图,该替代视图基于固定到稳定平台407中的相机系统组件的实体模型。从上面看,镜结构大多被将相机系统组件保持就位的安装结构遮挡。图25、图26、图27、图28和图29图示了飞行器的姿态如何影响稳定平台407中扫描相机系统300的取向。
图25示出了飞行器与飞行路线(y轴)对准的情况下的扫描相机系统300的俯视图和仰视图,这可能是飞行器在不存在滚动、俯仰或偏航的情况下飞行的情况。勘测孔305与飞行器对准,并且因此也与飞行路线对准。可以看到扫描相机系统300装配在勘测孔305中,周界周围具有小的边缘。
图26示出了飞行器以已由稳定平台407校正的6°的滚动与飞行路线(y轴)对准的情况下的扫描相机系统300的俯视图和仰视图。这种配置等同于勘测孔305保持与飞行路线对准,但是相对于扫描相机系统300围绕飞行路线的轴旋转。由于滚动,围绕勘测孔305周界的边缘略微减小。
图27示出了飞行器以已由稳定平台407校正的6°的俯仰与飞行路线(沿y轴)对准的情况下的扫描相机系统300的俯视图和仰视图。如同图26中所示的滚动的情况一样,围绕勘测孔305周界的边缘略微减小。
图28示出了飞行器以已由稳定平台407校正的15°的偏航与飞行路线(y轴)对准的情况下的扫描相机系统300的俯视图和仰视图。建模的较大偏航(15°)被选择为代表在可以部署扫描相机系统300的商用飞行器的范围中可以看到的动态范围。与图26和图27的滚动和俯仰情况相比,围绕勘测孔305周界的边缘大大减小,使得扫描相机系统300可能不再装配在勘测孔305中。
为了减少勘测孔305中的空间要求,稳定系统可以被配置为仅校正滚动和俯仰。这传达了减小稳定平台407的尺寸、成本和复杂性的附加优势。图29示出了飞行器以尚未被稳定平台407校正的15°的偏航与飞行路线(y轴)对准的情况下的扫描相机系统300的俯视图和仰视图。扫描相机系统300相对于稳定平台407的配置与图25中所示的配置相同,然而扫描相机系统300根据偏航旋转,使得捕获的扫描图案在对象区域上旋转。在实施例中,可以基于载具的偏航角度和优选偏航角度(例如零)之间的差值来设置扫描角度。可以在一个或多个飞行路线期间或之间调整扫描角度。
图30a图示了当飞行器相对于飞行路线(y轴)偏航15°时,扫描相机系统300在地面上的扫描图案。构成总体系统扫描图案的弯曲和线性扫描图案都围绕z轴旋转该偏航角度。用这些旋转的扫描图案捕获的图像相对于没有如图1a中所示的偏航捕获的图像可能具有较低的质量。质量的下降可能对应于倾斜影像的特定方位角的覆盖范围的损失(例如,所捕获影像相对于基本方向的公差增加)、由于线性扫描图案通过垂直方向的角度所致的垂直影像的最大倾角的轻微增加、和/或其他因素。图30b图示了具有前向重叠的三个扫描图案集合,这些扫描图案集合可以在具有15°偏航的飞行器中的扫描相机系统的操作期间被捕获。
本公开的一个方面是捕获倾斜图像的第一扫描驱动单元301的设计。可以有利地修改扫描图案内扫描角度的选择,以便校正飞行器的偏航。具体地,应用于扫描镜的每个采样扫描角度的偏航的一半的校正可以用于生成扫描图案,该扫描图案与在不存在具有原始扫描角度的偏航的情况下将已经生成的扫描图案相同。图31示出了飞行器以已经通过扫描镜的偏移扫描角度校正(即相对于图25至图29的扫描镜校正了7.5°的扫描镜扫描角度)的15°的偏航与飞行路线(沿着y轴)对准的情况下的扫描相机系统300的俯视图和仰视图。
图32a图示了当飞行器相对于飞行路线(y轴)偏航15°时扫描相机系统300在地面上的扫描图案,其中扫描角度偏航校正在第一扫描驱动单元301中执行。对应于第一扫描驱动单元301的弯曲扫描图案与图1的扫描图案匹配(没有偏航),而对应于扫描驱动单元302和扫描驱动单元303的线性扫描图案围绕z轴旋转该偏航角度。在这种情况下,消除了倾斜影像质量的下降,同时由于上面讨论的垂直影像最大倾角的轻微增加所致的图像质量的小损失仍然存在。因此,通过基于第一扫描驱动单元301的扫描角度的自适应控制的偏航校正处理,生成的图像的总体质量已经被改善。图32b图示了具有前向重叠的三个扫描图案集合,这些扫描图案集合可以在关于图32a描述的配置下在飞行器中的扫描相机系统的操作期间捕获。
处置-15°和15°之间偏航所需的第一扫描驱动单元301的扫描角度范围大于无偏航时用于成像的扫描角度范围。具体地,扫描角度的范围从标准范围(-30.7°到+30.7°)在每个方向上扩展了7.5°,以给出扩展范围(-38.2°到+38.2°)。参考图4e讨论的为标准扫描角度范围设计的标准镜几何形状将不会足够大以处置超出标准范围的扫描角度。如果镜的扫描角度被设置为超出其设计范围,那么源自该区域中其他位置的光束的光可以绕过镜的外部,而不是从镜反射。该光入射在镜头上并聚焦在传感器上,从而导致捕获图像中的重影图像(叠加在捕获图像上的另一个区域的图像)。
图33a和图33b有助于图示由于针对扫描角度范围小于当前扫描角度设置设计的镜所致的重影图像的形成。图33a示出了正在对镜252中反射的区域251成像的相机250。相机250位于勘测孔253内部,并且成像区域251非常接近相机250,然而图33a中展示的原理可以推广到与相机250的距离更大得多的区域,如在航空勘测中将是这种情况。由相机250成像的来自位置254的光形成光束255,该光束255聚焦在相机250中的传感器上对应于地面上位置254处的点的特定像素处。图33b示出了相同的布置,但是来自图33a的镜252被较小的镜256代替,来自区域251中的第二位置258的第二光束257绕过该镜256。第二光束257被相机镜头聚焦到相机250的传感器上与第三光束259相同的像素位置,该第三光束259是图33a中第一光束255的子集,其由减小的镜几何形状定义。
扩展图33b的图示,传感器中的每个像素可以暴露于来自反射光束(诸如光束259)的一些光和来自光束(诸如光束257)的非反射光。因此,传感器的曝光包括由于反射的光束所致的反射图像分量和由于绕过镜的直接图像光束所致的重影图像分量。此外,与镜足够大以处置聚焦到传感器上的所有光束的情况相比,反射图像分量可以具有减少的曝光,并且减少的曝光可以跨传感器变化(渐晕)。
图4f图示了针对过度旋转(“过度”)情况计算的扩展镜几何形状,即针对将适用于捕获图32a的扫描图案的弯曲路径而不形成重影图像的扩展旋转范围。扩展扫描镜几何形状大于图4e的为标准扫描角度范围设计的标准镜几何形状。在一些实例中,由于扫描镜尺寸增加,制造扩展扫描镜的成本和复杂性相对于标准扫描镜可能增加。此外,扩展镜的质量和惯性矩可能大于标准扫描镜,使得扩展镜的动态性能可能降低,并且安装和控制其移动的成本和复杂性可能增加。
在本公开的一个实施例中,通过使用混合镜结构,可以减轻扩展镜的增加的成本、复杂性和降低的动态性能。混合镜结构基于标准镜结构,其使用轻质低反射率材料的各部分延伸到扩展镜的几何形状之外。混合镜的关键优势是低反射率材料部分阻挡了由光线组成的不想要的光束,否则这些光束将绕过超出标准范围的镜扫描角度,从而防止了由于相关联的重影图像所致的质量损失。当与完全扩展的扫描镜相比时,轻质扩展还导致较低的惯性矩,使得提高了动态性能。
图34a示出了根据本发明实施例的扫描驱动单元301中的混合镜的图示。当扫描角度超出标准范围时,在扫描镜结构312周围添加低反射材料317以改善图像质量。
图34b图示了混合镜的操作原理,以防止图33b中所示布置的重影图像。镜256已经通过添加一部分低反射材料260进行了修改,该低反射材料260阻挡来自第二位置258的光束257,该光束257将导致重影图像。添加的低反射材料260不反射来自地面点位置254的光束261,光束261是图33a的原始光束255的子集。然而,也是光束255的子集的光束259从镜256的反射表面反射,并通过相机镜头聚焦到相机250的传感器上。镜259的反射表面的表面质量需要足够高,以便生成可以被传感器捕获的高质量聚焦图像。以此方式,地面位置254被成像,然而与重影图像相关联的地面位置258没有被成像。另一方面,因为不存在来自低反射材料260的镜面反射,所以表面质量(粗糙度、平整度、反射率)不需要高以便保持传感器上捕获的图像的总体锐度和质量。
由于仅原始光束255的子集(即光束259)被镜256反射并聚焦到传感器上,因此对应于区域位置254的像素的曝光减少。由于镜几何形状比所需的小,传感器上其他像素的曝光可能或多或少地减少。这导致一种渐晕形式,其中曝光是传感器上位置的函数,并且与其他区域相比,捕获的图像可能在一些区域上方看起来较暗。渐晕将在下面参考图36a和图36b进一步讨论。该渐晕可以被建模和校正,如将在下面进一步讨论的。
可以将低反射率材料以安全、坚硬的方式附接到镜,使得其与镜结构一起移动,从而阻挡不想要的光束。鉴于这些部分不再需要满足在平整度和反射率方面的严格光学规范,它们可以由轻质低成本材料(例如碳纤维)制造。这传达了相对于扩展镜结构减小混合镜结构的惯性矩和质量的附加益处。镜结构的减小的惯性矩和质量可以允许扫描镜在所要求的扫描角度之间更快地旋转,并且因此允许更快的扫描相机系统。相对于标准镜结构,低反射率材料部分可以改变混合镜结构的总体几何形状。例如,它们可以形成凸标准镜结构的非凸延伸部。
在本发明的另一个实施例中,可以动态调谐相机的光圈,使得扫描镜结构312的镜面314、315的几何形状足够大,以反射聚焦在传感器上的所有光线。具体地,当扫描角度扩展超出镜的设计参数时(即发生过度旋转时),光圈减小。在一个实施例中,光圈可以对称减小。在其他实施例中,光圈可以不对称地减小。可以选择光圈的不对称性以最小化光圈的改变,同时去除与重影图像相关联的所有光束。这可以最小化传感器上方的曝光损失。光圈所需的最小不对称改变可以采取任意形状。另一种方法是对光圈使用简单的动态改变,诸如不透明材料的一个或多个滑动部分,每个滑动部分被移动以从特定侧关闭光圈,从而选择性地阻挡光圈的某个部分。这可以通过使用修改的、可能不对称的阑孔(iris)来控制光圈以实现。替代地,诸如LCD之类的有源元件可以用于产生动态光圈,该动态光圈可以被电子控制以形成更多种形状,直至该元件的分辨率。与材料的滑动部分相比,有源光圈可以提供对光圈的更大控制和更快的更新速度。另一方面,它可能不太实用,并且可能不构成有效的阻挡,具有一小部分透过光圈的风险。
如参考图25、图26、图27、图28和图29所讨论的,勘测孔的几何形状可能是适合于部署在飞行器中的扫描相机系统设计的约束。扫描相机系统的组件必须安装在勘测孔内部。此外,如果稳定平台用于在飞行期间保持扫描相机系统的姿态,则空间上应该存在足够的边缘供扫描相机系统在不接触勘测孔壁的情况下随着稳定平台旋转。
除此空间约束外,还存在与扫描相机系统在勘测孔中的放置相关的光学约束,其使用图35a和图35b进行图示。图35a示出了在勘测孔253已经相对于相机250和镜252移动之后,相机250对镜252中反射的区域251的位置254进行成像。这种情形可能发生在相机250和镜252安装在勘测孔253上的稳定系统上的情况下,并且勘测孔253的姿态被改变,例如通过其所附接到的飞行器的滚动或俯仰。在这种情况下,光束255由两部分组成:(1)光束262的第一部分从镜252反射并被相机镜头聚焦到传感器上,以及(2)光束263的第二部分被勘测孔253遮挡并且不从镜252反射而聚焦到传感器上。
由于遮挡,对应于区域位置254的像素曝光较少。由于遮挡,传感器上其他像素的曝光可能或多或少地减少。这导致一种渐晕形式,其中曝光是传感器上位置的函数,并且与其他区域相比,捕获的图像可能在一些区域上方看起来较暗。
注意,全光束255的一些部分可能被勘测孔遮挡,使得它们不入射在低反射性的镜部分上。这在图35b中图示,其中光束263被勘测孔253遮挡,并且因此没有到达附接到镜266的低反射材料265。
图36a至图36h进一步图示了由于图34b、图35a和图35b中表示的几何形状所致的图像的渐晕。图36a至图36h图示了由于可选地安装在稳定平台上的勘测孔中的扫描驱动单元的几何形状所致的渐晕和重影图像的计算。该计算基于假设多个传感器位置,沿着图像光束路径将各种组件和对象的几何形状投影到相机的光圈平面上。根据一个实施例,投影几何形状的这种计算图示了成像光束对相机的图像传感器的照射模型。该照射模型考虑了诸如容纳扫描相机系统的受限空间的几何形状、扫描镜结构的扫描角度、扫描镜结构的几何形状、以及容纳扫描相机系统的载具的滚动/俯仰/偏航之类的因素,以对成像光束对相机中的图像传感器的照射进行建模。
图36a示出了受渐晕影响的均匀无纹理表面的图像。与图像的较亮部分(例如位置273)相比,图像的较暗部分(例如传感器位置277)受渐晕的影响更强烈。
指示了图36a中的九个传感器位置271、272、273、274、275、276、277、278、279,并且在图36b的对应图中进一步图示了每个传感器位置处的图像渐晕。图36b的每个图图示了从扫描驱动单元的镜反射的光对光圈的照射。图36b中每个图的中心表示镜头光轴与光圈平面的交点。圆形实线表示光圈,而虚线轮廓表示镜面几何形状到光圈空间上的投影。如果虚线轮廓延伸到或超出实线圆,则镜对于相机光圈来说足够大。然而,不在虚线轮廓内部的圆的任何部分都不被来自镜的反射光束照射。虚线是表示勘测孔的较大轮廓的一部分。在图内,勘测孔在虚线的左侧,使得由于勘测孔的遮挡,光圈右侧的实线圆的任何部分都不被来自镜的反射光照射。实线圆的对角散列部分表示由来自镜的反射光照射的光圈的一部分,这可能与对应于该图的传感器像素的曝光相关。看到的是,渐晕的程度跨传感器而变化,并且可能取决于勘测孔遮挡和有限的镜几何形状两者。
均匀无纹理区域的渐晕图像可以如上面关于图36a和图36b所讨论的那样形成。渐晕图像可以以全传感器分辨率生成,或者以较低分辨率生成,在这种情况下,可以通过对渐晕图像进行插值来估计任何给定像素处的渐晕。渐晕图像可以作为渐晕数据473存储在数据存储装置406中。根据一个实施例,该渐晕数据473可以用于更新像素值以补偿渐晕。
图36b进一步图示了动态调谐镜头光圈以避免重影成像的要求。具体地,不包含在对应于投影镜几何形状的虚线内的圆形光圈的任何部分都应该被动态光圈掩模所掩蔽。这定义了掩蔽的最低水平,并且如上面讨论的,掩蔽更大或更规则的区域可能更实用。
图36c图示了可以针对图34b、图35a和图35b中所表示的相同几何形状捕获的图像,但具有修改的光圈。照射的变化基本上被消除了,使得图像不应再受到渐晕或重影图像的影响。
图36d图示了不规则且不对称的区域,该区域限定了可以通过动态减小图36b的圆形光圈实现的修改光圈。整个不规则区域在所有传感器位置都被散列,这指示包括勘测孔和镜在内的系统的几何形状没有影响传感器的曝光。这基本上去除了由几何形状产生的渐晕和重影图像。与图36b的情况一样,图36d中每个图的中心表示镜头光轴与光圈平面的交点。对于图36e、图36f、图36g和图36h中的每个图也是如此。
图36e图示了第一替代不规则区域,其限定了可以通过动态减小图36b的圆形光圈实现的修改光圈。具体地,圆形对称光圈是通过阻挡由跨圆绘制单条直线所定义的段来修改的。图36e的大部分不规则区域在大多数图像中被散列,尽管存在一小部分在传感器位置(例如271、273、276和279)中未被散列。这些小区域将会引入少量渐晕,并且如果镜没有阻挡重影图像的低反射率材料延伸部,则还可能允许重影图像。
图36f图示了第二替代不规则区域,其限定了可以通过动态减小图36b的圆形光圈实现的修改光圈。具体地,圆形对称光圈通过阻挡三个段来修改,每个段通过跨圆绘制单条直线来定义。整个不规则区域在所有传感器位置都被散列,这指示包括勘测孔和镜在内的系统的几何形状没有影响传感器的曝光。这基本上去除了由几何形状产生的渐晕和重影图像。
图36g图示了与图36b中所示情况类似的情况的光圈平面几何形状,但修改了扫描镜角度,使得镜几何形状投影变形,并且使得勘测孔不阻挡入射在整个光圈上的任何图像光束。图36e的大部分不规则区域在大多数图像中被散列,尽管存在一小部分在传感器位置(例如271、273、274、276和277)中未被散列。这些小区域将会引入少量渐晕,并且如果镜没有阻挡重影图像的低反射率材料延伸部,则还可能允许重影图像。
图36h图示了第三替代区域,其限定了可以通过动态对称减小图36b的圆形光圈以产生更小的圆形光圈来实现的修改光圈。整个区域在所有传感器位置处都被散列,这指示包括勘测孔和镜的系统的几何形状没有影响传感器的曝光。这基本上去除了由几何形状产生的渐晕和重影图像。
系统控件405接收IMU姿态数据(滚动、俯仰和/或偏航)和包括扫描角度的扫描驱动单元参数434。系统控件405被编程为将IMU姿态数据和扫描角度与由于例如勘测孔253和不包含在投影镜几何形状内的光圈所致的遮挡的存在相关,以计算给定帧的动态光圈设置。系统控件405可以实时计算动态光圈设置,该计算基于诸如扫描相机系统的几何形状、扫描驱动角度、遮挡物体的几何形状(诸如受约束的相机孔)、相机参数(诸如传感器几何形状和焦距)以及飞行参数(诸如滚动、俯仰和偏航)之类的参数。替代地,它可以使用动态光圈参数的预定义查找表,该动态光圈参数可以是诸如飞机的扫描角度和/或滚动、俯仰和/或偏航之类的参数的函数。系统控件405通过发送到相机的信号控制动态光圈,如图10中的414和416中所图示的。基于控制信号,可以机械地(例如通过一个或多个阑孔元件的运动)或电子地(例如对于LCD光圈)或以其他方式修改光圈。在实施例中,可以使用一个或多个电机(例如步进电机、DC电机)来修改光圈。光圈可以对称地减小,例如如图36h中所示;不对称地减小,例如如图36b和图36f中所示;或者两者的组合,例如如图36d中所示。
图37图示了在为给定航空勘测捕获图像之后可以执行的后处理分析。后处理分析可以在飞行中或飞行之后执行,并且可以在诸如计算机或云处理平台之类的计算平台上执行。该分析使用来自数据存储装置406的数据,该数据可以在飞行之后或飞行期间被复制到其他数据存储装置。在一个实施例中,后处理分析可以使用网络控制器来执行,诸如来自美国Intel公司的Intel以太网PRO网络接口卡,用于与网络对接。如可以领会的,网络可以是公共网络(诸如互联网)、或者专用网络(诸如LAN或WAN网络)、或者它们的任何组合,并且还可以包括PSTN或ISDN子网络。网络可以是有线的,诸如经由以太网网络;或者可以是无线的,诸如经由包括EDGE、3G、4G和5G无线蜂窝系统的蜂窝网络。无线网络还可以是Wi-Fi、蓝牙、NFC、射频识别设备、或任何其他已知的无线通信形式。
一个或多个单独捕获的图像可以可选地由渐晕分析过程474处理以生成渐晕数据473,渐晕数据473可以用于校正由于勘测孔305的遮挡或由于扫描驱动单元的扫描镜结构的有限几何形状所致的图像像素的渐晕。渐晕分析过程474可以如上面参考图36a和36b所讨论的那样来执行。它可以使用对应于来自像素数据439的给定图像的SDU几何形状数据467、镜控制数据437和万向节角度470。它可以附加地使用定义勘测孔几何形状471的数据和与扫描镜结构的几何形状相关的镜数据472,以便为传感器中的多个像素确定如图36b中所图示的光圈的分数曝光,并且然后生成如上面讨论的渐晕图像。
在一个实施例中,特定像素的曝光数据存储为分数曝光,其中分数面积是与用对角交叉阴影填充的光圈相对应的圆形区域的分数。分数曝光为1将表示与图36b中的圆形区域被对角阴影区域完全填充的情况相对应的完全曝光。渐晕图像可以由对应于特定像素的分数曝光数据组成,并且可以存储为渐晕数据473。渐晕数据473可以用于通过根据该像素的渐晕数据473修改像素值来校正来自像素数据439的各个像素。例如,像素RGB值可以除以对应于存储在渐晕数据中的该像素的分数曝光。渐晕数据473可以被插值以提供图像中所有像素的合适的渐晕数据。在另一个实施例中,可以根据光线在光圈上的入射角度对分数曝光进行加权,例如通过余弦或其他三角函数。
图37中所图示的像素数据的后处理始于处理步骤475,该处理步骤475估计与全局坐标系中每个图像相对应的相机姿态和位置。该姿态和位置可以对应于虚拟相机,该虚拟相机表示相机的视在(apparent)视点和观察方向(即,在图像捕获时光路中没有镜的假设下)。处理步骤475可以使用有时被称为光束法平差的标准已知技术,并且可以使用来自除了扫描相机系统之外的一个或多个固定概览相机的像素数据439。处理步骤475可以使用对应于捕获图像的各种勘测数据,包括纬度/经度数据463、高度数据464、IMU姿态数据466、运动补偿数据435、镜控制数据437和SDU几何形状数据467。处理步骤475可以可选地生成与相机的非线性(例如桶形失真)和成像系统组件的其他方面以及捕获图像的环境(例如大气效应)相关的附加数据。
在处理步骤475后可以可选地进行细化步骤476,该细化步骤476改善成像系统和/或环境的各种估计或姿态、位置和其他方面。存储相机姿态、位置和附加数据477,以供在基于勘测生成各种图像产品中使用。
用于3D表面重建478的过程可以使用相机姿态、位置和附加数据477加上像素数据439,以使用其他地方描述的已知技术生成3D纹理表面。3D表面重建478可以可选地使用渐晕数据473,以通过使用成像光束对图像传感器的照射模型更新像素值来校正捕获图像中的渐晕,从而改善输出质量。
用于正射马赛克生成479的过程可以使用相机姿态、位置和附加数据477加上像素数据439,以使用本文中其他地方描述的已知技术生成正射马赛克482。正射马赛克生成479可以可选地使用渐晕数据473来通过校正捕获图像中的渐晕来改善输出质量。
用于渐晕补偿480的过程可以使用相机姿态、位置和附加数据477加上像素数据439和渐晕数据473来生成已针对捕获图像中的渐晕进行校正的原始影像。
在一些实施例中,可以裁剪捕获的图像,或可以采用感兴趣区域成像,使得用于关于图37描述的分析的捕获帧可以具有各种不同的像素尺寸。这种方法可能存在多个优势,诸如减少捕获图像像素的数据存储要求,并且还从生成的图像产品中去除由于渐晕所致的较低质量的像素。
通过以扫描角度捕获图像,使得捕获的图像具有重叠部分,即使在受渐晕影响的图像的其他部分已被裁剪掉之后,也可以将图像的各部分拼接在一起以形成内聚图像。裁剪可以包括去除受渐晕影响的一些或所有部分。可以基于成像光束对图像传感器的照射模型来选择扫描角度,其中照射可以通过来自受限空间的部分遮挡、扫描镜结构在扫描角度的预定范围之外、或其组合来减少。在一个实施例中,扫描角度的预定范围由镜几何形状确定。例如,关于图36a至图36h讨论的区域可以用于对成像光束对图像传感器的照射进行建模,以了解受渐晕影响和不受渐晕影响的图像传感器位置。对于那些具有渐晕的部分,扫描角度的步长可以更小以获得具有足够重叠的图像。换句话说,扫描角度的不同步长可以用于不同的扫描角度范围。在实施例中,扫描镜结构的扫描角度值的步长尺寸基于以下中的至少一个:包括成像系统的载具的偏航角度;载具的滚动;载具的俯仰;扫描镜结构的几何形状;扫描角度;和受限空间的几何形状。
图38a图示了扫描相机系统300和沿飞行路径的两种扫描图案的合适的裁剪图像帧集合的投影几何形状。看到的是,沿着扫描图案111、112的弯曲路径的帧的投影几何形状的重叠比图1b中看到的更均匀,并且这已经通过裁剪与扫描图案111、112的弯曲路径的外边缘相关联的传感器像素来实现。在这种情况下,假设传感器为横向取向,裁剪的像素被发现处于顶部或底部。由于勘测孔的外边缘,具有较高倾角的外部裁剪像素一般更受到渐晕的影响,并且因此对于扫描图案111、112和较低倾角来说,拒绝这些像素并保留从与弯曲路径的内部几何形状相对应的传感器位置取得的较高质量像素存在优势。
在一些情况下,可能附加有利的是,以较高的速率捕获图像使得增加扫描图案的前向重叠。增加的前向重叠可以允许拒绝沿着扫描图案111、112外部的增加的像素集合,而不损害摄影测量和图像后处理可能需要的像素重叠。
在传感器的侧面而不只是顶部或底部裁剪扫描图案111、112的像素可能进一步有利。例如,在使用镜过度旋转来实现偏航校正的情况下,裁剪传感器一侧或两侧上的像素可能是有利的。裁剪像素的位置和数量可以基于由于勘测孔或附接到扫描镜外部的低反射部分所致的渐晕来选择。
裁剪传感器侧面上的像素可以减少相邻图像像素的重叠,然而,可以通过增加扫描镜的扫描角度的采样来恢复所需的重叠,所述扫描镜用于与要裁剪的帧相对应的扫描图案部分中。这在图38b中图示,其中由于裁剪图像的边,看到的是帧的投影几何形状的间隔分别朝向扫描图案111、112的帧125、126减小。然而,帧数已经增加,使得在相邻帧之间保持所需的重叠(在该情况下为10%)。样本的间隔可以根据任何合适的准则而变化。该间隔可以在扫描角度的特定阈值处的离散值之间交替,例如,它可以由扫描角度的特定范围内的较大间隔和该扫描角度范围之外的较小间隔来定义。扫描角度的特定范围可以对应于确定扫描镜几何形状的扫描角度范围。替代地,该间隔可以根据扫描驱动角度的函数而变化。在一个实施例中,该函数可以基于扫描角度的特定范围内的三角函数。可以基于多项式函数、有理函数或超越函数(诸如指数函数、对数函数、双曲函数、幂函数或其他周期函数)来定义其他合适的函数形式。
还可以在扫描图案的选定部分上方有利地执行增加扫描角度采样,以便增加图像捕获的冗余度。例如,以比其他影像更高的采样率捕获垂直影像可能是有利的。由于相邻帧之间的重叠较高,这种较高的采样率导致冗余度增加。增加的冗余度可以允许改善的垂直产品,特别是在图像质量可能在捕获的图像之间变化的场合。由于捕获期间的可变动态、来自该区域的镜面图像反射、或其他来源,可能出现可变的图像质量。
图39a示出了基于图38a的扫描图案的具有增加的扫描角度采样的修改的扫描图案集合。特别地,笔直路径扫描图案113、114上的影像可以在朝向y轴的选定帧127、128上方具有增加的扫描角度采样率,在y轴处影像的倾角最小(即图像最接近垂直)。图39b示出了基于图38b的扫描图案在选定的较低倾角帧集合127、128周围增加扫描角度采样的修改的扫描图案集合。
图38a、图38b、图39a和图39b给出了扫描相机系统扫描图案的图示,该扫描相机系统使用裁剪和增加扫描镜的扫描角度的采样来改善输出质量,并在一些情况下降低航空勘测的数据存储要求。可以理解,在本说明书中描述的本发明的范围内,可以以多种方式修改或优化扫描角度的裁剪和采样的几何形状,以便改善扫描相机系统的性能和所生成的基于图像的产品的质量。
扫描相机系统适用于在各种操作高度和地面速度下操作的宽范围的飞行器,具有各种GSD和捕获效率。此外,它对一系列操作条件有鲁棒性,诸如导致动态不稳定性(诸如飞行器的滚动、俯仰和偏航)的可变风和湍流条件。作为示例,这包括(但不限于)双活塞飞机(诸如Cessna 310)、涡轮螺旋桨飞机(诸如Beechworth KingAir 200和300系列)以及涡轮风扇(喷气式)飞机(诸如Cessna Citation),其允许以范围从低于100节到超过500节的速度从低高度到超过40,000英尺的高度进行航空成像。飞机可以不加压或加压,并且每个勘测孔可以打开或包含一个适当的光学玻璃窗口。每个勘测孔可以可选地由门保护,当相机系统不在操作时,该门可以关闭。其他合适的飞行器包括无人机、无人驾驶飞行器(UAV)、飞艇、直升机、四轴飞行器、气球、航天器和卫星。
图40给出了一个表格,其图示了扫描相机系统300的合适勘测参数的范围,从11,000英尺的高度到40,000英尺的高度以及从240节的地面速度直到500节的地面速度变化。扫描相机系统300的相机的传感器是Gpixel GMAX3265传感器(9344×7000像素,像素间距3.2微米),并且相机镜头焦距从300mm变化到900mm。每种配置都给出了GSD(地面采样距离),这是捕获图像中像素之间的最小步长。每种配置都是根据飞行路线间隔定义的,基于此可以估计以度为单位的最大倾角(用于创建垂直正射马赛克的图像)和以km2/小时为单位的效率。假设稳定平台中的偏航范围为+/-15°且无偏航校正,则估计最大倾角。图40的表格图示了扫描相机系统300的多个特征。看到的是GSD随着焦距的增加而减小,并且随着高度的增加而增加。最大倾角和效率两者都随着飞行路线间隔的增加而增加。
图40的每个配置还包括扫描驱动单元301、302、303的时序预算。时序基于对扫描图案(诸如图1b或图8b中所示的扫描图案)的分析,其中相邻帧之间需要10%的重叠。由于较小的GSD和随之减少的帧在地面上的投影几何形状,每个扫描图案具有随着焦距增加的对应帧数。
图40中的时序预算是每帧可用于移动和安放扫描镜的平均时间、运动补偿单元中的时延、以及图像数据从相机到数据存储装置406的捕获和传送。然而,在实践中,例如当扫描角度复位以开始新的扫描图案时,为扫描镜的更大角度步长分配更大的时间预算可能是有利的。此外,时间预算可能被附加的图像捕获所侵蚀,例如为了焦点设置的目的。在图40中,看到的是每帧的时序随着GSD而减少,也就是说,随着焦距而减少并且随着高度而增加。它也随着地面速度而降低。
图41给出了图示扫描相机系统300的合适勘测参数的范围的表格,其中扫描相机系统300的传感器为AMS Cmosis CMV50000 CMOS传感器(像素间距为4.6微米的7920×6004像素)。由于像素间距增加,GSD比图40中的低,并且因此每帧的时序更大。然而,其他参数基本上不改变。其他合适的传感器包括Vita25k、Python25k,或其他RGB、单色、多光谱、超光谱或红外传感器。扫描相机系统的不同相机可以采用不同的传感器。在替代实施例中,每个扫描驱动单元中使用的传感器可以是单色传感器,并且概览相机可以是标准RGB。使用粗略RGB概览像素和精细细节单色像素的全色锐化可以用于创建高质量彩色分辨率影像。
注意,扫描相机系统可以使用概览相机,以便实现某些摄影测量相关要求。图40和图41的表格中给出的飞行路线间隔是基于垂直影像的最大倾角来选择的,并且概览相机传感器和焦距应该被选择为使得概览相机的投影几何形状115足以实现具有给定飞行路线间隔的那些要求。
通过以减小的飞行路线间隔飞越勘测区域或在同一区域上方进行多次勘测,可以改善勘测区域上方的图像质量。例如,两条蜿蜒飞行路径可以在飞行路线取向彼此正交的区域上方飞行。这可以通过沿南北方向然后沿东西方向定向的飞行路线飞行来实现。可以飞行三条蜿蜒路径,例如相对飞行路线取向间隔60°。可以飞行四条蜿蜒路径,例如相对飞行路线取向间隔45°。当使用多次勘测或减少飞行路线间隔时,在捕获效率方面是存在成本的。如本领域技术人员可以领会的,可以采取附加的和/或替代的飞行路径来增加角度多样性,这可以有助于改善3D网格重建。
在任何给定的扫描驱动单元中,相机内传感器的取向可以围绕光轴旋转,使得修改投影几何形状。改变传感器取向还改变镜几何形状、图像捕获之间的扫描角度步长、以及飞行参数(诸如后续扫描图案捕获之间的前向间隔)方面的要求。
图42a和图42b图示了当传感器旋转90°至竖向传感器取向时扫描驱动单元301的更新的扫描图案121、122。图42c和图42d图示了当传感器旋转90度到竖向传感器取向时扫描驱动单元302的更新的扫描图案123。图42e和图42f图示了当传感器旋转90度到竖向传感器取向时扫描驱动单元303的更新的扫描图案124。注意,扫描图案121、122、123、124中的扫描角度步长分别小于等同的横向传感器取向扫描图案111、112、113、114。
图43a和图43b图示了用于竖向传感器取向的扫描镜结构312的镜面314和/或镜面315的计算的镜几何形状。这些与图4e和图4f中所示的横向取向略微不同。使用能够处置任一传感器取向的镜几何形状可能是有利的。这可以通过使用作为横向和竖向几何形状的联合的镜几何形状来实现(例如图4e的横向“凸形”几何形状和图43a的竖向“凸形”几何形状)。如果低反射率部分要用于允许镜过度旋转而不引入重影图像,那么这些部分也应该是横向几何形状的计算部分几何形状的联合(例如,图4f的“过度/扩大”和图43b的“过度/扩大”)。
图43c图示了针对竖向传感器取向计算的扫描驱动单元302的主镜323的镜几何形状。图43c还图示了针对竖向传感器几何形状计算的扫描驱动单元303的主镜327的几何形状。这些与分别在图5e和图6e中图示的横向传感器取向略微不同。图43d图示了针对竖向传感器取向计算的扫描驱动单元302的次镜324的镜几何形状。图43c还图示了针对竖向传感器几何形状计算的扫描驱动单元303的次镜328的几何形状。这些与分别在图5f和图6f中图示的横向传感器取向略微不同。
如与扫描驱动单元301的情况一样,使用能够处置任一传感器取向的镜几何形状可能是有利的。这可以通过使用镜几何形状来实现,该镜几何形状是横向和竖向几何形状的联合。例如,扫描驱动302可以使用由图5e的横向“凸形”几何形状和图43c的竖向“凸形”几何形状的联合限定的主镜323。这种几何形状也可以用于扫描驱动单元303的主镜327。以相同的方式,形成为图5f和图43d的“扩大”几何形状的联合的次镜可以用于扫描驱动单元302的次镜324以及还用于扫描驱动单元303的次镜328。
图44a和图44b示出了使用具有竖向取向传感器的扫描相机系统300实现的扫描图案。扫描图案包括倾斜影像的弯曲扫描图案121、122,以及用于飞行器110在扫描图案的图像捕获之间不移动的情况的笔直扫描图案123、124。图44c和图44d示出了相同的扫描图案,具有在图像捕获之间飞行器的真实前向运动的效果。它还示出了飞行路线期间的多个扫描图案,其中扫描图案之间的前向间隔相对于图8b中所图示的横向传感器取向情况已经增加。
在本公开的范围内,可以使用竖向和横向传感器取向的混合的替代相机系统。例如,扫描相机系统可以将竖向传感器取向扫描驱动单元301与横向传感器取向扫描驱动单元302、303相组合,或者它可以将横向传感器取向扫描驱动单元301与竖向传感器取向扫描驱动单元302、303相组合,或者其他这样的组合。
如果载具勘测光圈足够大,或者如果载具中存在多个光圈,则可以将一个或多个附加扫描驱动单元添加到扫描相机系统,以改善所捕获影像的某个方面,诸如3D重建的质量。一个合适的附加扫描驱动单元350在图45a-图45f中图示。它可以用于捕获从飞行器110前方的22.5°倾角(在y轴上)延伸到飞行器110左侧的45°倾角(在x轴上)的单个弯曲扫描图案130,其在图45c和图45d中图示。图45a和图45b中示出了从不同视角观察的扫描驱动单元350的两个几何图示。扫描驱动单元350包括保持在倾斜扫描轴(仰角θS=-52.5°和方位角φS=180°)上的单侧扫描主镜357和固定的次镜358。该几何图示示出了扫描驱动356的扫描角度被设置为0°的配置,在该角度下主镜357的表面以指向z轴和y轴之间(仰角和方位角/>)的法线定向。当扫描角度为0°(仰角/>和方位角)时,次镜358以与主镜357的法线相对的法线定向。存在单个相机355,它以与垂直z轴成7.5°的角度(仰角θS=-82.5°和方位角φS=180°)向下指向。
扫描驱动356对从-32.4°到0.01°的扫描角度采样,以便生成扫描图案130。图45e中示出了为主镜357计算的最小的、扩大的、凸形的和对称的几何形状连同旋转轴和偏移的旋转轴。图45f中示出了次镜358的最小的和扩大的几何形状。
可以基于扫描驱动单元350设计其他合适的扫描驱动单元。例如,扫描驱动单元351是扫描驱动单元350的镜像,其可以通过反射图45a和图45b的y轴中的所有分量来形成。在图46a和图46b中图示,扫描驱动单元351生成从飞行器110前方的22.5°倾角(在y轴上)延伸到飞行器110右侧的45°倾角(在x轴上)的单个弯曲扫描图案131。
扫描驱动单元352是扫描驱动单元350的镜像,其可以通过反射图45a和图45b的x轴上的所有分量来形成。在图46c和图46d中图示,扫描驱动单元352生成从飞行器110后面的22.5°倾角(在y轴上)延伸到飞行器110左侧的45°倾角(在x轴上)的单个弯曲扫描图案132。
扫描驱动单元353通过围绕图45a和图45b的z轴将扫描驱动单元350旋转180°而形成。在图46a和图46b中图示,扫描驱动单元353生成单个弯曲扫描图案133,其从飞行器110后面的22.5°倾角(在y轴上)延伸到飞行器110右侧的45°倾角(在x轴上)。
扫描相机系统354包括具有两个附加扫描驱动单元350、351的扫描相机系统300。扫描相机系统354的组合扫描图案在图47a和图47b中图示。扫描相机系统355包括具有四个附加扫描驱动单元350、351、352、353的扫描相机系统300。扫描相机系统354的组合扫描图案在图47c和图47d中图示。
可以理解的是,扫描驱动单元350、351、352、353和扫描相机系统354、355在图45a-图45d、图46a-图46d和图47a-图47d中图示为具有竖向传感器取向,然而在本说明书的范围内,替代的传感器取向(例如,横向)可以用于本文中讨论的任何相机中。
图48a-图48f图示了扫描驱动单元360,由于使用了共享的扫描主镜367,该扫描驱动单元360在空间紧凑性方面具有有利的属性。如图48c和图48d中所示,扫描驱动单元360可以用于捕获一对弯曲的扫描图案135、136,每个扫描图案开始于y轴并相对于飞行器110向左和向后延伸。图48a和图48b中示出了从不同视角观察的扫描驱动单元360的两个几何图示。扫描驱动单元360包括保持在倾斜扫描轴(仰角θS=45°和方位角φS=0°)上的单侧共享扫描主镜367和固定的次镜368。该几何图示示出了扫描驱动366的扫描角度被设置为0°的配置,在该角度下共享扫描主镜367的表面以指向z轴和y轴之间(仰角和方位角/>)的法线定向。当扫描角度为0°(仰角/>和方位角/>)时,次镜368以与共享扫描主镜367的法线相对的法线定向。存在两个相机365、369。第一相机365沿着垂直z轴(仰角θS=-90°)向下指向,并且第二相机369以与垂直z轴成22.5°的角度(仰角θS=-67.5°和方位角φS=0°)向下指向。
扫描驱动366对从-0.01°到28°的扫描角度采样,以便同时生成扫描图案135、136。对于每个相机365、369,扫描角度的采样可以相同或不同。图48e中示出了为共享扫描主镜367计算的最小的、扩大的、凸形的和对称的几何形状连同旋转轴和偏移的旋转轴。图48f中示出了次镜368的最小的和扩大的几何形状。
可以基于扫描驱动单元360设计其他合适的扫描驱动单元。例如,扫描驱动单元361是扫描驱动单元360的镜像,其可以通过反射图48a和图48b的y轴中的所有分量来形成。扫描驱动单元361生成一对弯曲的扫描图案137、138,其从y轴上的点相对于飞行器110向后和向右延伸,如图49a和图49b中所图示。
扫描驱动单元362是扫描驱动单元360的镜像,其可以通过反射图48a和图48b的x轴中的所有分量来形成。如图49c和图49d中所图示,扫描驱动单元362生成一对弯曲的扫描图案139、140,其从y轴上的点相对于飞行器110向前延伸并延伸到左侧。
扫描驱动单元363通过围绕图48a和图48b的z轴将扫描驱动单元360旋转180°而形成。如图49e和图49f中所图示,扫描驱动单元362生成一对弯曲的扫描图案141、142,该扫描图案从y轴上的点相对于飞行器110向前延伸并延伸到左侧。
图50a至图50d示出了扫描相机系统364的扫描驱动单元301、360、361的组合组件的一系列透视图,这些组件在上面关于图4a-图4f、图48a-图48f和图49a-图49f进行了描述。扫描驱动单元360和扫描驱动单元361分别位于扫描驱动单元301的任一侧上。这种布置在空间上高度高效,并且有利于部署在宽范围的飞行器相机(勘测)孔中。图50e和图50f示出了使用扫描相机系统364实现的扫描图案,其包括倾斜影像的弯曲扫描图案111、112和具有可变倾角的影像的弯曲扫描图案135、136、137、138。除了扫描驱动单元成像能力之外,扫描相机系统364可以附加地包括一个或多个固定相机。
图51a-图51f图示了扫描驱动单元370,其具有与扫描驱动单元360类似的几何属性,但是不使用共享的扫描镜。在图51c和图51d中图示扫描驱动单元370可以用于捕获从飞行器110前方的22.5°倾角(在y轴上)相对于飞行器110向后和向左延伸的单个弯曲扫描图案150。图51a和图51b中示出了从不同视角观察的扫描驱动单元370的两个几何图示。
扫描驱动单元370包括保持在倾斜扫描轴(仰角θS=-45°和方位角φS=0°)上的单侧扫描主镜377和固定的次镜378。该几何图示示出了扫描驱动376的扫描角度被设置为0°的配置,在该角度下主镜377的表面以指向z轴和y轴之间(仰角和方位角)的法线定向。当扫描角度为0°(仰角/>和方位角/>)时,次镜378以与主镜377的法线相对的法线定向。存在单个相机375,它以与垂直z轴成22.5°的角度(仰角θS=-67.5°和方位角φS=0°)向下指向。扫描驱动376对从-0.01°到28°的扫描角度采样,以便生成扫描图案150。图51e中示出了为主镜377计算的最小的、扩大的、凸形的和对称的几何形状连同旋转轴和偏移的旋转轴。图51f中示出了次镜378的最小的和放大的几何形状。
可以基于扫描驱动单元370设计其他合适的扫描驱动单元。例如,扫描驱动单元371是扫描驱动单元370的镜像,其可以通过反射图51a和图51b的y轴上的所有分量来形成。在图52a和图52b中图示,扫描驱动单元371生成单个弯曲扫描图案151,其从飞行器110前方的22.5°倾角(在y轴上)向后延伸并延伸到飞行器110的右侧。
扫描驱动单元372是扫描驱动单元370的镜像,其可以通过反射图51a和图51b的x轴中的所有分量来形成。在图52c和图52d中图示,扫描驱动单元372生成单个弯曲扫描图案152,其从飞行器110后面的22.5°倾角(在y轴上)延伸到飞行器110左侧的45°倾角(在x轴上)。
扫描驱动单元373通过围绕图51a和图51b的z轴将扫描驱动单元370旋转180°而形成。在图52e和图52f中图示,扫描驱动单元373生成单个弯曲扫描图案153,其从飞行器110后面的22.5°倾角(在y轴上)延伸到飞行器110右侧的45°倾角(在x轴上)。
扫描相机系统379包括扫描驱动单元301、360、361、372、373。扫描相机系统379的组合扫描图案在图53a和图53b中图示。
扫描相机系统381包括具有两个附加扫描驱动单元372、373的扫描相机系统300。扫描相机系统382的组合扫描图案在图53c和图53d中图示。
扫描相机系统382包括具有四个附加扫描驱动单元370、371、372、373的扫描相机系统300。扫描相机系统382的组合扫描图案在图53e和图53f中图示。
扫描驱动单元301、302、303、350、351、352、353、360、361、362、363、370、371、372、373是使用扫描驱动轴的扫描驱动单元的示例,该扫描驱动轴平行于其旋转的(一个或多个)镜面的飞行器。这样的扫描驱动单元可以称为倾斜扫描驱动单元。替代的扫描驱动单元可以使用不平行于其旋转的(一个或多个)镜面的平面的扫描驱动轴。这样的扫描驱动单元采用旋转镜,并且可以被称为旋转扫描驱动单元。
图54a-图54f图示了具有竖向传感器取向的旋转扫描驱动单元380。扫描驱动单元380包括保持在水平扫描轴(仰角θS=-0°和方位角φS=0°)上的单侧扫描主镜383和固定的次镜384。该几何图示示出了扫描驱动单元380的扫描角度被设置为0°的配置,在该角度下主镜383表面以指向z轴和y轴之间(仰角和方位角/>)的法线定向。当扫描角度为0°(仰角/>和方位角/>)时,次镜378以与主镜383的法线相对的法线定向。存在单个相机376,其垂直向下指向(仰角θS=-90°和方位角φS=0°)。如图54c和图54d中所示,当扫描角度在-45°和45°之间变化时,扫描驱动单元380生成单个笔直扫描图案155,其从飞行器左侧的45°倾角(在x轴上)延伸到飞行器右侧的45°倾角(在x轴上)。
扫描驱动单元380对从-45°到45°的扫描角度采样,以便生成扫描图案155。在一些布置中,可以使用两个或更多个扫描驱动单元380,扫描图案155的图像捕获在扫描驱动单元之间分割,以便实现系统的时序预算要求。例如,扫描驱动单元380可以对从-45°到0°的扫描角度采样,并且第二扫描驱动单元可以对从0°到45°的扫描角度采样,使得对扫描角度的全范围采样,并且以每帧大致两倍的时间预算实现相同的扫描图案。扫描驱动单元302、303以类似的方式用于将单个线扫描图案分成两个扫描图案113、114。本说明书中描述的任何扫描图案可以以相同的方式分成各部分,从而有效地权衡图像捕获的时间预算相对于额外扫描驱动单元的空间要求和附加成本。
图54e中示出了为主镜383计算的最小的、扩大的、凸形的和对称的几何形状连同旋转轴和偏移的旋转轴。图54f中示出了次镜384的最小的和扩大的几何形状。
如本领域技术人员可以领会的,本文中描述的任何扫描相机系统及其明显的变型可以与本文中讨论的任何扫描驱动单元或扫描相机系统中的一个或多个集成,以实现各种时序要求。此外,可以根据诸如高度、飞行速度等的操作条件的要求和约束来选择定义扫描图案的扫描角度。
如本领域技术人员可以领会的,任何扫描驱动单元中扫描驱动的位置可以取决于可用于安装的空间和扫描驱动的几何形状选择在镜的任一端。此外,沿着光轴的镜之间的精确距离也可以更改,以便实现空间的最高效使用,并使将会降低捕获图像质量的遮挡最小化。诸如这些的小几何改变更改所需的镜几何形状,但不显著更改捕获图像的观察方向。这样的改变可以允许更多的扫描驱动单元被放置在具有最小遮挡或没有遮挡的受限空间中,以给出更好的成像系统,该成像系统生成更多样和/或更高质量的捕获图像。
图55a-图55f图示了采用扫描驱动单元380的三个扫描相机系统的扫描图案。扫描相机系统391包括扫描驱动单元301、380。扫描相机系统391的组合扫描图案在图55a和图55b中图示。扫描相机系统392包括扫描相机系统391和扫描驱动单元370、371。扫描相机系统391的组合扫描图案在图55c和图55d中图示。扫描相机系统393包括扫描相机系统392和扫描驱动单元372、373。图55e和图55f中图示了扫描相机系统393的组合扫描图案。
如图56a和图56b中所示,扫描驱动单元385通过围绕图54a和图54b的z轴将扫描驱动单元380旋转45°并对从-50.4°到50.4°的扩展范围的扫描角度进行采样而形成。扫描驱动单元385生成单个笔直扫描图案156,其从飞行器前方和左侧的50.4°倾角延伸到飞行器后方和右侧的50.4°倾角。
如图56c和图56d中所示,扫描驱动单元386通过围绕图54a和图54b的z轴将扫描驱动单元380旋转-45°并对从-50.4°到50.4°的扩展范围的扫描角度进行采样而形成。扫描驱动单元386生成单个笔直扫描图案157,其从飞行器前方和右侧的50.4°倾角延伸到飞行器后方和左侧的50.4°倾角。
扫描相机系统394包括扫描驱动单元385、386。扫描相机系统394的组合扫描图案在图56e和图56f中图示。在一些布置中,可以使用两个或更多个扫描驱动单元385、386,并且扫描图案156、157的图像捕获在扫描驱动单元之间分割,以便实现系统的时序预算要求。
如先前提及的,本文中描述的任何扫描相机系统及其明显的变型可以与本文中讨论的任何扫描驱动单元或扫描相机系统中的一个或多个集成,以实现各种时序要求。
图57a至图57e图示了基于扫描驱动单元380的多个扫描驱动单元和/或扫描相机系统,每个扫描驱动单元和/或扫描相机系统都采用具有焦距600mm和光圈120mm的镜头的相机将光聚焦到AMS Cmosis CMV50000 CMOS传感器上。扫描驱动单元387具有与扫描驱动单元380相同的几何形状,但是对从-15°到30.2°的减小范围的扫描角度进行采样,以生成图57a中所示的短笔直扫描图案160。扫描驱动单元388通过将扫描驱动单元380绕x轴旋转22.5°而形成。扫描驱动单元388对从-30.2°到15°的减小范围的扫描角度进行采样,以生成图57b中所示的短笔直扫描图案161。扫描驱动单元389通过将扫描驱动单元380在水平面中绕与x轴成-30°度的轴旋转22.5°而形成。扫描驱动单元389对从-28°到47.5°的减小范围的扫描角度进行采样,以生成图57c中所示的笔直扫描图案162。扫描驱动单元390通过将扫描驱动单元380在水平面中绕与x轴成30°度的轴旋转22.5°而形成。扫描驱动单元390对从-47.5°到28°的减小范围的扫描角度进行采样,以生成图57d中所示的笔直扫描图案163。
除了修改的扫描驱动单元301之外,扫描相机系统395还包括扫描驱动单元387、378、389、390。经修改的扫描驱动单元301使用具有600mm焦距和120mm光圈的竖向取向AMSCmosis CMV50000CMOS传感器和镜头。图57e和图57f图示了扫描相机系统395的组合扫描图案。
图58a和图58b示出了具有三个相机506、507、508的扫描驱动单元501的透视图,该扫描驱动单元501可以用于捕获三个扫描图案160、161、162,这三个扫描图案具有以45°的仰角为中心的圆弧,如图58c和图58d中所示。三个扫描图案160、161、162组合以形成一个完整的圆,如图58c和图58d中所图示。扫描驱动单元501包括在垂直扫描轴(仰角θS=-90°和方位角φS=0°)上附接到扫描驱动503的扫描镜结构502。在一个实施例中,扫描镜结构502是双侧的。该几何图示示出了扫描驱动503的扫描角度被设置为0°的配置,使得第一镜面504以其法线沿着y轴指向第一相机506定向(仰角和方位角/>)。第二镜面505安装在扫描镜结构502的相对侧上,并指向相机507和相机508之间。
相机506、507和508以斜角向下定向,但方位角间隔120°(相机506仰角θS=-45°,方位角φS=180°;相机507仰角θS=-45°和方位角φS=60°;相机508仰角θS=-45°和方位角φS=-60°)。相机506、507、508利用Gpixel GMAX3265传感器(9344×7000像素,像素间距3.2微米)。相机镜头可能具有215mm的焦距和120mm的光圈(对应于F1.8)。这种较低的焦距生成较低的图像分辨率,但较宽的扫描图案在飞行路线间隔和捕获效率方面可能是有利的。
图58e示出了为扫描驱动单元501计算的各种镜几何形状。这些几何形状包括:最小几何形状(“最小”);在其周界周围延伸超过最小几何形状5mm(“扩大”)的扩大的最小几何形状;以及扩大的最小几何形状的凸包(“凸形”)的扩大的凸形几何形状。图58f再次示出了扩大的凸形几何形状(“凸形”),并且还示出了在扫描角度的范围在扫描角度范围的每一端扩展7.5°(“过度”)以增加扫描图案之间的重叠区域的情况下可能需要的扩展的几何形状。
扫描驱动单元509基于扫描驱动单元302,然而相机321使用Gpixel GMAX3265传感器和焦距为215mm且光圈为120mm的镜头(对应于F1.8)。另外,扫描驱动322对从-10.25°到10.25°的修改范围的扫描角度进行采样,以生成图59a和图59b中所示的笔直扫描图案165。扫描相机系统510包括扫描驱动单元501、509,以生成图59c和图59d中所图示的组合扫描图案。
图60a和图60b从不同视角示出了具有四个相机516、517、518、519的扫描驱动单元511,其可以用于捕获四个扫描图案170、171、172、173,这四个扫描图案具有以45°仰角为中心的圆弧,这些圆弧组合以形成完整的圆。图60c和图60d中示出了来自该扫描驱动单元511的四个相机516、517、518、519的扫描图案的俯视图和斜视图。扫描驱动单元511包括在垂直扫描轴(仰角θS=-90°和方位角φS=0°)上附接到扫描驱动513的扫描镜结构512。在一个实施例中,扫描镜结构512是双侧的。该几何图示示出了扫描驱动的扫描角度被设置为0°的配置,使得第一镜面514以其法线沿着y轴指向相机516和相机517之间定向(仰角和方位角/>)。第二镜面515安装在扫描镜结构512的相对侧上,并指向相机518和相机519之间。相机516、517、518、519以斜角向下定向,但是方位角彼此间隔60度或120度(相机516仰角θC=-45°,方位角φC=150°;相机517仰角θC=-45°和方位角φC=-150°;相机518仰角θC=-45°和方位角φC=-30°;相机519仰角θC=-45°和方位角φC=30°)。
每个相机516、517、518、519在45°的范围内对扫描驱动513的扫描角度采样,以便实现四分之一圆的扫描图案弧。围绕扫描镜结构512的相机516、517、518、519的不均匀方位角间隔在捕获的时间预算和同时使用扫描镜结构512来捕获相机516、517、518、519上的图像方面可能是有利的。扫描驱动511生成与扫描驱动单元301采样-45°到45°范围内的扫描角度将实现的扫描图案相同的扫描图案。使用附加的相机可能是有利的,因为它减小了实现捕获所需的扫描镜结构512的尺寸。这种布置在飞行器110的偏航鲁棒性方面也可能是有利的,因为扫描图案捕获了方位角的完整360°范围。
图60e示出了为扫描驱动单元511计算的各种镜几何形状。这些几何形状包括:最小几何形状(“最小”);在其周界周围延伸超过最小几何形状5mm(“扩大”)的扩大的最小几何形状;以及扩大的最小几何形状的凸包(“凸形”)的扩大的凸形几何形状。图60f再次示出了扩大的凸形几何形状(“凸形”),并且还示出了在扫描角度的范围在扫描角度范围的每一端扩展7.5°(“过度”)以增加扫描图案之间的重叠区域的情况下可能需要的扩展的几何形状。
图61a和图61b示出了具有四个相机526、527、528、529的扫描驱动单元521的透视图,所述四个相机526、527、528、529可以用于捕获如图61c和图61d中所示的具有圆弧的四个扫描图案175、176、177、178。图61c和图61d中示出了来自扫描驱动单元521的四个相机526、527、528、529的扫描图案175、176、177、178的俯视图和斜视图。
扫描驱动单元521包括在垂直扫描轴(仰角θS=-90°和方位角φS=0°)上附接到扫描驱动523的扫描镜结构522。在一个实施例中,扫描镜结构522是双侧的。图61a和图61b中的几何图示示出了扫描驱动523的扫描角度被设置为0°的配置,使得第一镜面524以为其法线沿着y轴指向相机526和相机527之间定向(仰角和方位角/>)。第二镜面525安装在扫描镜结构522的相对侧上,并指向相机528和相机529之间。相机526、527、528、529以斜角向下定向,并且在方位角上彼此间隔90度(相机526仰角θC=-47°,方位角φC=135°;相机527仰角θC=-43°和方位角φC=45°;相机528仰角θS=-47°和方位角φC=-45°;相机529仰角θC=-43°和方位角φC=-43°)。
每个相机526、527、528、529在60°范围内对扫描驱动523的扫描角度采样,以实现三分之一圆的扫描图案弧。与指向共享扫描镜结构522的相机526、528相比,相机529、527的两个不同仰角的使用意味着弧不重叠并捕获飞行器110侧面的对象区域的互补区域。这在扫描相机系统的效率方面可能是有利的,因为可以使用更大的飞行路线间隔,同时保持对飞行器110的左侧和右侧的倾斜图像捕获的一些所需分布。在改善倾斜影像的图像捕获质量和3D模型的生成方面也可能是有利的。这种布置在飞行器110的偏航鲁棒性方面也可能是有利的,因为扫描图案捕获了方位角的完整360°范围。
图61e示出了为扫描驱动单元521计算的各种镜几何形状。这些几何形状包括:最小几何形状(“最小”);在其周界周围延伸超过最小几何形状5mm(“扩大”)的扩大的最小几何形状;以及扩大的最小几何形状的凸包(“凸形”)的扩大的凸形几何形状。图61f再次示出了扩大的凸形几何形状(“凸形”),并且还示出了在扫描角度的范围在扫描角度范围的每一端扩展7.5°(“过度”)以增加扫描图案之间的重叠区域的情况下可能需要的扩展的几何形状。
扫描驱动单元530具有与扫描驱动单元302相同的几何形状,但对从-10.25°至10.25°的修改范围的扫描角度进行采样,以生成图62和图62b中所示的短笔直扫描图案179。扫描图案179可以用于生成高质量的垂直图像捕获。扫描相机系统531包括扫描驱动单元530、511,以生成图62c和图62d中所示的组合扫描图案。扫描相机系统532包括扫描驱动单元530、521,以生成图62e和图62f中所示的组合扫描图案。
扫描驱动单元535具有与扫描驱动单元380相同的几何形状,但对从-22.5°至22.5°的减小范围的扫描角度进行采样,以生成图63a和图63b中所示的短笔直扫描图案180。扫描图案180可以用于生成高质量的垂直图像捕获。扫描相机系统536包括扫描驱动单元535和扫描驱动单元511,以生成图63c和图63d中所示的组合扫描图案。扫描相机系统537包括扫描驱动单元535、521,以生成图63e和图63f中所示的组合扫描图案。
显然,鉴于上述教导,许多修改和变型是可能的。因此,应理解,在所附权利要求的范围内,本发明可以以不同于本文中具体描述的其他方式实践。
因此,上述讨论仅公开和描述了本发明的示例性实施例。如本领域技术人员将理解的,在不脱离本发明的精神或基本特性的情况下,本发明可以以其他特定形式体现。因此,本发明的公开内容意图说明而非限制本发明以及其他权利要求的范围。本公开内容(包括本文中教导的任何容易辨别的变体)部分地限定了前述权利要求术语的范围,使得没有发明主题是专门公开的。
本公开的实施例也可以如以下括号中所阐述。
(1)一种成像系统,包括:第一相机,其被配置为沿着对象区域上的第一扫描路径捕获第一倾斜图像集合;第二相机,其被配置为沿着对象区域上的第二扫描路径捕获第二倾斜图像集合;包括至少一个镜面的扫描镜结构;以及驱动,其耦合到扫描镜结构并被配置为基于扫描角度绕扫描轴旋转扫描镜结构,其中所述第一相机具有与扫描轴成斜角设置的光轴,并且包括镜头以将从扫描镜结构反射的第一成像光束聚焦到第一相机的图像传感器,所述第二相机具有与扫描轴成斜角设置的光轴,并且包括镜头以将从扫描镜结构反射的第二成像光束聚焦到第二相机的图像传感器,第一成像光束的仰角和方位角中的至少一个以及第二成像光束的仰角和方位角中的至少一个根据扫描角度而变化,第一相机的图像传感器通过以第一扫描角度值对第一成像光束采样来沿着第一扫描路径捕获第一倾斜图像集合,并且第二相机的图像传感器通过以第二扫描角度值对第二成像光束采样来沿着第二扫描路径捕获第二倾斜图像集合。
(2)根据(1)所述的系统,其中所述至少一个镜面包括第一镜面和与第一镜面基本上相对的第二镜面,并且所述第一成像光束从第一镜面反射并且所述第二成像光束从第二镜面反射。
(3)根据(1)至(2)中任一项所述的系统,其中第一相机的第一扫描角度与第二相机的第一扫描角度相同。
(4)根据(1)至(3)中任一项所述的系统,其中第一相机的图像传感器和第二相机的图像传感器同时捕获第一倾斜图像集合和第二倾斜图像集合的相应图像。
(5)根据(1)至(4)中任一项所述的系统,其中所述至少一个镜面的几何形状至少部分地基于以下中的至少一个来确定:第一相机的图像传感器的一个或多个预定取向和第二相机的图像传感器的一个或多个预定取向;和扫描镜结构的扫描角度集合。
(6)根据(1)至(5)中任一项所述的系统,其中所述扫描镜结构关于扫描轴对称。
(7)根据(1)至(6)中任一项所述的系统,其中所述扫描镜结构关于扫描轴不对称。
(8)根据(1)至(7)中任一项所述的系统,其中所述扫描角度为扫描镜结构的倾斜角。
(9)根据(1)至(8)中任一项所述的系统,其中基于图像传感器的尺寸以及第一和第二相机的焦距来确定倾斜角的步长。
(10)根据(1)至(9)中任一项所述的系统,其中所述第一相机和所述第二相机以预定角度朝向扫描镜结构倾斜。
(11)根据(1)至(10)中任一项所述的系统,其中所述预定角度基本上为45度。
(12)根据(1)至(11)中任一项所述的系统,其中所述第一扫描路径和所述第二扫描路径是对称的。
(13)根据(1)至(12)中任一项所述的系统,其中第一相机的方位角与第二相机的方位角基本上成180度。
(14)根据(1)至(13)中任一项所述的系统,其中所述第一扫描路径和所述第二扫描路径是弯曲的。
(15)根据(1)至(14)中任一项所述的系统,进一步包括:至少一个第三相机,其被配置为捕获垂直图像;以及至少一个镜,其被配置为将对应于垂直图像的第三成像光束引导到所述至少一个第三相机。
(16)根据(1)至(15)中任一项所述的系统,进一步包括:第三相机,其被配置为沿着对象区域上的第三扫描路径捕获第三倾斜图像集合,其中所述第三相机包括镜头以将从扫描镜结构反射的第三成像光束聚焦到第三相机的图像传感器。
(17)根据(1)至(16)中任一项所述的系统,进一步包括:第四相机,其被配置为沿着对象区域上的第四扫描路径捕获第四倾斜图像集合,其中所述第四相机包括镜头以将从扫描镜结构反射的第四成像光束聚焦到第四相机的图像传感器。
(18)根据(1)至(17)中任一项所述的系统,进一步包括:第三相机,其被配置为捕获第三图像集合;以及第二扫描镜结构,其被配置为引导对应于第三图像集合的第三成像光束由第三相机接收。
(19)根据(1)至(18)中任一项所述的系统,进一步包括:第四相机,其被配置为捕获第四图像集合;以及第三扫描镜结构,其被配置为引导对应于第四图像集合的第四成像光束由第四相机接收。
(20)根据(1)至(19)中任一项所述的系统,进一步包括:第三相机,其被配置为沿着对象区域上的第三扫描路径捕获第三倾斜图像集合;第四相机,其被配置为沿着对象区域上的第四扫描路径捕获第四倾斜图像集合;包括至少一个镜面的第二扫描镜结构;以及第二驱动,其耦合到第二扫描镜结构并被配置为基于第二扫描角度绕第二扫描轴旋转第二扫描镜结构,其中所述第三相机具有与第二扫描轴成斜角设置的光轴,并且包括镜头以将从第二扫描镜结构反射的第三成像光束聚焦到第三相机的图像传感器,所述第四相机具有与第二扫描轴成斜角设置的光轴,并且包括镜头以将从第二扫描镜结构反射的第四成像光束聚焦到第四相机的图像传感器,第三成像光束的仰角和方位角中的至少一个以及第四成像光束的仰角和方位角中的至少一个根据第二扫描角度而变化,第三相机的图像传感器通过以第二扫描角度的第一值对第三成像光束采样来沿着第三扫描路径捕获第三倾斜图像集合,并且第四相机的图像传感器通过以第二扫描角度的第二值对第四成像光束采样来沿着第四扫描路径捕获第四倾斜图像集合。
(21)根据(1)至(20)中任一项所述的系统,进一步包括:第五相机,其被配置为沿着对象区域上的第五扫描路径捕获第五倾斜图像集合;第六相机,其被配置为沿着对象区域上的第六扫描路径捕获第六倾斜图像集合;包括至少一个镜面的第三扫描镜结构;以及第三驱动,其耦合到第三扫描镜结构并被配置为基于第三扫描角度绕第三扫描轴旋转第三扫描镜结构,其中所述第五相机具有与第三扫描轴成斜角设置的光轴,并且包括镜头以将从第三扫描镜结构反射的第五成像光束聚焦到第五相机的图像传感器,所述第六相机具有与第三扫描轴成斜角设置的光轴,并且包括镜头以将从第三扫描镜结构反射的第六成像光束聚焦到第六相机的图像传感器,第五成像光束的仰角和方位角中的至少一个以及第六成像光束的仰角和方位角中的至少一个根据第三扫描角度而变化,第五相机的图像传感器通过以第三扫描角度的第三值对第五成像光束采样来沿着第五扫描路径捕获第五倾斜图像集合,并且第六相机的图像传感器通过以第三扫描角度的第四值对第六成像光束采样来沿着第六扫描路径捕获第六倾斜图像集合。
(22)一种成像方法,包括:使用具有至少一个镜面的扫描镜结构将来自对象区域的第一成像光束反射到第一相机的第一图像传感器,以沿着对象区域的第一扫描路径捕获第一倾斜图像集合,所述第一相机包括第一镜头以将第一成像光束聚焦到第一图像传感器;使用扫描镜结构将第二成像光束从对象区域反射到第二相机的第二图像传感器,以沿着对象区域的第二扫描路径捕获第二倾斜图像集合,所述第二相机包括第二镜头以将第二成像光束聚焦到第二图像传感器;基于扫描角度绕扫描轴旋转扫描镜结构,其中第一和第二成像光束中的每一个的仰角和方位角中的至少一个根据扫描角度而变化;将第一和第二相机中的每一个的光轴设置成与扫描轴成斜角;以及以扫描角度值对第一和第二成像光束采样。
(23)根据(22)所述的方法,其中所述至少一个镜面包括第一镜面和与第一镜面基本上相对的第二镜面,所述方法包括从第一镜面反射第一成像光束,以及从第二镜面反射第二成像光束。
(24)根据(22)至(23)中任一项所述的方法,其中第一相机的扫描角度与第二相机的扫描角度相同。
(25)根据(22)至(24)中任一项所述的方法,包括同时捕获第一倾斜图像集合和第二倾斜图像集合。
(26)根据(22)至(25)中任一项所述的方法,包括至少部分地基于以下中的至少一个来确定所述至少一个镜面的几何形状:第一相机的图像传感器的一个或多个预定取向和第二相机的图像传感器的一个或多个预定取向;和扫描镜结构的扫描角度集合。
(27)根据(22)至(26)中任一项所述的方法,其中所述扫描镜结构关于扫描轴对称。
(28)根据(22)至(27)中任一项所述的方法,其中所述扫描镜结构关于扫描轴不对称。
(29)根据(22)至(28)中任一项所述的方法,其中所述扫描角度是扫描镜结构的倾斜角。
(30)根据(22)至(29)中任一项所述的方法,包括基于图像传感器的尺寸和第一和第二相机的焦距确定倾斜角的步长。
(31)根据(22)至(30)中任一项所述的方法,其中所述第一相机和所述第二相机以预定角度朝向扫描镜结构倾斜。
(32)根据(22)至(31)中任一项所述的方法,其中所述预定角度基本上为45度。
(33)根据(22)至(32)中任一项所述的方法,其中所述第一扫描路径和所述第二扫描路径是对称的。
(34)根据(22)至(33)中任一项所述的方法,其中第一相机的方位角与第二相机的方位角基本上成180度。
(35)根据(22)至(34)中任一项所述的方法,其中所述第一扫描路径和所述第二扫描路径是弯曲的。
(36)根据(22)至(35)中任一项所述的方法,进一步包括:使用至少一个第三相机和至少一个镜捕获垂直图像,所述至少一个镜被配置为将来自对象区域的对应于垂直图像的第三成像光束引导到所述至少一个第三相机。
(37)根据(22)至(36)中任一项所述的方法,进一步包括:使用第三相机沿着对象区域上的第三扫描路径捕获第三倾斜图像集合,所述第三相机包括镜头以将从扫描镜结构反射的第三成像光束聚焦到第三相机的图像传感器。
(38)根据(22)至(37)中任一项所述的方法,进一步包括:使用第四相机沿着对象区域上的第四扫描路径捕获第四倾斜图像集合,所述第四相机包括镜头以将从扫描镜结构反射的第四成像光束聚焦到第四相机的图像传感器。
(39)根据(22)至(38)中任一项所述的方法,进一步包括:使用第三相机和第二扫描镜结构捕获第三图像集合,所述第二扫描镜结构被配置为引导对应于第三图像集合的第三成像光束由第三相机接收。
(40)根据(22)至(39)中任一项所述的方法,进一步包括:使用第四相机和第三扫描镜结构捕获第四图像集合,所述第三扫描镜结构被配置为引导对应于第四图像集合的第四成像光束由第四相机接收。
(41)根据(22)至(40)中任一项所述的方法,进一步包括:使用具有至少一个镜面的第二扫描镜结构将第三成像光束从对象区域反射到第三相机的第三图像传感器,以沿着对象区域的第三扫描路径捕获第三倾斜图像集合,所述第三相机包括第三镜头以将第三成像光束聚焦到第三图像传感器;使用第二扫描镜结构将来自对象区域的第四成像光束反射到第四相机的第四图像传感器,以沿着对象区域的第四扫描路径捕获第四倾斜图像集合,所述第四相机包括第四镜头以将第四成像光束聚焦到第四图像传感器;基于第二扫描角度绕第二扫描轴旋转第二扫描镜结构,其中第三和第四成像光束中的每一个的仰角和方位角中的至少一个根据第二扫描角度而变化;将第三和第四相机中的每一个的光轴设置成与第二扫描轴成斜角;以及以第二扫描角度值对第三和第四成像光束采样。
(42)根据(22)至(41)中任一项所述的方法,进一步包括:使用具有至少一个镜面的第三扫描镜结构将第五成像光束从对象区域反射到第五相机的第五图像传感器,以沿着对象区域的第五扫描路径捕获第五倾斜图像集合,所述第五相机包括第五镜头以将第五成像光束聚焦到第五图像传感器;使用第三扫描镜结构将来自对象区域的第六成像光束反射到第六相机的第六图像传感器,以沿着对象区域的第六扫描路径捕获第六倾斜图像集合,所述第六相机包括第六镜头以将第六成像光束聚焦到第六图像传感器;基于第三扫描角度绕第三扫描轴旋转第三扫描镜结构,其中第五和第六成像光束中的每一个的仰角和方位角中的至少一个根据第三扫描角度而变化;将第五和第六相机中的每一个的光轴设置成与第三扫描轴成斜角;以及以第三扫描角度值对第五和第六成像光束采样。
(43)一种安装在载具上的成像系统,包括:第一相机,其被配置为沿着对象区域上的第一扫描路径捕获第一倾斜图像集合;包括至少一个镜面的扫描镜结构;驱动,其耦合到扫描镜结构并被配置为基于扫描角度绕扫描轴旋转扫描镜结构;以及处理电路,其被配置为至少部分地基于载具的偏航角度来设置扫描镜结构的扫描角度,其中所述第一相机具有与扫描轴成斜角设置的光轴,并且包括镜头以将从扫描镜结构反射的第一成像光束聚焦到第一相机的图像传感器,由第一相机捕获的第一成像光束的方位角根据载具的扫描角度和偏航角度而变化,并且第一相机的图像传感器通过以扫描角度值对第一成像光束采样来沿着第一扫描路径捕获第一倾斜图像集合。
(44)根据(43)所述的系统,进一步包括第二相机,所述第二相机被配置为沿着对象区域上的第二扫描路径捕获第二倾斜图像集合,其中所述第二相机具有与扫描轴成斜角设置的光轴,并且包括镜头以将从扫描镜结构反射的第二成像光束聚焦到第二相机的图像传感器,第二成像光束的方位角根据载具的扫描角度和偏航角度而变化,并且第二相机的图像传感器通过以第二扫描角度值对第二成像光束采样来沿着第二扫描路径捕获第二倾斜图像集合。
(45)根据(43)至(44)中任一项所述的系统,其中所述扫描镜结构具有相对的第一和第二镜面;并且第一镜面将第一成像光束反射到第一相机,并且同时第二镜面将第二成像光束反射到第二相机。
(46)根据(43)至(45)中任一项所述的系统,其中所述处理电路被配置为基于载具的偏航角度和优选偏航角度之间的差值来设置扫描角度。
(47)根据(43)至(46)中任一项所述的系统,其中所述优选偏航角度为零。
(48)根据(43)至(47)中任一项所述的系统,其中所述处理电路基于载具的偏航角度与优选偏航角度之间的差值的一半,在与载具的偏航角度相对的方向上校正扫描角度。
(49)根据(43)至(48)中任一项所述的系统,其中所述载具为飞行器,并且所述处理电路调整扫描角度,以计及飞行器在一个或多个飞行路线期间和之间中的至少一个的不同偏航角度。
(50)根据(43)至(49)中任一项所述的系统,进一步包括稳定平台,所述稳定平台被配置为校正载具的滚动和俯仰,但不校正载具的偏航,所述成像系统位于稳定平台内。
(51)一种方法,包括:使用具有至少一个镜面的扫描镜结构将第一成像光束从对象区域反射到第一相机的第一图像传感器,以沿着对象区域的第一扫描路径捕获第一倾斜图像集合,所述第一相机包括镜头以将第一成像光束聚焦到第一图像传感器;基于扫描角度绕扫描轴旋转扫描镜结构,其中扫描角度值至少部分地基于包括扫描镜结构的载具的偏航角度来确定,其中由第一相机捕获的第一成像光束的方位角根据载具的扫描角度和偏航角度而变化;以及以扫描角度值对第一成像光束采样。
(52)根据(51)所述的方法,进一步包括使用扫描镜结构将来自对象区域的第二成像光束反射到第二相机的第二图像传感器,以沿着对象区域的第二扫描路径捕获第二倾斜图像集合,其中第二成像光束的方位角根据载具的扫描角度和偏航角度而变化,所述第二相机包括第二镜头以将第二成像光束聚焦到第二图像传感器;以及以扫描角度值对第二成像光束采样。
(53)根据(51)至(52)中任一项所述的方法,其中所述扫描镜结构具有相对的第一和第二镜面;所述方法包括:同时将第一成像光束反射到第一相机并将第二成像光束反射到第二相机。
(54)根据(51)至(53)中任一项所述的方法,包括至少部分地基于载具的偏航角度和优选偏航角度之间的差值来确定扫描角度值。
(55)根据(51)至(54)中任一项所述的方法,其中所述优选偏航角度为零。
(56)根据(51)至(55)中任一项所述的方法,进一步包括基于载具的偏航角度与优选偏航角度之间的差值的一半,在与载具的偏航角度相对的方向上校正扫描角度。
(57)根据(51)至(56)中任一项所述的方法,进一步包括调整扫描角度,以计及载具在一个或多个飞行路线期间和之间中的至少一个的不同偏航角度,其中所述载具为飞行器。
(58)根据(51)至(57)中任一项所述的方法,进一步包括使用稳定平台校正载具的滚动和俯仰,但不校正载具的偏航。
(59)一种成像系统,包括:相机,其被配置为沿着对象区域上的扫描路径捕获倾斜图像集合;扫描镜结构,包括用于接收来自对象区域的光的至少一个表面,所述至少一个表面具有至少一个第一镜部分、至少一个第二部分,所述至少一个第二部分由围绕第一镜部分的外围布置的低反射材料组成,低反射材料的反射性低于第一镜部分;以及驱动,其耦合到扫描镜结构并被配置为基于扫描角度绕旋转轴旋转扫描镜结构,其中所述相机包括镜头以将从扫描镜结构的至少一个表面反射的成像光束聚焦到相机的图像传感器,所述至少一个第一镜部分被配置为在被选择用于产生所述倾斜图像集合的扫描角度集合上反射来自对象区域的光;所述至少一个第二部分被配置为阻挡将绕过第一镜部分并被相机以超过扫描角度集合的扫描角度接收的光,并且相机的图像传感器通过以扫描角度值对成像光束采样来沿着扫描路径捕获所述倾斜图像集合。
(60)根据(59)所述的系统,其中低反射率材料的至少一部分包括围绕旋转轴成对称对的多个部分。
(61)根据(59)至(60)所述的系统,其中由相机捕获的成像光束的方位角和仰角中的至少一个根据扫描角度而变化,并且将绕过第二部分的光的方位角和仰角中的至少一个与扫描角度无关。
(62)根据(59)至(61)所述的系统,其中所述扫描镜结构为凸形的,并且所述低反射材料为非凸形的。
(63)根据(59)至(62)所述的系统,其中所述低反射材料被配置为防止镜面反射。
(64)根据(59)至(63)所述的系统,其中所述第二部分被配置为阻挡来自产生重影图像的对象区域的光束。
(65)根据(59)至(64)所述的系统,其中所述低反射材料被配置为防止入射在其上的光朝向相机反射并聚焦到图像传感器上。
(66)一种容纳在载具中的成像系统,包括:相机,其被配置为沿着对象区域的扫描路径捕获图像集合;包括至少一个镜面的扫描镜结构;以及驱动,其耦合到扫描镜结构并被配置为基于扫描角度绕扫描轴旋转扫描镜结构;其中所述相机包括镜头以将从扫描镜结构反射的成像光束聚焦到相机的图像传感器,由相机捕获的成像光束的仰角和方位角中的至少一个根据扫描角度而变化,相机的图像传感器通过以扫描角度值对成像光束采样来沿着扫描路径捕获所述图像集合,通过其中安装了成像系统的受限空间的部分遮挡和扫描镜结构的扫描角度在扫描角度的预定范围之外中的至少一个来减少成像光束对图像传感器的照射,并且基于表示成像光束对图像传感器的照射的模型来选择沿着扫描路径的扫描角度值。
(67)根据(66)所述的系统,其中扫描镜结构的扫描角度值的步长尺寸取决于以下中的至少一个:载具的偏航角度;载具的滚动;载具的俯仰;扫描镜结构的几何形状;扫描角度;和受限空间的几何形状。
(68)根据(66)至(67)中任一项所述的系统,其中所述图像集合为倾斜图像,扫描镜结构的扫描角度值的步长尺寸具有用于第一扫描角度集合的第一值集合,并且扫描镜结构的扫描角度值的步长尺寸具有用于第二扫描角度集合的第二值集合。
(69)根据(66)至(68)中任一项所述的系统,其中所述图像集合为倾斜图像,并且扫描镜结构的扫描角度值的步长尺寸随扫描角度呈三角变化。
(70)根据(66)至(69)中任一项所述的系统,其中所述图像集合为倾斜图像,并且对于渐晕较多的方位角方向,扫描镜结构的扫描角度值的步长尺寸较小。
(71)根据(66)至(70)中任一项所述的系统,其中所述图像集合中的至少一些图像部分重叠。
(72)根据(66)至(71)中任一项所述的系统,其中所述预定范围由镜几何形状确定。
(73)根据(66)至(72)中任一项所述的系统,其中镜的几何形状由扫描角度值确定。
(74)根据(66)至(73)中任一项所述的系统,进一步包括电路,所述电路被配置为裁剪图像集合中受渐晕影响的图像的至少一些部分;并且在受渐晕影响的至少一些部分已经被裁剪之后,将所述图像集合中的一个或多个图像拼接在一起。
(75)一种用于渐晕减少的方法,包括:使用具有至少一个镜面的扫描镜结构将成像光束从对象区域反射到相机的图像传感器,以沿着对象区域的扫描路径捕获图像集合,其中成像光束对图像传感器的照射通过其中安装了包括扫描镜结构的成像系统的受限空间的部分遮挡和扫描镜结构的扫描角度在扫描角度的预定范围之外中的至少一个而减少;基于使成像光束的仰角和方位角中的至少一个变化的扫描角度绕扫描轴旋转扫描镜结构,其中扫描角度值至少部分地基于成像光束对图像传感器的照射的模型;以扫描角度值对成像光束采样;裁剪所述图像集合中受渐晕影响的图像的至少一些部分;以及在裁剪已经去除了受渐晕影响的至少一些部分之后,将所述图像集合中的一个或多个图像拼接在一起。
(76)根据(75)所述的方法,包括基于以下中的至少一个确定扫描镜结构的扫描角度值的步长尺寸:包括成像系统的载具的偏航角度;载具的滚动;载具的俯仰;扫描镜结构的几何形状;扫描角度;和受限空间的几何形状。
(77)根据(75)至(76)中任一项所述的方法,其中所述图像集合为倾斜图像,所述方法包括:确定扫描镜结构的扫描角度值的步长尺寸,以具有第一扫描角度集合的第一值集合;以及确定扫描镜结构的扫描角度值的步长尺寸,以具有第二扫描角度集合的第二值集合。
(78)根据(75)至(77)中任一项所述的方法,其中所述图像集合为倾斜图像,所述方法包括确定扫描镜结构的扫描角度值的步长尺寸,以随扫描角度呈三角变化。
(79)根据(75)至(78)中任一项所述的方法,其中所述图像集合为倾斜图像,所述方法包括将扫描镜结构的扫描角度值的步长尺寸确定为对于渐晕较多的方位角方向较小。
(80)根据(75)至(79)中任一项所述的方法,其中所述图像集合中的至少一些图像部分重叠。
(81)一种安装在载具中的受限空间中的成像系统,包括:相机,其被配置为沿着对象区域的扫描路径捕获图像集合,所述相机包括光圈、镜头和图像传感器;包括至少一个镜面的扫描镜结构;以及驱动,其耦合到扫描镜结构并被配置为基于扫描角度绕扫描轴旋转扫描镜结构,其中所述镜头将从扫描镜结构的至少一个镜面反射的成像光束聚焦到图像传感器,反射到相机的成像光束的方位角和仰角中的至少一个根据扫描角度而变化,相机的图像传感器通过以扫描角度值对成像光束采样来沿着扫描路径捕获所述图像集合,并且相机的光圈被配置为被动态调谐成使得以下中的至少一个成立:在所述图像集合的捕获期间光圈保持在所述至少一个镜面到光圈上的投影几何形状内,以及光圈保持在未被扫描路径上方的受限空间遮挡的光区域内。
(82)根据(81)所述的系统,其中所述光圈被配置为在镜过度旋转的扫描角度处减小。
(83)根据(81)至(82)中任一项所述的系统,其中相机中的光圈控制机构掩蔽不在扫描镜的投影几何形状内的光圈的一部分。
(84)根据(81)至(83)中任一项所述的系统,其中以下之一成立:光圈的尺寸被减小以保持在所述至少一个镜面到光圈上的投影几何形状内;以及改变光圈的形状以保持在所述至少一个镜面到光圈上的投影几何形状内。
(85)根据(81)至(84)中任一项所述的系统,其中所述光圈被对称调谐以保持在所述至少一个镜面到光圈上的投影几何形状内。
(86)根据(81)至(85)中任一项所述的系统,其中所述光圈被不对称地调谐以保持在所述至少一个镜面到光圈上的投影几何形状内。
(87)根据(80)至(86)中任一项所述的系统,其中所述扫描镜结构被配置为阻挡来自所述至少一个镜面的投影几何形状之外的对象区域的光。
(88)一种控制安装在载具中的成像系统的方法,包括:使用扫描镜结构的至少一个镜面将成像光束从对象区域反射到相机的图像传感器,以沿着对象区域的扫描路径捕获图像集合,所述相机包括镜头和光圈;基于扫描角度绕扫描轴旋转扫描镜结构,其中反射到相机的成像光束的方位角和仰角中的至少一个根据扫描角度而变化;以扫描角度值对成像光束采样;以及动态地调谐相机的光圈,使得以下中的至少一个成立:在所述图像集合的捕获期间,光圈保持在所述至少一个镜面到光圈上的投影几何形状内,以及光圈保持在未被扫描路径上方的受限空间遮挡的光区域内。
(89)根据(88)所述的方法,包括在镜过度旋转的扫描角度处减小光圈。
(90)根据(88)至(89)中任一项所述的方法,包括掩蔽不在所述至少一个镜面到光圈上的投影几何形状内的光圈的一部分。
(91)根据(88)至(90)中任一项所述的方法,包括以下之一:减小光圈的尺寸以保持在所述至少一个镜面到光圈上的投影几何形状内;以及改变光圈的形状以保持在所述至少一个镜面到光圈上的投影几何形状内。
(92)根据(88)至(91)中任一项所述的方法,包括对称地调谐光圈,以保持在所述至少一个镜面到光圈上的投影几何形状内。
(93)根据(88)至(92)中任一项所述的方法,包括不对称地调谐光圈,以保持在所述至少一个镜面到光圈上的投影几何形状内。
(94)一种安装在载具的受限空间中的成像系统,包括:扫描镜结构,包括至少一个镜面;相机,其被配置为沿着对象区域上的扫描路径捕获图像集合,其中所述相机包括镜头以将从扫描镜结构的至少一个镜面反射的成像光束聚焦到相机的图像传感器;驱动,其耦合到扫描镜结构并被配置为基于扫描角度绕扫描轴旋转扫描镜结构;以及电路,其被配置为由于成像光束对图像传感器的照射减少而在一个或多个扫描路径位置处形成渐晕数据,并且在对应的扫描角度处根据渐晕数据更新所述图像集合中的一个或多个图像的像素值,其中由相机捕获的成像光束的仰角和方位角中的至少一个根据扫描角度而变化,相机的图像传感器通过以扫描角度值对成像光束采样来沿着扫描路径捕获所述图像集合,并且成像光束对图像传感器的照射减少是由其中安装了成像系统的受限空间的部分遮挡和扫描镜结构的扫描角度在扫描角度的预定范围之外中的至少一个引起的。
(95)根据(94)所述的系统,其中所述渐晕数据基于以下中的至少一个:载具的滚动;载具的俯仰;载具的偏航;扫描镜结构的几何形状;相机的焦距;图像传感器的纵横比;图像传感器的俯仰;和图像传感器的取向。
(96)根据(94)至(95)中任一项所述的系统,其中所述渐晕数据为渐晕图像。
(97)一种用于渐晕减少的方法,包括:使用具有至少一个镜面的扫描镜结构将成像光束从对象区域反射到相机的图像传感器,以沿着对象区域的扫描路径捕获图像集合,所述相机包括将成像光束聚焦到图像传感器的镜头;基于扫描角度绕扫描轴旋转扫描镜结构,其中成像光束的方位角和仰角中的至少一个根据扫描角度而变化;由于成像光束的部分遮挡而在沿着扫描路径的一个或多个位置处形成渐晕数据,其中成像光束对图像传感器的照射减少是由其中安装了包括扫描镜结构的成像系统的受限空间的部分遮挡和扫描镜结构的扫描角度在扫描角度的预定范围之外中的至少一个引起的;以及根据渐晕数据更新所述图像集合中的一个或多个图像的像素值。
(98)根据(97)所述的方法,其中所述渐晕数据基于以下中的至少一个:包括成像系统的载具的滚动;载具的俯仰;载具的偏航;扫描镜结构的几何形状;相机的焦距;图像传感器的纵横比;图像传感器的俯仰;和图像传感器的取向。
(99)根据(97)至(98)中任一项所述的方法,其中所述渐晕数据为渐晕图像。
(100)一种成像系统,包括:相机,其被配置为从来自对象区域的成像光束中捕获对象区域上的图像,所述相机包括图像传感器和镜头;一个或多个玻璃板,其定位在相机的图像传感器和镜头之间;一个或多个第一驱动,其耦合到所述一个或多个玻璃板中的每一个;包括至少一个镜面的扫描镜结构;第二驱动,其耦合到扫描镜结构并被配置为基于扫描角度绕扫描轴旋转扫描镜结构;以及运动补偿系统,其被配置为基于成像系统和对象区域的相对动态以及所述一个或多个玻璃板的光学属性来确定板旋转速率和板旋转角度中的至少一个;以及基于对应的板旋转速率和板旋转角度中的至少一个来控制所述一个或多个第一驱动以绕一个或多个预定轴旋转所述一个或多个玻璃板。
(101)根据(100)所述的系统,其中所述图像传感器与所述一个或多个玻璃板的移动同步暴露于成像光束。
(102)根据(100)至(101)中任一项所述的系统,其中所述运动补偿系统被配置为在相机捕获图像期间连续移动所述一个或多个玻璃板。
(103)根据(100)至(102)中任一项所述的系统,其中所述一个或多个第一驱动的扫描轴选自以下之一:基本上垂直于相机的光轴;和基本上平行于相机的光轴。
(104)根据(100)至(103)中任一项所述的系统,其中所述运动补偿系统被配置为获得每个捕获图像中的感兴趣区域,并使用所述感兴趣区域估计像素速度。
(105)根据(100)至(104)中任一项所述的系统,其中所述运动补偿系统被配置为估计运动像素速度和姿态速率像素速度中的至少一个;并且基于运动像素速度和姿态速率像素速度之一来控制所述一个或多个第一驱动。
(106)根据(100)至(105)中任一项所述的系统,其中所述姿态速率像素速度为偏航速率像素速度。
(107)根据(100)至(106)中任一项所述的系统,其中所述运动像素速度为前向运动像素速度。
(108)根据(100)至(107)中任一项所述的系统,其中所述运动补偿系统被配置为基于以下中的至少一个来控制所述一个或多个第一驱动:成像系统相对于对象区域的运动;扫描角度;投影几何形状;所述一个或多个玻璃板的对准;所述一个或多个玻璃板的特性;所述一个或多个玻璃板的光学属性;成像系统相对于飞行路径的对准;和成像系统相对于对象区域的姿态改变速率。
(109)一种成像方法,包括:使用扫描镜结构的至少一个镜面将成像光束从对象区域反射到相机的图像传感器,以沿着对象区域的扫描路径捕获图像集合,所述相机包括镜头和图像传感器;使用相机的图像传感器从由所述至少一个镜面反射的来自对象区域的成像光束捕获图像;将一个或多个玻璃板定位在相机的图像传感器和镜头之间;基于相机的特性、所述一个或多个玻璃板的特性和定位、以及相机和对象区域的相对动态中的一个来确定板旋转速率和板旋转角度;以及基于对应的板旋转速率和板旋转角度绕一个或多个预定轴旋转所述一个或多个玻璃板。
(110)根据(109)所述的方法,其中所述图像传感器与所述一个或多个玻璃板的移动同步暴露于成像光束。
(111)根据(109)至(110)中任一项所述的方法,包括在相机捕获图像期间连续移动所述一个或多个玻璃板。
(112)根据(109)至(111)中任一项所述的方法,包括:获得每个捕获图像中的感兴趣区域;以及使用感兴趣区域来估计像素速度。
(113)根据(109)至(112)中任一项所述的方法,包括:估计运动像素速度和姿态速率像素速度中的至少一个;以及基于运动像素速度和姿态速率像素速度之一来控制所述一个或多个第一驱动。
(114)根据(109)至(113)中任一项所述的方法,包括基于以下中的至少一个来确定板旋转速率和板旋转角度中的至少一个:相机相对于对象区域的运动;扫描角度;投影几何形状;所述一个或多个玻璃板的对准;所述一个或多个玻璃板的特性;所述一个或多个玻璃板的光学属性;相对于飞行路径的对准;和相机相对于对象区域的姿态改变速率。
Claims (114)
1.一种成像系统,包括:
第一相机,其被配置为沿着对象区域上的第一扫描路径捕获第一倾斜图像集合;
第二相机,其被配置为沿着对象区域上的第二扫描路径捕获第二倾斜图像集合;
包括至少一个镜面的扫描镜结构;以及
驱动,其耦合到扫描镜结构并被配置为基于扫描角度绕扫描轴旋转扫描镜结构,其中
所述第一相机具有与扫描轴成斜角设置的光轴,并且包括镜头以将从扫描镜结构反射的第一成像光束聚焦到第一相机的图像传感器,
所述第二相机具有与扫描轴成斜角设置的光轴,并且包括镜头以将从扫描镜结构反射的第二成像光束聚焦到第二相机的图像传感器,
第一成像光束的仰角和方位角中的至少一个以及第二成像光束的仰角和方位角中的至少一个根据扫描角度而变化,
第一相机的图像传感器通过以第一扫描角度值对第一成像光束采样来沿着第一扫描路径捕获第一倾斜图像集合,并且
第二相机的图像传感器通过以第二扫描角度值对第二成像光束采样来沿着第二扫描路径捕获第二倾斜图像集合。
2.根据权利要求1所述的成像系统,其中
所述至少一个镜面包括第一镜面和与第一镜面基本上相对的第二镜面,并且
所述第一成像光束从第一镜面反射并且所述第二成像光束从第二镜面反射。
3.根据权利要求1所述的成像系统,其中第一相机的第一扫描角度与第二相机的第一扫描角度相同。
4.根据权利要求1所述的成像系统,其中第一相机的图像传感器和第二相机的图像传感器同时捕获第一倾斜图像集合和第二倾斜图像集合的相应图像。
5.根据权利要求1所述的成像系统,其中所述至少一个镜面的几何形状至少部分地基于以下中的至少一个来确定:
第一相机的图像传感器的一个或多个预定取向和第二相机的图像传感器的一个或多个预定取向;和
扫描镜结构的扫描角度集合。
6.根据权利要求1所述的成像系统,其中所述扫描镜结构关于扫描轴对称。
7.根据权利要求1所述的成像系统,其中所述扫描镜结构关于扫描轴不对称。
8.根据权利要求1所述的成像系统,其中所述扫描角度为扫描镜结构的倾斜角。
9.根据权利要求8所述的成像系统,其中基于图像传感器的尺寸以及第一和第二相机的焦距来确定倾斜角的步长。
10.根据权利要求1所述的成像系统,其中所述第一相机和所述第二相机以预定角度朝向扫描镜结构倾斜。
11.根据权利要求10所述的成像系统,其中所述预定角度基本上为45度。
12.根据权利要求1所述的成像系统,其中所述第一扫描路径和所述第二扫描路径是对称的。
13.根据权利要求1所述的成像系统,其中第一相机的方位角与第二相机的方位角基本上成180度。
14.根据权利要求1所述的成像系统,其中所述第一扫描路径和所述第二扫描路径是弯曲的。
15.根据权利要求1所述的成像系统,进一步包括:
至少一个第三相机,其被配置为捕获垂直图像;以及
至少一个镜,其被配置为将对应于垂直图像的第三成像光束引导到所述至少一个第三相机。
16.根据权利要求1所述的成像系统,进一步包括:
第三相机,其被配置为沿着对象区域上的第三扫描路径捕获第三倾斜图像集合,其中
所述第三相机包括镜头以将从扫描镜结构反射的第三成像光束聚焦到第三相机的图像传感器。
17.根据权利要求16所述的成像系统,进一步包括:
第四相机,其被配置为沿着对象区域上的第四扫描路径捕获第四倾斜图像集合,其中
所述第四相机包括镜头以将从扫描镜结构反射的第四成像光束聚焦到第四相机的图像传感器。
18.根据权利要求1所述的成像系统,进一步包括:
第三相机,其被配置为捕获第三图像集合;以及
第二扫描镜结构,其被配置为引导对应于第三图像集合的第三成像光束由第三相机接收。
19.根据权利要求18所述的成像系统,进一步包括:
第四相机,其被配置为捕获第四图像集合;以及
第三扫描镜结构,其被配置为引导对应于第四图像集合的第四成像光束由第四相机接收。
20.根据权利要求1所述的成像系统,进一步包括:
第三相机,其被配置为沿着对象区域上的第三扫描路径捕获第三倾斜图像集合;
第四相机,其被配置为沿着对象区域上的第四扫描路径捕获第四倾斜图像集合;
包括至少一个镜面的第二扫描镜结构;以及
第二驱动,其耦合到第二扫描镜结构并被配置为基于第二扫描角度绕第二扫描轴旋转第二扫描镜结构,其中
所述第三相机具有与第二扫描轴成斜角设置的光轴,并且包括镜头以将从第二扫描镜结构反射的第三成像光束聚焦到第三相机的图像传感器,
所述第四相机具有与第二扫描轴成斜角设置的光轴,并且包括镜头以将从第二扫描镜结构反射的第四成像光束聚焦到第四相机的图像传感器,
第三成像光束的仰角和方位角中的至少一个以及第四成像光束的仰角和方位角中的至少一个根据第二扫描角度而变化,
第三相机的图像传感器通过以第二扫描角度的第一值对第三成像光束采样来沿着第三扫描路径捕获第三倾斜图像集合,并且
第四相机的图像传感器通过以第二扫描角度的第二值对第四成像光束采样来沿着第四扫描路径捕获第四倾斜图像集合。
21.根据权利要求20所述的成像系统,进一步包括:
第五相机,其被配置为沿着对象区域上的第五扫描路径捕获第五倾斜图像集合;
第六相机,其被配置为沿着对象区域上的第六扫描路径捕获第六倾斜图像集合;
包括至少一个镜面的第三扫描镜结构;以及
第三驱动,其耦合到第三扫描镜结构并被配置为基于第三扫描角度绕第三扫描轴旋转第三扫描镜结构,其中
所述第五相机具有与第三扫描轴成斜角设置的光轴,并且包括镜头以将从第三扫描镜结构反射的第五成像光束聚焦到第五相机的图像传感器,
所述第六相机具有与第三扫描轴成斜角设置的光轴,并且包括镜头以将从第三扫描镜结构反射的第六成像光束聚焦到第六相机的图像传感器,
第五成像光束的仰角和方位角中的至少一个以及第六成像光束的仰角和方位角中的至少一个根据第三扫描角度而变化,
第五相机的图像传感器通过以第三扫描角度的第三值对第五成像光束采样来沿着第五扫描路径捕获第五倾斜图像集合,并且
第六相机的图像传感器通过以第三扫描角度的第四值对第六成像光束采样来沿着第六扫描路径捕获第六倾斜图像集合。
22.一种成像方法,包括:
使用具有至少一个镜面的扫描镜结构将来自对象区域的第一成像光束反射到第一相机的第一图像传感器,以沿着对象区域的第一扫描路径捕获第一倾斜图像集合,所述第一相机包括第一镜头以将第一成像光束聚焦到第一图像传感器;
使用扫描镜结构将第二成像光束从对象区域反射到第二相机的第二图像传感器,以沿着对象区域的第二扫描路径捕获第二倾斜图像集合,所述第二相机包括第二镜头以将第二成像光束聚焦到第二图像传感器;
基于扫描角度绕扫描轴旋转扫描镜结构,其中第一和第二成像光束中的每一个的仰角和方位角中的至少一个根据扫描角度而变化;
将第一和第二相机中的每一个的光轴设置成与扫描轴成斜角;以及
以扫描角度值对第一和第二成像光束采样。
23.根据权利要求22所述的方法,其中所述至少一个镜面包括第一镜面和与第一镜面基本上相对的第二镜面,所述方法包括
从第一镜面反射第一成像光束,以及
从第二镜面反射第二成像光束。
24.根据权利要求22所述的方法,其中第一相机的扫描角度与第二相机的扫描角度相同。
25.根据权利要求22所述的方法,包括同时捕获第一倾斜图像集合和第二倾斜图像集合。
26.根据权利要求22所述的方法,包括至少部分地基于以下中的至少一个来确定所述至少一个镜面的几何形状
第一相机的图像传感器的一个或多个预定取向和第二相机的图像传感器的一个或多个预定取向;和
扫描镜结构的扫描角度集合。
27.根据权利要求22所述的方法,其中所述扫描镜结构关于扫描轴对称。
28.根据权利要求22所述的方法,其中所述扫描镜结构关于扫描轴不对称。
29.根据权利要求22所述的方法,其中所述扫描角度是扫描镜结构的倾斜角。
30.根据权利要求29所述的方法,包括基于图像传感器的尺寸和第一和第二相机的焦距确定倾斜角的步长。
31.根据权利要求22所述的方法,其中所述第一相机和所述第二相机以预定角度朝向扫描镜结构倾斜。
32.根据权利要求31所述的方法,其中所述预定角度基本上为45度。
33.根据权利要求22所述的方法,其中所述第一扫描路径和所述第二扫描路径是对称的。
34.根据权利要求22所述的方法,其中第一相机的方位角与第二相机的方位角基本上成180度。
35.根据权利要求22所述的方法,其中所述第一扫描路径和所述第二扫描路径是弯曲的。
36.根据权利要求22所述的方法,进一步包括:
使用至少一个第三相机和至少一个镜捕获垂直图像,所述至少一个镜被配置为将来自对象区域的对应于垂直图像的第三成像光束引导到所述至少一个第三相机。
37.根据权利要求22所述的方法,进一步包括:
使用第三相机沿着对象区域上的第三扫描路径捕获第三倾斜图像集合,所述第三相机包括镜头以将从扫描镜结构反射的第三成像光束聚焦到第三相机的图像传感器。
38.根据权利要求37所述的方法,进一步包括:
使用第四相机沿着对象区域上的第四扫描路径捕获第四倾斜图像集合,所述第四相机包括镜头以将从扫描镜结构反射的第四成像光束聚焦到第四相机的图像传感器。
39.根据权利要求22所述的方法,进一步包括:
使用第三相机和第二扫描镜结构捕获第三图像集合,所述第二扫描镜结构被配置为引导对应于第三图像集合的第三成像光束由第三相机接收。
40.根据权利要求39所述的方法,进一步包括:
使用第四相机和第三扫描镜结构捕获第四图像集合,所述第三扫描镜结构被配置为引导对应于第四图像集合的第四成像光束由第四相机接收。
41.根据权利要求22所述的方法,进一步包括:
使用具有至少一个镜面的第二扫描镜结构将第三成像光束从对象区域反射到第三相机的第三图像传感器,以沿着对象区域的第三扫描路径捕获第三倾斜图像集合,所述第三相机包括第三镜头以将第三成像光束聚焦到第三图像传感器;
使用第二扫描镜结构将来自对象区域的第四成像光束反射到第四相机的第四图像传感器,以沿着对象区域的第四扫描路径捕获第四倾斜图像集合,所述第四相机包括第四镜头以将第四成像光束聚焦到第四图像传感器;
基于第二扫描角度绕第二扫描轴旋转第二扫描镜结构,其中第三和第四成像光束中的每一个的仰角和方位角中的至少一个根据第二扫描角度而变化;
将第三和第四相机中的每一个的光轴设置成与第二扫描轴成斜角;以及
以第二扫描角度值对第三和第四成像光束采样。
42.根据权利要求41所述的方法,进一步包括:
使用具有至少一个镜面的第三扫描镜结构将第五成像光束从对象区域反射到第五相机的第五图像传感器,以沿着对象区域的第五扫描路径捕获第五倾斜图像集合,所述第五相机包括第五镜头以将第五成像光束聚焦到第五图像传感器;
使用第三扫描镜结构将来自对象区域的第六成像光束反射到第六相机的第六图像传感器,以沿着对象区域的第六扫描路径捕获第六倾斜图像集合,所述第六相机包括第六镜头以将第六成像光束聚焦到第六图像传感器;
基于第三扫描角度绕第三扫描轴旋转第三扫描镜结构,其中第五和第六成像光束中的每一个的仰角和方位角中的至少一个根据第三扫描角度而变化;
将第五和第六相机中的每一个的光轴设置成与第三扫描轴成斜角;以及
以第三扫描角度值对第五和第六成像光束采样。
43.一种安装在载具上的成像系统,包括:
第一相机,其被配置为沿着对象区域上的第一扫描路径捕获第一倾斜图像集合;
包括至少一个镜面的扫描镜结构;
驱动,其耦合到扫描镜结构并被配置为基于扫描角度绕扫描轴旋转扫描镜结构;以及
处理电路,其被配置为至少部分地基于载具的偏航角度来设置扫描镜结构的扫描角度,其中
所述第一相机具有与扫描轴成斜角设置的光轴,并且包括镜头以将从扫描镜结构反射的第一成像光束聚焦到第一相机的图像传感器,
由第一相机捕获的第一成像光束的方位角根据载具的扫描角度和偏航角度而变化,并且
第一相机的图像传感器通过以扫描角度值对第一成像光束采样来沿着第一扫描路径捕获第一倾斜图像集合。
44.根据权利要求43所述的成像系统,进一步包括
第二相机,其被配置为沿着对象区域上的第二扫描路径捕获第二倾斜图像集合,其中
所述第二相机具有与扫描轴成斜角设置的光轴,并且包括镜头以将从扫描镜结构反射的第二成像光束聚焦到第二相机的图像传感器,
第二成像光束的方位角根据载具的扫描角度和偏航角度而变化,并且
第二相机的图像传感器通过以第二扫描角度值对第二成像光束采样来沿着第二扫描路径捕获第二倾斜图像集合。
45.根据权利要求44所述的成像系统,其中
所述扫描镜结构具有相对的第一和第二镜面;并且
第一镜面将第一成像光束反射到第一相机,并且同时第二镜面将第二成像光束反射到第二相机。
46.根据权利要求43所述的成像系统,其中所述处理电路被配置为基于载具的偏航角度和优选偏航角度之间的差值来设置扫描角度。
47.根据权利要求46所述的成像系统,其中所述优选偏航角度为零。
48.根据权利要求46所述的成像系统,其中所述处理电路基于载具的偏航角度与优选偏航角度之间的差值的一半,在与载具的偏航角度相对的方向上校正扫描角度。
49.根据权利要求43所述的成像系统,其中所述载具为飞行器,并且所述处理电路调整扫描角度,以计及飞行器在一个或多个飞行路线期间和之间中的至少一个的不同偏航角度。
50.根据权利要求43所述的成像系统,进一步包括稳定平台,所述稳定平台被配置为校正载具的滚动和俯仰,但不校正载具的偏航,所述成像系统位于稳定平台内。
51.一种方法,包括
使用具有至少一个镜面的扫描镜结构将第一成像光束从对象区域反射到第一相机的第一图像传感器,以沿着对象区域的第一扫描路径捕获第一倾斜图像集合,所述第一相机包括镜头以将第一成像光束聚焦到第一图像传感器;
基于扫描角度绕扫描轴旋转扫描镜结构,其中扫描角度值至少部分地基于包括扫描镜结构的载具的偏航角度来确定,其中由第一相机捕获的第一成像光束的方位角根据载具的扫描角度和偏航角度而变化;以及
以扫描角度值对第一成像光束采样。
52.根据权利要求51所述的方法,进一步包括
使用扫描镜结构将来自对象区域的第二成像光束反射到第二相机的第二图像传感器,以沿着对象区域的第二扫描路径捕获第二倾斜图像集合,其中第二成像光束的方位角根据载具的扫描角度和偏航角度而变化,所述第二相机包括第二镜头以将第二成像光束聚焦到第二图像传感器;以及
以扫描角度值对第二成像光束采样。
53.根据权利要求52所述的方法,其中所述扫描镜结构具有相对的第一和第二镜面;所述方法包括:
同时将第一成像光束反射到第一相机并将第二成像光束反射到第二相机。
54.根据权利要求51所述的方法,包括至少部分地基于载具的偏航角度和优选偏航角度之间的差值来确定扫描角度值。
55.根据权利要求54所述的方法,其中所述优选偏航角度为零。
56.根据权利要求54所述的方法,进一步包括
基于载具的偏航角度与优选偏航角度之间的差值的一半,在与载具的偏航角度相对的方向上校正扫描角度。
57.根据权利要求51所述的方法,进一步包括
调整扫描角度,以计及载具在一个或多个飞行路线期间和之间中的至少一个的不同偏航角度,其中所述载具为飞行器。
58.根据权利要求51所述的方法,进一步包括
使用稳定平台校正载具的滚动和俯仰,但不校正载具的偏航。
59.一种成像系统,包括:
相机,其被配置为沿着对象区域上的扫描路径捕获倾斜图像集合;
扫描镜结构,包括用于接收来自对象区域的光的至少一个表面,所述至少一个表面具有至少一个第一镜部分、至少一个第二部分,所述至少一个第二部分由围绕第一镜部分的外围布置的低反射材料组成,低反射材料的反射性低于第一镜部分;以及
驱动,其耦合到扫描镜结构并被配置为基于扫描角度绕旋转轴旋转扫描镜结构,其中
所述相机包括镜头以将从扫描镜结构的至少一个表面反射的成像光束聚焦到相机的图像传感器,
所述至少一个第一镜部分被配置为在被选择用于产生所述倾斜图像集合的扫描角度集合上反射来自对象区域的光;
所述至少一个第二部分被配置为阻挡将绕过第一镜部分并被相机以超过扫描角度集合的扫描角度接收的光,并且
相机的图像传感器通过以扫描角度值对成像光束采样来沿着扫描路径捕获所述倾斜图像集合。
60.根据权利要求59所述的成像系统,其中低反射率材料的至少一部分包括围绕旋转轴成对称对的多个部分。
61.根据权利要求59所述的成像系统,其中
由相机捕获的成像光束的方位角和仰角中的至少一个根据扫描角度而变化,并且
将绕过第二部分的光的方位角和仰角中的至少一个与扫描角度无关。
62.根据权利要求59所述的成像系统,其中所述扫描镜结构为凸形的,并且所述低反射材料为非凸形的。
63.根据权利要求59所述的成像系统,其中所述低反射材料被配置为防止镜面反射。
64.根据权利要求59所述的成像系统,其中所述第二部分被配置为阻挡来自产生重影图像的对象区域的光束。
65.根据权利要求59所述的成像系统,其中所述低反射材料被配置为防止入射在其上的光朝向相机反射并聚焦到图像传感器上。
66.一种容纳在载具中的成像系统,包括:
相机,其被配置为沿着对象区域的扫描路径捕获图像集合;
包括至少一个镜面的扫描镜结构;以及
驱动,其耦合到扫描镜结构并被配置为基于扫描角度绕扫描轴旋转扫描镜结构;其中
所述相机包括镜头以将从扫描镜结构反射的成像光束聚焦到相机的图像传感器,
由相机捕获的成像光束的仰角和方位角中的至少一个根据扫描角度而变化,
相机的图像传感器通过以扫描角度值对成像光束采样来沿着扫描路径捕获所述图像集合,
通过其中安装了成像系统的受限空间的部分遮挡和扫描镜结构的扫描角度在扫描角度的预定范围之外中的至少一个来减少成像光束对图像传感器的照射,并且
基于表示成像光束对图像传感器的照射的模型来选择沿着扫描路径的扫描角度值。
67.根据权利要求66所述的成像系统,其中扫描镜结构的扫描角度值的步长尺寸取决于以下中的至少一个:载具的偏航角度;载具的滚动;载具的俯仰;扫描镜结构的几何形状;扫描角度;和受限空间的几何形状。
68.根据权利要求66所述的成像系统,其中
所述图像集合为倾斜图像,
扫描镜结构的扫描角度值的步长尺寸具有用于第一扫描角度集合的第一值集合,并且
扫描镜结构的扫描角度值的步长尺寸具有用于第二扫描角度集合的第二值集合。
69.根据权利要求66所述的成像系统,其中所述图像集合为倾斜图像,并且扫描镜结构的扫描角度值的步长尺寸随扫描角度呈三角变化。
70.根据权利要求66所述的成像系统,其中所述图像集合为倾斜图像,并且对于渐晕较多的方位角方向,扫描镜结构的扫描角度值的步长尺寸较小。
71.根据权利要求66所述的成像系统,其中所述图像集合中的至少一些图像部分重叠。
72.根据权利要求66所述的成像系统,其中所述预定范围由镜几何形状确定。
73.根据权利要求66所述的成像系统,其中镜的几何形状由扫描角度值确定。
74.根据权利要求66所述的成像系统,进一步包括电路,所述电路被配置为
裁剪图像集合中受渐晕影响的图像的至少一些部分;并且
在受渐晕影响的至少一些部分已经被裁剪之后,将所述图像集合中的一个或多个图像拼接在一起。
75.一种用于渐晕减少的方法,包括
使用具有至少一个镜面的扫描镜结构将成像光束从对象区域反射到相机的图像传感器,以沿着对象区域的扫描路径捕获图像集合,其中成像光束对图像传感器的照射通过其中安装了包括扫描镜结构的成像系统的受限空间的部分遮挡和扫描镜结构的扫描角度在扫描角度的预定范围之外中的至少一个而减少;
基于使成像光束的仰角和方位角中的至少一个变化的扫描角度绕扫描轴旋转扫描镜结构,其中扫描角度值至少部分地基于成像光束对图像传感器的照射的模型;
以扫描角度值对成像光束采样;
裁剪所述图像集合中受渐晕影响的图像的至少一些部分;以及
在裁剪已经去除了受渐晕影响的至少一些部分之后,将所述图像集合中的一个或多个图像拼接在一起。
76.根据权利要求75所述的方法,包括基于以下中的至少一个确定扫描镜结构的扫描角度值的步长尺寸:
包括成像系统的载具的偏航角度;
载具的滚动;
载具的俯仰;
扫描镜结构的几何形状;
扫描角度;和
受限空间的几何形状。
77.根据权利要求75所述的方法,其中所述图像集合为倾斜图像,所述方法包括:
确定扫描镜结构的扫描角度值的步长尺寸,以具有第一扫描角度集合的第一值集合;以及
确定扫描镜结构的扫描角度值的步长尺寸,以具有第二扫描角度集合的第二值集合。
78.根据权利要求75所述的方法,其中所述图像集合为倾斜图像,所述方法包括确定扫描镜结构的扫描角度值的步长尺寸,以随扫描角度呈三角变化。
79.根据权利要求75所述的方法,其中所述图像集合为倾斜图像,所述方法包括将扫描镜结构的扫描角度值的步长尺寸确定为对于渐晕较多的方位角方向较小。
80.根据权利要求75所述的方法,其中所述图像集合中的至少一些图像部分重叠。
81.一种安装在载具中的受限空间中的成像系统,包括:
相机,其被配置为沿着对象区域的扫描路径捕获图像集合,所述相机包括光圈、镜头和图像传感器;
包括至少一个镜面的扫描镜结构;以及
驱动,其耦合到扫描镜结构并被配置为基于扫描角度绕扫描轴旋转扫描镜结构,其中
所述镜头将从扫描镜结构的至少一个镜面反射的成像光束聚焦到图像传感器,
反射到相机的成像光束的方位角和仰角中的至少一个根据扫描角度而变化,
相机的图像传感器通过以扫描角度值对成像光束采样来沿着扫描路径捕获所述图像集合,并且
相机的光圈被配置为被动态调谐成使得以下中的至少一个成立:
在所述图像集合的捕获期间光圈保持在所述至少一个镜面到光圈上的投影几何形状内,以及
光圈保持在未被扫描路径上方的受限空间遮挡的光区域内。
82.根据权利要求81所述的成像系统,其中所述光圈被配置为在镜过度旋转的扫描角度处减小。
83.根据权利要求81所述的成像系统,其中相机中的光圈控制机构掩蔽不在扫描镜的投影几何形状内的光圈的一部分。
84.根据权利要求81所述的成像系统,其中以下之一成立
光圈的尺寸被减小以保持在所述至少一个镜面到光圈上的投影几何形状内;以及
改变光圈的形状以保持在所述至少一个镜面到光圈上的投影几何形状内。
85.根据权利要求81所述的成像系统,其中所述光圈被对称调谐以保持在所述至少一个镜面到光圈上的投影几何形状内。
86.根据权利要求81所述的成像系统,其中所述光圈被不对称地调谐以保持在所述至少一个镜面到光圈上的投影几何形状内。
87.根据权利要求81所述的成像系统,其中所述扫描镜结构被配置为阻挡来自所述至少一个镜面的投影几何形状之外的对象区域的光。
88.一种控制安装在载具中的成像系统的方法,包括:
使用扫描镜结构的至少一个镜面将成像光束从对象区域反射到相机的图像传感器,以沿着对象区域的扫描路径捕获图像集合,所述相机包括镜头和光圈;
基于扫描角度绕扫描轴旋转扫描镜结构,其中反射到相机的成像光束的方位角和仰角中的至少一个根据扫描角度而变化;
以扫描角度值对成像光束采样;以及
动态地调谐相机的光圈,使得以下中的至少一个成立:在所述图像集合的捕获期间,光圈保持在所述至少一个镜面到光圈上的投影几何形状内,以及光圈保持在未被扫描路径上方的受限空间遮挡的光区域内。
89.根据权利要求88所述的成像方法,包括在镜过度旋转的扫描角度处减小光圈。
90.根据权利要求88所述的成像方法,包括掩蔽不在所述至少一个镜面到光圈上的投影几何形状内的光圈的一部分。
91.根据权利要求88所述的成像方法,包括以下之一
减小光圈的尺寸以保持在所述至少一个镜面到光圈上的投影几何形状内;以及
改变光圈的形状以保持在所述至少一个镜面到光圈上的投影几何形状内。
92.根据权利要求88所述的成像方法,包括对称地调谐光圈,以保持在所述至少一个镜面到光圈上的投影几何形状内。
93.根据权利要求88所述的成像方法,包括不对称地调谐光圈,以保持在所述至少一个镜面到光圈上的投影几何形状内。
94.一种安装在载具的受限空间中的成像系统,包括:
扫描镜结构,包括至少一个镜面;
相机,其被配置为沿着对象区域上的扫描路径捕获图像集合,其中所述相机包括镜头以将从扫描镜结构的至少一个镜面反射的成像光束聚焦到相机的图像传感器;
驱动,其耦合到扫描镜结构并被配置为基于扫描角度绕扫描轴旋转扫描镜结构;以及
电路,其被配置为由于成像光束对图像传感器的照射减少而在一个或多个扫描路径位置处形成渐晕数据,并且
在对应的扫描角度处根据渐晕数据更新所述图像集合中的一个或多个图像的像素值,其中
由相机捕获的成像光束的仰角和方位角中的至少一个根据扫描角度而变化,
相机的图像传感器通过以扫描角度值对成像光束采样来沿着扫描路径捕获所述图像集合,并且
成像光束对图像传感器的照射减少是由其中安装了成像系统的受限空间的部分遮挡和扫描镜结构的扫描角度在扫描角度的预定范围之外中的至少一个引起的。
95.根据权利要求94所述的成像系统,其中所述渐晕数据基于以下中的至少一个:载具的滚动;载具的俯仰;载具的偏航;扫描镜结构的几何形状;相机的焦距;图像传感器的纵横比;图像传感器的俯仰;和图像传感器的取向。
96.根据权利要求94所述的成像系统,其中所述渐晕数据为渐晕图像。
97.一种用于渐晕减少的方法,包括
使用具有至少一个镜面的扫描镜结构将成像光束从对象区域反射到相机的图像传感器,以沿着对象区域的扫描路径捕获图像集合,所述相机包括将成像光束聚焦到图像传感器的镜头;
基于扫描角度绕扫描轴旋转扫描镜结构,其中成像光束的方位角和仰角中的至少一个根据扫描角度而变化;
由于成像光束的部分遮挡而在沿着扫描路径的一个或多个位置处形成渐晕数据,其中成像光束对图像传感器的照射减少是由其中安装了包括扫描镜结构的成像系统的受限空间的部分遮挡和扫描镜结构的扫描角度在扫描角度的预定范围之外中的至少一个引起的;以及
根据渐晕数据更新所述图像集合中的一个或多个图像的像素值。
98.根据权利要求97所述的方法,其中所述渐晕数据基于以下中的至少一个:包括成像系统的载具的滚动;载具的俯仰;载具的偏航;扫描镜结构的几何形状;相机的焦距;图像传感器的纵横比;图像传感器的俯仰;和图像传感器的取向。
99.根据权利要求97所述的方法,其中所述渐晕数据为渐晕图像。
100.一种成像系统,包括:
相机,其被配置为从来自对象区域的成像光束中捕获对象区域的图像,所述相机包括图像传感器和镜头;
一个或多个玻璃板,其定位在相机的图像传感器和镜头之间;
一个或多个第一驱动,其耦合到所述一个或多个玻璃板中的每一个;
包括至少一个镜面的扫描镜结构;
第二驱动,其耦合到扫描镜结构并被配置为基于扫描角度绕扫描轴旋转扫描镜结构;以及
运动补偿系统,其被配置为基于成像系统和对象区域的相对动态以及所述一个或多个玻璃板的光学属性来确定板旋转速率和板旋转角度中的至少一个;以及
基于对应的板旋转速率和板旋转角度中的至少一个来控制所述一个或多个第一驱动以绕一个或多个预定轴旋转所述一个或多个玻璃板。
101.根据权利要求100所述的成像系统,其中所述图像传感器与所述一个或多个玻璃板的移动同步暴露于成像光束。
102.根据权利要求100所述的成像系统,其中所述运动补偿系统被配置为在相机捕获图像期间连续移动所述一个或多个玻璃板。
103.根据权利要求100所述的成像系统,其中所述一个或多个第一驱动的扫描轴选自以下之一:
基本上垂直于相机的光轴;和
基本上平行于相机的光轴。
104.根据权利要求100所述的成像系统,其中所述运动补偿系统被配置为获得每个捕获图像中的感兴趣区域,并使用所述感兴趣区域估计像素速度。
105.根据权利要求100所述的成像系统,其中所述运动补偿系统被配置为
估计运动像素速度和姿态速率像素速度中的至少一个;并且
基于运动像素速度和姿态速率像素速度之一来控制所述一个或多个第一驱动。
106.根据权利要求105所述的成像系统,其中所述姿态速率像素速度为偏航速率像素速度。
107.根据权利要求105所述的成像系统,其中所述运动像素速度为前向运动像素速度。
108.根据权利要求100所述的成像系统,其中所述运动补偿系统被配置为基于以下中的至少一个来控制所述一个或多个第一驱动:
成像系统相对于对象区域的运动;
扫描角度;
投影几何形状;
所述一个或多个玻璃板的对准;
所述一个或多个玻璃板的特性;
所述一个或多个玻璃板的光学属性;
成像系统相对于飞行路径的对准;和
成像系统相对于对象区域的姿态改变速率。
109.一种成像方法,包括:
使用扫描镜结构的至少一个镜面将成像光束从对象区域反射到相机的图像传感器,以沿着对象区域的扫描路径捕获图像集合,所述相机包括镜头和图像传感器;
使用相机的图像传感器从由所述至少一个镜面反射的来自对象区域的成像光束捕获图像;
将一个或多个玻璃板定位在相机的图像传感器和镜头之间;
基于相机的特性、所述一个或多个玻璃板的特性和定位、以及相机和对象区域的相对动态中的一个来确定板旋转速率和板旋转角度;以及
基于对应的板旋转速率和板旋转角度绕一个或多个预定轴旋转所述一个或多个玻璃板。
110.根据权利要求109所述的成像方法,其中所述图像传感器与所述一个或多个玻璃板的移动同步暴露于成像光束。
111.根据权利要求109所述的成像方法,包括在相机捕获图像期间连续移动所述一个或多个玻璃板。
112.根据权利要求109所述的成像方法,包括:
获得每个捕获图像中的感兴趣区域;以及
使用所述感兴趣区域来估计像素速度。
113.根据权利要求109所述的成像方法,包括:
估计运动像素速度和姿态速率像素速度中的至少一个;以及
基于运动像素速度和姿态速率像素速度之一来控制所述一个或多个第一驱动。
114.根据权利要求109所述的成像方法,包括基于以下中的至少一个来确定板旋转速率和板旋转角度中的至少一个:
相机相对于对象区域的运动;
扫描角度;
投影几何形状;
所述一个或多个玻璃板的对准;
所述一个或多个玻璃板的特性;
所述一个或多个玻璃板的光学属性;
相对于飞行路径的对准;和
相机相对于对象区域的姿态改变速率。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/IB2021/000430 WO2023275580A1 (en) | 2021-06-28 | 2021-06-28 | Hyper camera with shared mirror |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117881944A true CN117881944A (zh) | 2024-04-12 |
Family
ID=84690769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180101954.XA Pending CN117881944A (zh) | 2021-06-28 | 2021-06-28 | 具有共享镜的超级相机 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11985429B2 (zh) |
EP (1) | EP4363798A1 (zh) |
CN (1) | CN117881944A (zh) |
AU (1) | AU2021453875A1 (zh) |
CA (1) | CA3225416A1 (zh) |
WO (1) | WO2023275580A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117544862B (zh) * | 2024-01-09 | 2024-03-29 | 北京大学 | 一种基于图像矩并行处理的图像拼接方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2860774A1 (en) | 2012-01-13 | 2013-07-18 | Logos Technologies Llc | Method and device for controlling a motion-compensating mirror for a rotating camera |
CN105813560B (zh) * | 2013-11-06 | 2019-04-02 | 圣犹达医疗用品国际控股有限公司 | 在c摇臂x射线环境中具有极小图像遮挡和对尺寸的极小影响的磁场生成器 |
US9641736B2 (en) * | 2014-06-20 | 2017-05-02 | nearmap australia pty ltd. | Wide-area aerial camera systems |
US9185290B1 (en) * | 2014-06-20 | 2015-11-10 | Nearmap Australia Pty Ltd | Wide-area aerial camera systems |
WO2016054681A1 (en) | 2014-10-08 | 2016-04-14 | Spookfish Innovations Pty Ltd | An aerial camera system |
WO2020016874A1 (en) * | 2018-07-15 | 2020-01-23 | Sarine Technologies Ltd | System and method for evaluating and determining color in gemstones |
US10848654B2 (en) | 2018-12-17 | 2020-11-24 | Vergent Research Pty Ltd | Oblique scanning aerial cameras |
US20200191568A1 (en) | 2018-12-17 | 2020-06-18 | Paul Lapstun | Multi-View Aerial Imaging |
US10846558B2 (en) * | 2018-12-17 | 2020-11-24 | Vergent Research Pty Ltd | Multi-view scanning aerial cameras |
US11190751B2 (en) * | 2018-12-17 | 2021-11-30 | Nearmap Australia Pty Ltd | Multiplexed multi-view scanning aerial cameras |
WO2020237288A1 (en) | 2019-05-24 | 2020-12-03 | Aerometrex Pty Ltd | An aerial imaging system and method |
US11513343B2 (en) * | 2019-09-27 | 2022-11-29 | Faro Technologies, Inc. | Environmental scanning and image reconstruction thereof |
US11555894B2 (en) * | 2020-03-12 | 2023-01-17 | Lawrence Livermore National Security, Llc | System and method for adaptive optical tracking with selectable tracking modes |
-
2021
- 2021-06-28 EP EP21948209.8A patent/EP4363798A1/en active Pending
- 2021-06-28 CA CA3225416A patent/CA3225416A1/en active Pending
- 2021-06-28 WO PCT/IB2021/000430 patent/WO2023275580A1/en active Application Filing
- 2021-06-28 AU AU2021453875A patent/AU2021453875A1/en active Pending
- 2021-06-28 CN CN202180101954.XA patent/CN117881944A/zh active Pending
- 2021-06-29 US US17/362,334 patent/US11985429B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20220417403A1 (en) | 2022-12-29 |
CA3225416A1 (en) | 2023-01-05 |
US11985429B2 (en) | 2024-05-14 |
WO2023275580A1 (en) | 2023-01-05 |
US20220417395A1 (en) | 2022-12-29 |
AU2021453875A1 (en) | 2024-01-04 |
EP4363798A1 (en) | 2024-05-08 |
US20240196095A9 (en) | 2024-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9797980B2 (en) | Self-calibrated, remote imaging and data processing system | |
JP4302625B2 (ja) | 航空偵察システム | |
US7725258B2 (en) | Vehicle based data collection and processing system and imaging sensor system and methods thereof | |
US8994822B2 (en) | Infrastructure mapping system and method | |
US7127348B2 (en) | Vehicle based data collection and processing system | |
US6747686B1 (en) | High aspect stereoscopic mode camera and method | |
US7630579B2 (en) | System and method for mosaicing digital ortho-images | |
JP6282275B2 (ja) | インフラストラクチャマッピングシステム及び方法 | |
CA2796162A1 (en) | Self-calibrated, remote imaging and data processing system | |
US20240121513A1 (en) | Hyper camera with shared mirror | |
CN117881944A (zh) | 具有共享镜的超级相机 | |
USRE49105E1 (en) | Self-calibrated, remote imaging and data processing system | |
US12015853B2 (en) | Hyper camera with shared mirror | |
JP2014511155A (ja) | 自己較正リモートイメージング及びデータ処理システム | |
GB2578735A (en) | Camera system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |