JP2022513428A - 知覚を改善するための多重チャネル多重偏光イメージング - Google Patents
知覚を改善するための多重チャネル多重偏光イメージング Download PDFInfo
- Publication number
- JP2022513428A JP2022513428A JP2021523384A JP2021523384A JP2022513428A JP 2022513428 A JP2022513428 A JP 2022513428A JP 2021523384 A JP2021523384 A JP 2021523384A JP 2021523384 A JP2021523384 A JP 2021523384A JP 2022513428 A JP2022513428 A JP 2022513428A
- Authority
- JP
- Japan
- Prior art keywords
- filter
- data
- image data
- pixels
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008447 perception Effects 0.000 title description 6
- 238000003384 imaging method Methods 0.000 title description 3
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000010287 polarization Effects 0.000 claims description 52
- 239000002131 composite material Substances 0.000 claims description 25
- 238000010801 machine learning Methods 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 description 34
- 230000015654 memory Effects 0.000 description 31
- 238000003491 array Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000001228 spectrum Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000001429 visible spectrum Methods 0.000 description 8
- 230000003595 spectral effect Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/30—Polarising elements
- G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
- H04N23/15—Image signal generation with circuitry for avoiding or correcting image misregistration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
- G02B27/288—Filters employing polarising elements, e.g. Lyot or Solc filters
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/201—Filters in the form of arrays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0092—Image segmentation from stereoscopic image signals
Abstract
Description
Claims (20)
- コンピューティングシステムによって、
第1のフィルタパターンを有する第1のフィルタアレイを有する第1のイメージセンサによって生成された第1の画像データにアクセスする段階であって、前記第1のフィルタパターンが複数の第1のフィルタタイプを有する、段階と、
前記第1のフィルタパターンとは異なる第2のフィルタパターンを有する第2のフィルタアレイを有する第2のイメージセンサによって生成された第2の画像データにアクセスする段階であって、前記第2のフィルタパターンが複数の第2のフィルタタイプを有し、前記複数の第2のフィルタタイプおよび前記複数の第1のフィルタタイプが少なくとも1つの共通のフィルタタイプを有する、段階と、
前記共通のフィルタタイプと関連付けられた前記第1の画像データの部分、および前記共通のフィルタタイプと関連付けられた前記第2の画像データの部分に基づいて、前記第1の画像データの1つまたは複数の第1のピクセルと前記第2の画像データの1つまたは複数の第2のピクセルとの間の対応を決定する段階と、
前記対応に基づいて、前記第1の画像データおよび前記第2の画像データを使用して複合データを生成する段階であって、前記複合データが、前記複数の第1のフィルタタイプの1つまたは複数と関連付けられた第1のデータおよび前記複数の第2のフィルタタイプの1つまたは複数と関連付けられた第2のデータをそれぞれ含む、1つまたは複数の第3のピクセルを有する、段階と
を備える方法。 - 前記共通のフィルタタイプのデータに基づいて、前記第1の画像データの1つまたは複数のピクセルおよび前記第2の画像データの1つまたは複数のピクセルの深度情報を計算する段階を更に備える、請求項1に記載の方法。
- 前記深度情報を計算する段階が、前記共通のフィルタタイプと関連付けられた前記第1の画像データの前記部分、および前記共通のフィルタタイプと関連付けられた前記第2の画像データの前記部分に基づいて、前記第1の画像データのピクセルと前記第2の画像データの対応するピクセルとの間の空間オフセットを決定する段階を備える、請求項2に記載の方法。
- 各第3のピクセルの空間情報および前記複合データを有するテンソルを生成する段階を更に備える、請求項1から3のいずれか一項に記載の方法。
- 前記複合データを生成する段階が、前記1つまたは複数の第1のピクセルの前記複数の第1のフィルタタイプの前記第1の画像データと、1つまたは複数の対応する第2のピクセルの前記複数の第2のフィルタタイプの前記第2の画像データとを組み合わせる段階を備え、前記複数の第1のフィルタタイプの前記第1の画像データおよび前記複数の第2のフィルタタイプの前記第2の画像データが、波長フィルタのデータ、偏光フィルタのデータ、または前記第1の画像データおよび前記第2の画像データの1つもしくは複数から計算されたデータを備える、請求項1から4のいずれか一項に記載の方法。
- 前記1つまたは複数の第3のピクセルの前記複合データを、対象物の1つまたは複数のクラスの格納された複合データと比較する段階と、
少なくとも前記対応する第1のデータおよび第2のデータを、機械学習モデルを使用して処理することによって、前記1つまたは複数の第3のピクセルの分類を決定する段階と
を更に備える、請求項1から5のいずれか一項に記載の方法。 - 前記1つまたは複数の第3のピクセルの前記複合データを、対象物の1つまたは複数のクラスの格納された複合データと比較する段階と、
前記対応する第1のデータおよび第2のデータを、機械学習モデルを使用して処理することによって、前記1つまたは複数の第3のピクセルと関連付けられた1つまたは複数の関心対象物を識別する段階と
を更に備える、請求項1から6のいずれか一項に記載の方法。 - 第3の画像データにアクセスする段階であって、前記第3の画像データが追加の共通のフィルタタイプと関連付けられたデータを有する、段階を更に備え、前記複合データを生成する段階が、1つまたは複数の追加のイメージセンサによって生成された1つもしくは複数の画像データを使用する段階を更に有し、前記1つまたは複数の追加のイメージセンサの少なくとも1つが、前記第1のフィルタパターンまたは前記第2のフィルタパターンとは異なる第3のフィルタパターンを有する第3のフィルタアレイを有する、請求項1から7のいずれか一項に記載の方法。
- 前記複数の第1のフィルタタイプが特定の色または偏光のフィルタを備える、請求項1から8のいずれか一項に記載の方法。
- 前記第1のフィルタパターンおよび前記第2のフィルタパターンにおける共通の前記フィルタタイプの相対位置が同じである、請求項1から9のいずれか一項に記載の方法。
- 第1のフィルタパターンを有する第1のフィルタアレイを有する第1のイメージセンサによって生成された第1の画像データにアクセスする段階であって、前記第1のフィルタパターンが複数の第1のフィルタタイプを有する、段階と、
前記第1のフィルタパターンとは異なる第2のフィルタパターンを有する第2のフィルタアレイを有する第2のイメージセンサによって生成された第2の画像データにアクセスする段階であって、前記第2のフィルタパターンが複数の第2のフィルタタイプを有し、前記複数の第2のフィルタタイプおよび前記複数の第1のフィルタタイプが少なくとも1つの共通のフィルタタイプを有する、段階と、
前記共通のフィルタタイプと関連付けられた前記第1の画像データの部分、および前記共通のフィルタタイプと関連付けられた前記第2の画像データの部分に基づいて、前記第1の画像データの1つまたは複数の第1のピクセルと前記第2の画像データの1つまたは複数の第2のピクセルとの間の対応を決定する段階と、
前記対応に基づいて、前記第1の画像データおよび前記第2の画像データを使用して複合データを生成する段階であって、前記複合データが、前記複数の第1のフィルタタイプの1つまたは複数と関連付けられた第1のデータおよび前記複数の第2のフィルタタイプの1つまたは複数と関連付けられた第2のデータをそれぞれ含む、1つまたは複数の第3のピクセルを有する、段階と
を含む動作をコンピュータに実行させるプログラム。 - 前記共通のフィルタタイプのデータに基づいて、前記第1の画像データの1つまたは複数のピクセルおよび前記第2の画像データの1つまたは複数のピクセルの深度情報を計算することを更に前記コンピュータに実行させる、請求項11に記載のプログラム。
- 前記共通のフィルタタイプと関連付けられた前記第1の画像データの前記部分、および前記共通のフィルタタイプと関連付けられた前記第2の画像データの前記部分に基づいて、前記第1の画像データのピクセルと前記第2の画像データの対応するピクセルとの間の空間オフセットを決定することを更に前記コンピュータに実行させる、請求項12に記載のプログラム。
- 前記1つまたは複数の第3のピクセルの位置情報および前記複合データを備えるテンソルを生成することを更に前記コンピュータに実行させる、請求項11から13のいずれか一項に記載のプログラム。
- 前記1つまたは複数の第1のピクセルの前記複数の第1のフィルタタイプのデータと、1つまたは複数の対応する第2のピクセルの前記複数の第2のフィルタタイプのデータとを組み合わせることを更に前記コンピュータに実行させ、前記複数の第1のフィルタタイプおよび前記複数の第2のフィルタタイプの前記データが、波長フィルタのデータ、偏光フィルタのデータ、または前記第1の画像データおよび前記第2の画像データの1つもしくは複数から計算されたデータを備える、請求項11から14のいずれか一項に記載のプログラム。
- コンピューティングシステムであって、
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサのうち1つまたは複数に結合された1つまたは複数のコンピュータ可読非一時的記憶媒体であって、前記1つまたは複数のプロセッサのうち1つまたは複数によって実行されると、前記コンピューティングシステムに動作を実施させるように動作可能な命令を有する、1つまたは複数のコンピュータ可読非一時的記憶媒体と、を備え、前記動作が、
第1のフィルタパターンを有する第1のフィルタアレイを有するイメージセンサによって生成された第1の画像データにアクセスする段階であって、前記第1のフィルタパターンが複数の第1のフィルタタイプを有する、段階と、
前記第1のフィルタパターンとは異なる第2のフィルタパターンを有する第2のフィルタアレイをそれぞれ有する1つまたは複数の追加のイメージセンサによって生成された1つまたは複数の第2の画像データにアクセスする段階であって、前記第2のフィルタパターンが複数の第2のフィルタタイプを有し、前記複数の第2のフィルタタイプおよび前記複数の第1のフィルタタイプが少なくとも1つの共通のフィルタタイプを有する、段階と、
前記共通のフィルタタイプと関連付けられた前記第1の画像データの部分、および前記共通のフィルタタイプと関連付けられた前記1つまたは複数の第2の画像データの部分に基づいて、前記第1の画像データの1つもしくは複数の第1のピクセルと前記1つまたは複数の第2の画像データの1つもしくは複数の第2のピクセルとの間の対応を決定する段階と、
前記対応に基づいて、前記第1の画像データおよび前記1つまたは複数の第2の画像データを使用して複合データを生成する段階であって、前記複合データが、前記複数の第1のフィルタタイプの1つまたは複数と関連付けられた第1のデータおよび前記複数の第2のフィルタタイプの1つまたは複数と関連付けられた第2のデータをそれぞれ含む、1つまたは複数の第3のピクセルを有する、段階と
を備える、コンピューティングシステム。 - 前記命令が、前記共通のフィルタタイプのデータに基づいて、前記第1の画像データの1つもしくは複数のピクセルおよび前記1つまたは複数の第2の画像データの1つもしくは複数のピクセルの深度情報を計算するように更に動作可能である、請求項16に記載のコンピューティングシステム。
- 前記命令が、前記共通のフィルタタイプと関連付けられた前記第1の画像データの前記部分、および前記共通のフィルタタイプと関連付けられた前記1つまたは複数の第2の画像データの前記部分に基づいて、前記第1の画像データのピクセルと前記1つまたは複数の第2の画像データの対応するピクセルとの間の空間オフセットを決定するように更に動作可能である、請求項17に記載のコンピューティングシステム。
- 前記命令が、前記1つまたは複数の第3のピクセルの位置情報および前記複合データを備えるテンソルを生成するように更に動作可能である、請求項16から18のいずれか一項に記載のコンピューティングシステム。
- 前記命令が、前記1つまたは複数の第1のピクセルの前記複数の第1のフィルタタイプのデータと、1つまたは複数の対応する第2のピクセルの前記複数の第2のフィルタタイプのデータとを組み合わせるように更に動作可能であり、前記複数の第1のフィルタタイプおよび前記複数の第2のフィルタタイプの前記データが、波長フィルタのデータ、偏光フィルタのデータ、または前記第1の画像データおよび前記1つまたは複数の第2の画像データの1つもしくは複数から計算されたデータを備える、請求項16から19のいずれか一項に記載のコンピューティングシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/221,406 US10659751B1 (en) | 2018-12-14 | 2018-12-14 | Multichannel, multi-polarization imaging for improved perception |
US16/221,406 | 2018-12-14 | ||
PCT/US2019/064758 WO2020123259A1 (en) | 2018-12-14 | 2019-12-05 | Multichannel, multi-polarization imaging for improved perception |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022513428A true JP2022513428A (ja) | 2022-02-08 |
Family
ID=70736151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021523384A Pending JP2022513428A (ja) | 2018-12-14 | 2019-12-05 | 知覚を改善するための多重チャネル多重偏光イメージング |
Country Status (4)
Country | Link |
---|---|
US (2) | US10659751B1 (ja) |
EP (1) | EP3857871A4 (ja) |
JP (1) | JP2022513428A (ja) |
WO (1) | WO2020123259A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019067323A (ja) * | 2017-10-05 | 2019-04-25 | ソニー株式会社 | 情報処理装置、情報処理方法、及び記録媒体 |
JP7273250B2 (ja) * | 2019-09-17 | 2023-05-12 | ボストン ポーラリメトリックス,インコーポレイティド | 偏光キューを用いた面モデリングのためのシステム及び方法 |
DE112020004813B4 (de) | 2019-10-07 | 2023-02-09 | Boston Polarimetrics, Inc. | System zur Erweiterung von Sensorsystemen und Bildgebungssystemen mit Polarisation |
KR20230116068A (ko) | 2019-11-30 | 2023-08-03 | 보스턴 폴라리메트릭스, 인크. | 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법 |
CA3126236A1 (en) * | 2020-07-29 | 2022-01-29 | Uatc, Llc | Systems and methods for sensor data packet processing and spatial memoryupdating for robotic platforms |
US11393117B2 (en) * | 2020-09-01 | 2022-07-19 | Utah State University Space Dynamics Laboratory | See-and-avoid sensor |
US11418762B2 (en) * | 2020-09-11 | 2022-08-16 | GM Global Technology Operations LLC | Imaging system and method |
US20220295038A1 (en) * | 2021-03-10 | 2022-09-15 | Intrinsic Innovation Llc | Multi-modal and multi-spectral stereo camera arrays |
EP4184932A1 (de) * | 2021-09-10 | 2023-05-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Ein bildsensor, ein verfahren zum betreiben eines bildsensors, ein verfahren zum herstellen eines bildsensors und ein stationäres gerät oder ein fahrzeug oder eine drohne mit einem bildsensor |
CN116721134B (zh) * | 2023-08-10 | 2023-10-10 | 武汉能钠智能装备技术股份有限公司四川省成都市分公司 | 一种无特征目标的跟踪系统及其方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3025408A (en) | 1958-09-23 | 1962-03-13 | George D Wolf | Emergency power supply |
EP1830585B1 (en) * | 2003-10-21 | 2008-12-17 | Barco N.V. | Method and device for performing stereoscopic image display based on color selective filters |
EP1607773B1 (en) * | 2004-06-18 | 2009-03-11 | STMicroelectronics (Research & Development) Limited | Polarization sensitive solid state image sensor |
US7962495B2 (en) * | 2006-11-20 | 2011-06-14 | Palantir Technologies, Inc. | Creating data in a data store using a dynamic ontology |
US7787112B2 (en) * | 2007-10-22 | 2010-08-31 | Visiongate, Inc. | Depth of field extension for optical tomography |
CN101960859B (zh) * | 2008-07-08 | 2013-04-10 | 松下电器产业株式会社 | 图像处理方法、图像处理装置、图像合成方法和图像合成装置 |
US8587681B2 (en) * | 2008-11-21 | 2013-11-19 | Omnivision Technologies, Inc. | Extended depth of field for image sensor |
KR101739880B1 (ko) | 2010-12-01 | 2017-05-26 | 삼성전자주식회사 | 컬러 필터 어레이, 이를 포함하는 이미지 센서, 및 이를 포함하는 이미지 처리 장치 |
JP6008298B2 (ja) * | 2012-05-28 | 2016-10-19 | パナソニックIpマネジメント株式会社 | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
WO2014018836A1 (en) | 2012-07-26 | 2014-01-30 | Leap Motion, Inc. | Object detection and tracking |
JP5903528B2 (ja) | 2013-07-29 | 2016-04-13 | 富士フイルム株式会社 | 撮像装置及び画像処理方法 |
KR20150026393A (ko) | 2013-09-02 | 2015-03-11 | 삼성전자주식회사 | 이미지 처리 및 그 방법을 처리하는 전자장치 |
KR101611261B1 (ko) * | 2013-12-12 | 2016-04-12 | 엘지전자 주식회사 | 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량 |
KR101641406B1 (ko) * | 2013-12-30 | 2016-07-21 | 연세대학교 산학협력단 | 스테레오 카메라 |
KR102211862B1 (ko) * | 2014-04-09 | 2021-02-03 | 삼성전자주식회사 | 이미지 센서 및 이를 포함하는 이미지 센서 시스템 |
WO2016161104A1 (en) * | 2015-04-01 | 2016-10-06 | Vayavision, Ltd. | Generating 3-dimensional maps of a scene using passive and active measurements |
JP6566749B2 (ja) * | 2015-07-01 | 2019-08-28 | 株式会社ソニー・インタラクティブエンタテインメント | 撮像素子、イメージセンサ、および情報処理装置 |
JP2017139742A (ja) | 2016-02-02 | 2017-08-10 | パナソニックIpマネジメント株式会社 | 撮像装置、撮像システム、撮像方法及びプログラム |
WO2017171412A2 (ko) | 2016-03-30 | 2017-10-05 | 엘지전자 주식회사 | 이미지 처리 장치 및 이동 단말기 |
US10440353B2 (en) * | 2017-05-17 | 2019-10-08 | Electronic Arts Inc. | Dual-camera image capture system |
US11105905B2 (en) * | 2018-11-30 | 2021-08-31 | Lyft, Inc. | LiDAR and camera rotational position calibration using multiple point cloud comparisons |
-
2018
- 2018-12-14 US US16/221,406 patent/US10659751B1/en active Active
-
2019
- 2019-12-05 EP EP19897145.9A patent/EP3857871A4/en active Pending
- 2019-12-05 JP JP2021523384A patent/JP2022513428A/ja active Pending
- 2019-12-05 WO PCT/US2019/064758 patent/WO2020123259A1/en unknown
-
2020
- 2020-05-18 US US16/877,295 patent/US11570416B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20200280707A1 (en) | 2020-09-03 |
US10659751B1 (en) | 2020-05-19 |
WO2020123259A1 (en) | 2020-06-18 |
EP3857871A1 (en) | 2021-08-04 |
EP3857871A4 (en) | 2022-08-03 |
US11570416B2 (en) | 2023-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11570416B2 (en) | Multichannel, multi-polarization imaging for improved perception | |
JP7372322B2 (ja) | 色覚困難の知覚を改善する多重スペクトル多重偏光(msmp)フィルタ処理 | |
US20210365750A1 (en) | Systems and methods for estimating future paths | |
US10970878B2 (en) | Camera calibration using reference map | |
US10943355B2 (en) | Systems and methods for detecting an object velocity | |
US11255952B2 (en) | Image sensor processing using a combined image and range measurement system | |
US10671082B2 (en) | High resolution 3D point clouds generation based on CNN and CRF models | |
US20190004534A1 (en) | High resolution 3d point clouds generation from upsampled low resolution lidar 3d point clouds and camera images | |
US20200209858A1 (en) | Generating environmental parameters based on sensor data using machine learning | |
WO2019007263A1 (zh) | 车载传感器的外部参数标定的方法和设备 | |
US11961243B2 (en) | Object detection using image alignment for autonomous machine applications | |
CN107798699A (zh) | 用立体图像进行深度图估计 | |
CN112740268B (zh) | 目标检测方法和装置 | |
JP6574611B2 (ja) | 立体画像に基づいて距離情報を求めるためのセンサシステム | |
US11842440B2 (en) | Landmark location reconstruction in autonomous machine applications | |
WO2017043331A1 (ja) | 画像処理装置、及び、画像処理方法 | |
El-Hassan | Experimenting with sensors of a low-cost prototype of an autonomous vehicle | |
CN116048060A (zh) | 用于自主系统和应用的使用神经网络基于真实世界数据的3d表面结构估计 | |
CN116051780A (zh) | 用于自主系统和应用的使用人工智能利用点云致密化的3d表面重建 | |
Nguyen et al. | Neural network‐based optical flow versus traditional optical flow techniques with thermal aerial imaging in real‐world settings | |
US20230298268A1 (en) | Environment reconstruction and path planning for autonomous systems and applications | |
Moreno-Escobar et al. | Unmanned ground vehicle with stereoscopic vision for a safe autonomous exploration | |
Morales-Matamoros et al. | Unmanned Ground Vehicle with Stereoscopic Vision for a Safe Autonomous Exploration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210917 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240409 |