JP2016173322A - 距離範囲算出装置、距離信頼度算出装置、距離画像信号補正装置、距離画像信号量子化装置、撮像装置、および方法 - Google Patents
距離範囲算出装置、距離信頼度算出装置、距離画像信号補正装置、距離画像信号量子化装置、撮像装置、および方法 Download PDFInfo
- Publication number
- JP2016173322A JP2016173322A JP2015053886A JP2015053886A JP2016173322A JP 2016173322 A JP2016173322 A JP 2016173322A JP 2015053886 A JP2015053886 A JP 2015053886A JP 2015053886 A JP2015053886 A JP 2015053886A JP 2016173322 A JP2016173322 A JP 2016173322A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image signal
- reliability
- subject
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 180
- 238000003384 imaging method Methods 0.000 title claims description 82
- 238000000034 method Methods 0.000 title claims description 51
- 238000012937 correction Methods 0.000 title claims description 34
- 238000011002 quantification Methods 0.000 title 1
- 238000013139 quantization Methods 0.000 claims description 42
- 230000008859 change Effects 0.000 claims description 40
- 238000009499 grossing Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 34
- 238000006243 chemical reaction Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 15
- 210000001747 pupil Anatomy 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 6
- 230000000737 periodic effect Effects 0.000 description 6
- 229920006395 saturated elastomer Polymers 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of Optical Distance (AREA)
- Geometry (AREA)
Abstract
Description
光学系の異なる瞳領域を通過した光束により生成される像に基づく少なくとも2つの画像信号を取得することができる。2つの画像信号間の相対的な位置ズレ量を、ステレオ画像を用いた視差量検出方法と類似の手法で検出し、所定の変換係数を介してデフォーカス量に変換することで被写体距離を取得することができる。さらに、撮像面位相差測距方式では、2つの画像信号を合成することで、観賞用画像信号を生成することができる。その他の測距方式として、DFD(Depth from Defocus)方式と呼ばれる手法が特許文献2にて提案されている。DFD方式は、撮影条件(絞り値、焦点距離など)を変えて2つの画像信号を時間的に連続して取得し、2つの画像間のボケ量の差異から被写体距離を取得する測距方式である。DFD方式では、2つの画像信号のうち、一方の画像信号を観賞用画像信号として利用することができる。
段と、を備える、距離画像信号補正装置である。
以下、図を参照しながら本発明の第1の実施形態について詳細に説明する。以下の説明では、本実施形態の距離範囲算出装置を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。尚、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、なるべく重複した説明は避ける。
図1(A)は、デジタルカメラ100の構成を示す図である。デジタルカメラ100は、結像光学系120、撮像素子101、距離範囲算出装置110、画像生成部(不図示)、レンズ駆動制御部(不図示)、画像信号格納部(不図示)が、カメラ筐体190の内部に配置され、構成される。距離範囲算出装置110は、論理回路を用いて構成することができる。距離範囲算出装置110の別の形態として、中央演算処理装置(CPU)と演算処理プログラムを格納するメモリとから構成してもよい。
撮像素子101はCMOS(相補型金属酸化膜半導体)やCCD(電荷結合素子)から構成され、撮像面位相差測距方式による測距機能を有する撮像素子である。結像光学系120を介して撮像素子101上に結像した被写体像は、撮像素子101により光電変換され、被写体像に基づく画像信号を生成する。取得した画像信号に対して、画像生成部により現像処理を施すことで、観賞用画像信号を生成することができる。また生成した観賞用画像を画像信号格納部に格納することができる。以下、本実施形態における撮像素子101について、図1(B)を用いてより詳細に説明する。
本実施形態における撮像素子101が備える第1の光電変換部161及び第2の光電変換部162が受光する光束について、図2(A)を用いて説明する。図2(A)は、結像光学系120の射出瞳130と、撮像素子101中に配置される画素の代表例として緑画素150G1についてのみ示した概略図である。図2(A)に示した画素150G1内のマイクロレンズ170は、射出瞳130と受光層182が光学的に共役関係になるように配置されている。その結果、図2(A)に示すように、射出瞳130に内包される部分瞳領域である第1の瞳領域(210)を通過した光束は第1の光電変換部161に入射する。同様に部分瞳領域である第2の瞳領域(220)を通過した光束は第2の光電変換部162に入射する。
本実施形態の距離範囲算出装置110について、図3を用いて説明する。図3(A)は、本実施形態の距離範囲算出装置110の処理の概要を示すブロック図であり、図3(B)は距離範囲算出装置110の動作を示すフローチャートである。
照点を対応点として決定する。距離算出部311は、注目点と対応点間の相対的な位置のズレ量を、注目点における位置ズレ量として算出する。注目点を順次移動させながら位置ズレ量を算出することで、複数の画素位置における位置ズレ量を算出することができる。
ΔL=Gain ×d (数式1)
算出部313は、ステップS421にて算出した最大値および最小値をそれぞれ上限値および下限値として、被写体の距離範囲DRを決定する。
ステップS511では、距離値信頼度算出部312は、照合領域内に含まれる第1の画像信号の分散値を算出する。分散値が大きいほど、照合領域内に含まれる第1の画像信号のコントラスト変化が大きくなる。ステップS512では、距離値信頼度算出部312は、照合領域内に含まれる第1の画像信号の画素値から、画像信号に含まれるノイズ量を推定する。画像信号に含まれるノイズ量は、ノイズ量=ノイズ推定係数×画素値×ISO感度として推定できる。光電変換時に生じる光ショットノイズ量がフォトン数の平方根に比例するためである。ノイズ量推定係数は、予め撮像素子101のノイズ特性を計測して用いればよい。なお、ISO感度は、デジタルカメラ100の撮影時に用いたISO感度を用いる。距離値信頼度算出部312は、ステップS513で、分散値とノイズ量の比を距離値信頼度R1として算出する。
本実施形態のデジタルカメラ100においては、1つの画素中に2つの光電変換部を配置した撮像素子101を用いることで、撮像面位相差測距方式による被写体距離算出を行っているが、他の測距原理に基づき被写体距離を算出しても構わない。本実施形態のデジタルカメラ100において、撮像素子101ではなく図6(A)にxy断面図を示す撮像素子601を用い、撮影条件を変えて撮影した第1の画像信号と第2の画像信号を用いて被写体距離を算出するDFD方式を用いても構わない。すなわち、図3(A)の距離算出部311にて、図6(D)を用いて後述する処理内容にて距離画像信号を生成している。
ス量を検出することができる。検出したデフォーカス量は、前述の撮像面位相差測距方式と同様に、結像光学系120の結像関係に基づき物体距離へ変換することで、被写体距離を算出することができる。
本発明の第2の実施形態は、被写体距離の信頼度を算出する距離信頼度算出装置を備えた撮像装置である。以下、図を参照しながら、本発明の第2の実施形態について詳細に説明する。以下の説明では、本発明の距離信頼度算出装置を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。
被写体距離の撮像面内における位置の確からしさである距離位置信頼度R2の算出を行う。すなわち、距離信頼度算出装置701では、距離値信頼度R1と距離位置信頼度R2を算出し出力する。
トに算出することができる。
本発明の第3の実施形態は、距離位置信頼度に基づいて被写体距離の補正を行う距離画像信号補正装置を備えた撮像装置である。以下、図を参照しながら、本発明の第3の実施形態について詳細に説明する。以下の説明では、本発明の距離画像信号補正装置を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。
本発明の第4の実施形態は、被写体の距離範囲に応じた発光量で発光を行いつつ撮影を行う撮像装置である。以下、図を参照しながら、本発明の第4の実施形態について詳細に説明する。以下の説明では、本発明の距離範囲算出装置、発光部、発光制御部を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。
暗いシーンでの撮影の例として、例えば、夜間のポートレート撮影が挙げられる。
発光部1010における発光量に分布を持たせることが望ましい。一方、距離範囲が狭い場合には、撮影画角内に1つの被写体のみが位置しているか、被写体が近接配置されていることが多い。このような場合には、発光部1010における発光量の分布を制御する必要はなく、発光量のみを制御すればよい。すなわち、ステップS1103にて、発光量を発光制御情報として設定する。ステップS1102では、発光量分布を発光制御情報として算出するための処理を行う。距離画像信号から、被写体距離が近い領域ほど発光量が少なく、被写体距離が遠い領域ほど発光量が多くなるように発光量分布を設定する。さらに、距離画像信号内の被写体距離が距離範囲の外側にある領域は、距離値信頼度が低い領域や、被写体が至近、または遠い領域と考えることができる。従って、強い光を照射した場合には、観賞用画像信号の質が低下するおそれがあるため、発光量が少なくなるように発光量分布を設定することが望ましい。ステップS1103では、図10(B)を用いた説明と同様に、距離範囲に基づく発光量を設定する。ステップS1103では、距離範囲が狭いため、距離画像信号に基づく発光量分布の制御は必要なく、発光量の制御のみを行う。距離範囲に基づき、必要に応じて発光量分布の制御を行うか、発光量のみの制御を行うかを判定することで、発光制御情報の算出に係る不要な演算を省き、撮影までのタイムラグをより短くすることができる。
本発明の第5の実施形態は、距離画像を量子化して保存する際に、被写体の距離範囲に応じて量子化方法を変化させる撮像装置である。以下、図を参照しながら、本発明の第5の実施形態について詳細に説明する。以下の説明では、本発明の距離範囲算出装置、距離画像量子化部、画像信号格納部を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。
量子化距離を算出することで、量子化距離から構成される量子化距離画像信号QSdを生成することができる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
311:距離算出部 312:距離値信頼度算出部 313:距離範囲算出部
S1:第1の画像信号 S2:第2の画像信号 Sd:距離画像信号
Claims (26)
- 第1の画像信号および第2の画像信号に基づいて、複数の画素位置について、被写体までの奥行き方向の距離である被写体距離を算出することによって、複数の被写体距離から構成される距離画像信号を算出する距離算出手段と、
前記距離画像信号における被写体距離の値の確からしさを表す第1信頼度を算出する第1信頼度算出手段と、
前記距離画像信号と前記第1信頼度に基づいて、被写体距離の範囲である距離範囲を算出する範囲算出手段と、
を備える、距離範囲算出装置。 - 前記範囲算出手段は、前記距離画像信号から前記第1信頼度が閾値以上である被写体距離を抽出し、抽出した被写体距離の最大値と最小値に基づいて前記距離範囲を算出する、
請求項1に記載の距離範囲算出装置。 - 前記範囲算出手段は、前記距離画像信号から前記第1信頼度が閾値以上である被写体距離を抽出し、抽出した被写体距離の平均値と標準偏差に基づいて前記距離範囲を算出する、
請求項1に記載の距離範囲算出装置。 - 前記範囲算出手段は、前記距離画像信号を前記第1信頼度に基づいて重み付けして算出した被写体距離の平均値と標準偏差に基づいて前記距離範囲を算出する、
請求項1に記載の距離範囲算出装置。 - 前記第1の画像信号と前記第2の画像信号は、被写体までの距離に応じて相対的な位置ズレ量を有し、
前記距離算出手段は、前記第1の画像信号と前記第2の画像信号間の相対的な位置ズレ量を算出することで、前記被写体距離を算出する、
請求項1から4のいずれか1項に記載の距離範囲算出装置。 - 前記第1信頼度算出手段は、前記第1の画像信号と前記第2の画像信号の少なくとも一方に基づき算出した画像SN比、前記第1の画像信号と前記第2の画像信号の少なくとも一方に基づき算出した被写体周期性、前記第1の画像信号と前記第2の画像信号の少なくとも一方に基づき算出した輝度飽和度のうち、少なくとも1つに基づいて前記第1信頼度を算出する、
請求項5に記載の距離範囲算出装置。 - 前記第1の画像信号と前記第2の画像信号は、被写体までの距離に応じて異なる変調伝達関数の特性を有するように撮像条件を変えて、時間的に連続して撮影した画像信号であり、
前記距離算出手段は、前記第1の画像信号と前記第2の画像信号間の変調伝達関数の差異を検出することで、前記被写体距離を算出する、
請求項1から4のいずれか1項に記載の距離範囲算出装置。 - 請求項1から7のいずれか1項に記載の距離範囲算出装置と、
前記被写体距離の前記奥行き方向と垂直な面内における位置の確からしさを表す第2信頼度を、前記距離範囲と前記被写体距離とに基づいて算出する第2信頼度算出手段と、
を備える、距離信頼度算出装置。 - 前記第2信頼度算出手段は、前記面内方向についての前記被写体距離の変化の大きさを
算出し、前記被写体距離の変化の大きさを前記距離範囲の幅に基づき算出した規格化定数に基づいて規格化した値を前記第2信頼度として算出する、
請求項8に記載の距離信頼度算出装置。 - 前記第2信頼度算出手段は、前記距離画像信号を前記距離範囲の幅に基づき算出した規格化定数に基づいて規格化した距離画像信号を算出し、前記規格化した距離画像信号の前記面内方向についての被写体距離の変化の大きさを前記第2信頼度として算出する、
請求項8に記載の距離信頼度算出装置。 - 前記第2信頼度算出手段は、前記距離画像信号の前記面内方向について被写体距離の変化の大きさを算出し、前記被写体距離の変化の大きさが前記距離範囲の幅に基づいて設定した閾値以上の値を有する領域を前記第2信頼度が低い領域と設定し、前記被写体距離の変化の大きさが前記閾値よりも小さい値を有する領域を前記第2信頼度が高い領域と設定する、
請求項8に記載の距離信頼度算出装置。 - 請求項8から11のいずれか1項に記載の距離信頼度算出装置と、
前記距離画像信号を、前記第1信頼度と前記第2信頼度に基づき補正することにより補正距離画像信号を算出する補正手段と、
を備える、距離画像信号補正装置。 - 前記補正手段は、前記距離画像信号に、前記第1信頼度と前記第2信頼度を合成した距離信頼度が高い領域ほど重みが大きい重み付け平滑化フィルタを施すことで、前記補正距離画像信号を算出する、
請求項12に記載の距離画像信号補正装置。 - 前記補正手段は、前記距離画像信号を、前記第1信頼度と前記第2信頼度を合成した距離信頼度が高い領域ほど重みが大きく、且つ第1の画像信号と第2の画像信号を合成した画像信号内の色差または輝度差が小さいほど重みが大きい重み付け平滑化フィルタを施すことで、前記補正距離画像信号を算出する、
請求項12に記載の距離画像信号補正装置。 - 前記重み付け平滑化フィルタの重みは、画素間距離が近いほど大きい、
請求項13または14に記載の距離画像信号補正装置。 - 撮像手段と、
請求項1から7のいずれか1項に記載の距離範囲算出装置、請求項8から11のいずれか1項に記載の距離信頼度算出装置、および請求項12から14のいずれか1項に記載の距離画像信号補正装置のいずれかと、
を備える、撮像装置。 - 請求項1から7のいずれか1項に記載の距離範囲算出装置と、
発光手段と、
撮像手段と、
前記距離範囲算出装置が算出する距離範囲に基づき、前記発光手段における発光量を制御するための発光制御情報を算出し、前記撮像手段による撮影と同期して前記発光制御情報にしたがって光を放射するように前記発光手段を制御する、発光制御手段と、
を備える、撮像装置。 - 前記発光制御手段は、前記距離範囲に基づいて得られる被写体距離が遠いほど、前記発
光手段における発光量が多くなるように前記発光制御情報を算出する、
請求項17に記載の撮像装置。 - 前記発光制御手段は、前記距離範囲に基づいて得られる被写体距離の二乗に比例して、前記発光手段における発光量が多くなるように前記発光制御情報を算出する、
請求項18に記載の撮像装置。 - 請求項1から7のいずれか1項に記載の距離範囲算出装置と、
発光手段と、
撮像手段と、
前記距離範囲算出装置が算出する距離範囲に基づき、前記発光手段における発光量分布を制御するための発光制御情報を算出し、前記撮像手段による撮影と同期して前記発光制御情報にしたがって光を放射するように前記発光手段を制御する、発光制御手段と、
を備える、撮像装置。 - 前記発光制御手段は、前記距離範囲の上限値と下限値の差が閾値よりも広い場合に、前記発光手段における発光量分布を制御するための発光制御情報を算出する、
請求項20に記載の撮像装置。 - 前記発光制御手段は、被写体距離に応じた発光量とし、被写体距離が前記距離範囲の外側にある領域については発光量を低減することによって前記発光制御情報を算出する、
請求項20または21に記載の撮像装置。 - 請求項1から7のいずれか1項に記載の距離範囲算出装置と、
格納手段と、
前記距離範囲算出装置によって算出される距離範囲に基づいて量子化距離範囲の最大値と最小値を設定し、量子化距離範囲の最大値と最小値の間を所定の量子化数で分割し量子化距離値を設定し、前記距離画像信号を構成する前記被写体距離を最も近い値を有する量子化距離値と対応付けることで量子化距離画像信号を算出し、前記量子化距離画像信号を前記格納手段に格納する量子化手段と、
を備える、距離画像量子化装置。 - 距離範囲算出装置が行う距離範囲算出方法であって、
第1の画像信号および第2の画像信号に基づいて、複数の画素位置について、被写体までの奥行き方向の距離である被写体距離を算出することによって、複数の被写体距離から構成される距離画像信号を算出する距離算出ステップと、
前記距離画像信号における被写体距離の値の確からしさを表す第1信頼度を算出する第1信頼度算出ステップと、
前記距離画像信号と前記第1信頼度に基づいて、被写体距離の範囲である距離範囲を算出する範囲算出ステップと、
を含む、距離範囲算出方法。 - 距離信頼度算出装置が行う距離信頼度算出方法であって、
第1の画像信号および第2の画像信号に基づいて、複数の画素位置について、被写体までの奥行き方向の距離である被写体距離を算出することによって、複数の被写体距離から構成される距離画像信号を算出する距離算出ステップと、
前記距離画像信号における被写体距離の値の確からしさを表す第1信頼度を算出する第1信頼度算出ステップと、
前記距離画像信号と前記第1信頼度に基づいて、被写体距離の範囲である距離範囲を算出する範囲算出ステップと、
前記被写体距離の前記奥行き方向と垂直な面内における位置の確からしさを表す第2信頼度を、前記距離範囲と前記被写体距離とに基づいて算出する第2信頼度算出ステップと、
を含む、距離信頼度算出方法。 - 距離画像信号補正装置が行う距離画像信号補正方法であって、
第1の画像信号および第2の画像信号に基づいて、複数の画素位置について、被写体までの奥行き方向の距離である被写体距離を算出することによって、複数の被写体距離から構成される距離画像信号を算出する距離算出ステップと、
前記距離画像信号における被写体距離の値の確からしさを表す第1信頼度を算出する第1信頼度算出ステップと、
前記距離画像信号と前記第1信頼度に基づいて、被写体距離の範囲である距離範囲を算出する範囲算出ステップと、
前記被写体距離の前記奥行き方向と垂直な面内における位置の確からしさを表す第2信頼度を、前記距離範囲と前記被写体距離とに基づいて算出する第2信頼度算出ステップと、
前記距離画像信号を、前記第1信頼度と前記第2信頼度に基づき補正することにより補正距離画像信号を算出する補正ステップと、
を含む、距離画像信号補正方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015053886A JP6645682B2 (ja) | 2015-03-17 | 2015-03-17 | 距離取得装置、距離画像信号補正装置、撮像装置、距離画像量子化装置、および方法 |
US15/063,864 US10267623B2 (en) | 2015-03-17 | 2016-03-08 | Distance information processing apparatus, imaging apparatus, distance information processing method and program |
US16/294,128 US10948281B2 (en) | 2015-03-17 | 2019-03-06 | Distance information processing apparatus, imaging apparatus, distance information processing method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015053886A JP6645682B2 (ja) | 2015-03-17 | 2015-03-17 | 距離取得装置、距離画像信号補正装置、撮像装置、距離画像量子化装置、および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016173322A true JP2016173322A (ja) | 2016-09-29 |
JP6645682B2 JP6645682B2 (ja) | 2020-02-14 |
Family
ID=56924775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015053886A Active JP6645682B2 (ja) | 2015-03-17 | 2015-03-17 | 距離取得装置、距離画像信号補正装置、撮像装置、距離画像量子化装置、および方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US10267623B2 (ja) |
JP (1) | JP6645682B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018181819A1 (ja) * | 2017-03-31 | 2018-10-04 | ミツミ電機株式会社 | 顔認証装置および顔認証方法 |
WO2019135365A1 (ja) | 2018-01-05 | 2019-07-11 | ソニー株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6608148B2 (ja) * | 2015-02-24 | 2019-11-20 | キヤノン株式会社 | 距離情報生成装置、撮像装置、距離情報生成方法および距離情報生成プログラム |
JP6645682B2 (ja) * | 2015-03-17 | 2020-02-14 | キヤノン株式会社 | 距離取得装置、距離画像信号補正装置、撮像装置、距離画像量子化装置、および方法 |
US10306132B2 (en) | 2015-05-11 | 2019-05-28 | Canon Kabushiki Kaisha | Distance calculation apparatus, imaging apparatus and distance calculation method that include confidence calculation of distance information |
US10659766B2 (en) | 2015-10-30 | 2020-05-19 | Canon Kabushiki Kaisha | Confidence generation apparatus, confidence generation method, and imaging apparatus |
JP6865589B2 (ja) * | 2017-01-10 | 2021-04-28 | キヤノン株式会社 | 撮像装置 |
CN108024054B (zh) * | 2017-11-01 | 2021-07-13 | Oppo广东移动通信有限公司 | 图像处理方法、装置、设备及存储介质 |
WO2021140597A1 (ja) * | 2020-01-08 | 2021-07-15 | オリンパス株式会社 | 制御装置、内視鏡システム、および制御方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5076687A (en) * | 1990-08-28 | 1991-12-31 | Massachusetts Institute Of Technology | Optical ranging apparatus |
JP2008065634A (ja) * | 2006-09-07 | 2008-03-21 | Fuji Heavy Ind Ltd | 物体検出装置および物体検出方法 |
JP2009162747A (ja) * | 2007-12-10 | 2009-07-23 | Fujifilm Corp | 距離画像処理装置および方法、距離画像再生装置および方法並びにプログラム |
JP2011232544A (ja) * | 2010-04-27 | 2011-11-17 | Canon Inc | 焦点検出装置 |
JP2014137482A (ja) * | 2013-01-17 | 2014-07-28 | Olympus Corp | 撮影装置および撮影用照明装置 |
JP2014145725A (ja) * | 2013-01-30 | 2014-08-14 | Canon Inc | 画像処理装置、撮像装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4965840A (en) * | 1987-11-27 | 1990-10-23 | State University Of New York | Method and apparatus for determining the distances between surface-patches of a three-dimensional spatial scene and a camera system |
JP4537597B2 (ja) | 2001-02-22 | 2010-09-01 | オリンパス株式会社 | 視差量測定装置 |
JP4915126B2 (ja) | 2006-04-10 | 2012-04-11 | 株式会社ニコン | 固体撮像装置、および電子カメラ |
JP4656331B2 (ja) * | 2006-12-27 | 2011-03-23 | 富士フイルム株式会社 | 撮像装置および撮像方法 |
US9582889B2 (en) * | 2009-07-30 | 2017-02-28 | Apple Inc. | Depth mapping based on pattern matching and stereoscopic information |
JP5901614B6 (ja) * | 2011-04-08 | 2018-06-27 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像処理装置および画像処理方法 |
JP6202927B2 (ja) * | 2012-08-31 | 2017-09-27 | キヤノン株式会社 | 距離検出装置、撮像装置、プログラム、記録媒体および距離検出方法 |
JP6335423B2 (ja) * | 2012-08-31 | 2018-05-30 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
JP6214271B2 (ja) * | 2012-09-12 | 2017-10-18 | キヤノン株式会社 | 距離検出装置、撮像装置、距離検出方法、プログラム及び記録媒体 |
US10455219B2 (en) * | 2012-11-30 | 2019-10-22 | Adobe Inc. | Stereo correspondence and depth sensors |
JP6168879B2 (ja) * | 2013-06-27 | 2017-07-26 | オリンパス株式会社 | 内視鏡装置、内視鏡装置の作動方法及びプログラム |
JP2015049200A (ja) * | 2013-09-03 | 2015-03-16 | 株式会社東芝 | 計測装置、方法及びプログラム |
JP6021780B2 (ja) * | 2013-10-07 | 2016-11-09 | キヤノン株式会社 | 画像データ処理装置、距離算出装置、撮像装置および画像データ処理方法 |
KR102094506B1 (ko) * | 2013-10-14 | 2020-03-27 | 삼성전자주식회사 | 피사체 추적 기법을 이용한 카메라와 피사체 사이의 거리 변화 측정방법 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 거리 변화 측정 장치. |
KR102209066B1 (ko) * | 2014-01-17 | 2021-01-28 | 삼성전자주식회사 | 다수의 초점거리를 이용한 이미지 합성 방법 및 장치 |
JP6541320B2 (ja) * | 2014-09-24 | 2019-07-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム |
JP6626248B2 (ja) * | 2014-11-12 | 2019-12-25 | 村田機械株式会社 | 移動量推定装置、自律移動体、及び移動量の推定方法 |
US9547907B2 (en) * | 2014-12-15 | 2017-01-17 | Intel Corporation | Image segmentation using color and depth information |
JP6645682B2 (ja) * | 2015-03-17 | 2020-02-14 | キヤノン株式会社 | 距離取得装置、距離画像信号補正装置、撮像装置、距離画像量子化装置、および方法 |
-
2015
- 2015-03-17 JP JP2015053886A patent/JP6645682B2/ja active Active
-
2016
- 2016-03-08 US US15/063,864 patent/US10267623B2/en active Active
-
2019
- 2019-03-06 US US16/294,128 patent/US10948281B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5076687A (en) * | 1990-08-28 | 1991-12-31 | Massachusetts Institute Of Technology | Optical ranging apparatus |
JP2008065634A (ja) * | 2006-09-07 | 2008-03-21 | Fuji Heavy Ind Ltd | 物体検出装置および物体検出方法 |
JP2009162747A (ja) * | 2007-12-10 | 2009-07-23 | Fujifilm Corp | 距離画像処理装置および方法、距離画像再生装置および方法並びにプログラム |
JP2011232544A (ja) * | 2010-04-27 | 2011-11-17 | Canon Inc | 焦点検出装置 |
JP2014137482A (ja) * | 2013-01-17 | 2014-07-28 | Olympus Corp | 撮影装置および撮影用照明装置 |
JP2014145725A (ja) * | 2013-01-30 | 2014-08-14 | Canon Inc | 画像処理装置、撮像装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018181819A1 (ja) * | 2017-03-31 | 2018-10-04 | ミツミ電機株式会社 | 顔認証装置および顔認証方法 |
JP2018173731A (ja) * | 2017-03-31 | 2018-11-08 | ミツミ電機株式会社 | 顔認証装置および顔認証方法 |
CN110678871A (zh) * | 2017-03-31 | 2020-01-10 | 三美电机株式会社 | 面部认证装置和面部认证方法 |
WO2019135365A1 (ja) | 2018-01-05 | 2019-07-11 | ソニー株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20160273909A1 (en) | 2016-09-22 |
US10948281B2 (en) | 2021-03-16 |
JP6645682B2 (ja) | 2020-02-14 |
US10267623B2 (en) | 2019-04-23 |
US20190204073A1 (en) | 2019-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6645682B2 (ja) | 距離取得装置、距離画像信号補正装置、撮像装置、距離画像量子化装置、および方法 | |
US10582180B2 (en) | Depth imaging correction apparatus, imaging apparatus, and depth image correction method | |
US10455149B2 (en) | Image processing apparatus, image processing apparatus control method, image pickup apparatus, and image pickup apparatus control method | |
US10659766B2 (en) | Confidence generation apparatus, confidence generation method, and imaging apparatus | |
US10477100B2 (en) | Distance calculation apparatus, imaging apparatus, and distance calculation method that include confidence calculation of distance information | |
US10393996B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and storage medium | |
JP7009091B2 (ja) | 距離情報生成装置、撮像装置、距離情報生成方法、およびプログラム | |
US9635243B2 (en) | Ranging apparatus, imaging apparatus, and ranging method | |
JP6800650B2 (ja) | 信頼度生成装置、信頼度生成方法、および撮像装置 | |
JP2012215785A (ja) | 固体撮像素子及び撮像装置 | |
JP2011171858A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 | |
JP2016075658A (ja) | 情報処理システムおよび情報処理方法 | |
JP2018071979A (ja) | 距離検出装置および距離検出方法 | |
JP6353233B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
US10602050B2 (en) | Image pickup apparatus and control method therefor | |
JP6941011B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2015203756A (ja) | 視差量算出装置、距離算出装置、撮像装置および視差量算出方法 | |
JP6632406B2 (ja) | 距離算出装置、撮像装置、および距離算出方法 | |
JP2022012301A (ja) | 情報処理装置、撮像装置、制御方法およびプログラム | |
JP2016099322A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP7005313B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
US20230292004A1 (en) | Image processing apparatus, measurement method, and storage medium for measuring distance from image | |
JP2014212436A5 (ja) | ||
JP2023004680A (ja) | 画像処理装置及び画像処理装置の制御方法 | |
JP2018050231A (ja) | 撮像装置、撮像方法および撮像制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180214 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190514 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190701 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200107 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6645682 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |