JP2018200722A - 画像処理装置及びその制御方法、並びにプログラム及び記憶媒体 - Google Patents
画像処理装置及びその制御方法、並びにプログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP2018200722A JP2018200722A JP2018159916A JP2018159916A JP2018200722A JP 2018200722 A JP2018200722 A JP 2018200722A JP 2018159916 A JP2018159916 A JP 2018159916A JP 2018159916 A JP2018159916 A JP 2018159916A JP 2018200722 A JP2018200722 A JP 2018200722A
- Authority
- JP
- Japan
- Prior art keywords
- subject distance
- reliability
- defocus
- shift information
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】予め距離情報を補正するためのデータを記録媒体に保持することなく、相関演算時に発生するエラーを補正して高精度の距離画像を生成する技術を提供する。【解決手段】画像処理装置は、複数の画像の相関度から被写体距離を領域ごとに推定する距離推定手段201と、距離推定手段201が推定した被写体距離の信頼度を算出する距離信頼度算出手段202と、距離信頼度算出手段202が算出した信頼度に基づいて、距離推定手段201により推定された被写体距離を補正し、補正した被写体距離に基づいて距離画像を生成する距離画像生成手段203,204と、を備える。【選択図】図2
Description
本発明は、複数の画像から被写体までの距離を示す距離画像を生成する距離画像生成技術に関する。
コンピュータビジョン等の分野では、撮影した画像から精度のよい被写体の距離情報を得ることが求められている。
例えば、特許文献1では、像高の変化に伴う、ぼけ関数の変化に起因する距離推定誤差を低減して精度よく距離を推定するため、距離情報を生成する際に行われる畳み込み演算におけるガウスフィルタの値を像高によって変える技術が開示されている。
また、特許文献2では、像面湾曲に起因するぼけの偏差に伴う距離情報の誤差を低減するために、既知の情報であるデフォーカス情報を用いて誤差を補正する技術が開示されている。
しかし、上記特許文献1及び2では、距離情報を補正するためには、補正に用いるガウスフィルタやデフォーカス情報を予めROMなどの記録媒体に保持しておく必要がある。
また、上記特許文献1及び2では、距離情報を入力した画像の画素ごとに算出した画像(以下、距離画像という)を生成する際に、フォーカス位置の異なる複数の画像の相関度を算出して生成している。しかし、この相関演算時に発生するエラーの補正については言及していない。
そこで、本発明は、予め距離情報を補正するためのデータを記録媒体に保持することなく、相関演算時に発生するエラーを補正して高精度の距離画像を生成する技術を提供することを目的とする。
上記目的を達成するために、本発明の画像処理装置は、視点の異なる複数の画像間の相関度から被写体距離及び画像間のシフト量に対応するシフト情報を領域ごとに推定する推定手段と、前記推定手段が推定したシフト情報の信頼度を算出する信頼度算出手段と、前記信頼度算出手段が算出した信頼度に基づいて、前記推定手段により推定されたシフト情報を補正し、補正したシフト情報に基づいてシフト情報列を生成する生成手段と、を備え、前記推定手段は、前記シフト情報を特定の被写体距離に対応する第1の閾値と比較することで、該シフト情報を前記特定の被写体距離に対応するシフト情報に置き換えるか否かを判定することを特徴とする。
本発明によれば、予め距離情報を補正するためのデータを記録媒体に保持することなく、相関演算時に発生するエラーを補正して高精度の距離画像を生成することができる。
以下、図面を参照して、本発明の実施形態の一例を説明する。
本実施形態では、入力された複数の画像、具体的には、同一の被写体に対して取得したステレオ方向に互いに視差を有する一対の画像や合焦位置の異なる一対の画像に対して、SAD等の相関演算によってデフォーカス量を推定する。その際、相関演算時に発生するエラー、具体的には無限遠を超えるデフォーカス量が算出されたか否かを判定し、判定結果に基づきエラーを低減したデフォーカス量を算出する。
また、算出したデフォーカス量に対する信頼度を算出し、算出した信頼度を用いてデフォーカス量を補正し、補正されたデフォーカス量から距離画像を生成する。このようにすることで、予め距離情報を補正するためのデータをROM等の記録媒体に保持することなく、相関演算時に発生するエラーを補正して高精度の距離画像を生成することを可能にしている。
以下、具体的に詳述する。
図1は、本発明の画像処理装置の実施形態の一例である距離画像生成装置の構成例を示すブロック図である。
図1において、入力部101には、画像データが入力される。入力部101は、例えばデジタルカメラ等の撮像装置の場合には、被写体を撮像する撮像部に相当する。撮像部は、光学レンズ、CCDセンサやCMOSセンサ等の撮像素子及び信号処理回路等で構成される。距離画像生成部102は、入力部101に入力された画像データを用いて距離画像を生成する。距離画像生成部102の詳細については後述する。記録部103は、入力された画像データを保持したり、生成した距離画像を記録する。記録部103は、ハードディスク、CD−ROMやCD―R、及びメモリーカード等で構成され、処理プログラムやその他のデータを保存することも可能である。
図2は、距離画像生成部102の構成例を示すブロック図である。
図2において、距離推定部201は、入力部101に入力された複数枚の画像から画像に含まれる各被写体の距離を推定する。本実施形態では、同一の被写体に対して水平方向に視差を有する一対の画像を取得して、被写体距離を推定する方法を例に採る。水平方向に視差を有する一対の画像に相関演算処理を施すことにより、像ズレ量を検出することができる。像ズレ量の検出方法の詳細については後述する。なお、視差を有する一対の画像は水平方向に限らず、垂直方向など別の方向でもよい。
そして、距離推定部201は、像ズレ量に所定の変換係数を乗ずることにより、画像の結像面における偏差(デフォーカス量)を算出する。なお、デフォーカス量の算出方法は、特に限定されず、例えば、公知技術(特許4403477号公報等)であるフォーカス画像とデフォーカス画像を用いたDFD(Depth from Defocus)法を適用することも可能である。
距離信頼度算出部202は、距離推定部201で算出したデフォーカス量(以下、推定距離という)がどの程度信頼できるかを表す信頼度を生成する。ここでの信頼度とは、算出された推定距離と無限遠のデフォーカス量とを比較して算出される指標である。信頼度の算出方法の詳細については後述する。
推定距離補正部203は、距離信頼度算出部202が算出した信頼度に基づき推定距離を補正する。推定距離の補正方法については後述する。実距離画像生成部204は、推定距離補正部203で補正した補正推定距離をレンズを介した被写体距離に換算する。
図3(a)は、距離画像生成装置の動作例を示すフローチャート図である。図3(a)での各処理は、記録部103等に格納された制御プログラムが距離画像生成装置の不図示のRAMに展開されて不図示のCPU等により実行される。
ステップS301では、距離画像生成装置は、入力部101を介して同一の被写体に対する水平方向に視差を有する一対の画像を読み込み、ステップS302に進む。
図4(a)及び図4(b)は、入力部101を介して読み込んだ水平方向に視差を有する一対の画像(以下、視差画像という)の一例を示す図である。
一対の視差画像は、中央に合焦被写体である人物が存在し、人物から十分距離が離れた後方(無限遠)に建物が存在する。たとえば、撮像装置を用いて視差画像の撮影を行った画像取得位置に対して、合焦被写体である人物が2.5m前方に存在し、建物が300m前方に存在し、焦点距離50mmのレンズで撮影されたものとする。また、微小ブロック401,402は、図3(b)で後述するステップS312における演算処理で用いる領域である。なお、図4(a)の微小ブロック401,402の着目画素の位置と、図4(b)の微小ブロック401,402の着目画素の位置は同じである。
ステップS302では、距離画像生成装置は、距離推定部201により、ステップS301で読み込んだ一対の視差画像を用いてデフォーカス量を算出し、ステップS303に進む。
図3(b)は、図3(a)のステップS302における距離推定部201によるデフォーカス量の算出処理の詳細を示すフローチャート図である。
ステップS311では、距離推定部201は、一対の視差画像を微小ブロックに分割し、ステップS312に進む。なお、分割する微小ブロックのサイズ又は形状は、特に限定されない。また、微小ブロックは、近接するブロックと領域が重なっていてもよいものとする。本実施形態では、入力画像が有する画素ごとに、微小ブロックの中心の着目画素を設定するものとする。なお、微小ブロックは1画素で構成されていてもよく、その場合は、以下において微小ブロックは1画素に対応する。
ステップS312では、距離推定部201は、ステップS311で分割した微小ブロックについて相関演算処理を行い、像ズレ量を算出し、ステップS313に進む。具体的に説明すると、ステップS301で読み込んだ一対の視差画像において、一方の画像をEとし、他方の画像をFとする。また、分割した微小ブロックにおいて互いに対応する一対の画素データを、mをデータ数として、画像データ系列(E(1)〜E(m))と画像データ系列(F(1)〜F(m))とする。そして、画像データ系列(E(1)〜E(m))に対して画像データ系列(F(1)〜F(m))を相対的にずらしながら次式(1)を用いて2つの画像データ系列間のずれ量kにおける相関量(相関度)C(k)を演算する。
C(k)=Σ|E(n)―F(n+k)| …(1)
上式(1)において、Σ演算は、nについて計算され、このΣ演算において、n、n+kのとる範囲は、1〜mの範囲に限定される。また、ずれ量kは、整数であり、一対の画像データの検出ピッチを単位とした相対的シフト量である。
上式(1)において、Σ演算は、nについて計算され、このΣ演算において、n、n+kのとる範囲は、1〜mの範囲に限定される。また、ずれ量kは、整数であり、一対の画像データの検出ピッチを単位とした相対的シフト量である。
図5(a)は図4の建物の微小ブロック401における上式(1)を用いた演算結果を示すグラフ図、図5(b)は図4の建物の微小ブロック402における上式(1)を用いた演算結果を示すグラフ図である。
図5(a)及び図5(b)から判るように、一対の画像データ系列の相関が高いシフト量(k=kj=−6)において相関量C(k)が最小になる。続いて、3点内挿手法を用いて、連続的な相関量に対する最小値C(x)を与えるシフト量xは、次式で求められる。なお、シフト量xの単位は、画素(pixel)単位とする。
x=kj+D/SLOP …(2)
D={C(kj−1)−C(kj+1)}/2 …(3)
SLOP=MAX{C(kj+1)−C(kj),C(kj−1)−C(kj)}…(4)
図5(a)において、C(kj)=C(−6)=400、C(kj−1)=C(−7)=1000、C(kj+1)=C(−5)=4000であるとすると、C(x_a)=−6.42となる。
D={C(kj−1)−C(kj+1)}/2 …(3)
SLOP=MAX{C(kj+1)−C(kj),C(kj−1)−C(kj)}…(4)
図5(a)において、C(kj)=C(−6)=400、C(kj−1)=C(−7)=1000、C(kj+1)=C(−5)=4000であるとすると、C(x_a)=−6.42となる。
一方、図5(b)において、C(kj)=C(−6)=400、C(kj−1)=C(−7)=4000、C(kj+1)=C(−5)=3900であるとすると、C(x_b)=−5.99となる。
このように、相関量C(kj)の段階では、同じ相関値、シフト量であっても、3点内挿手法を経ることによって最終的なシフト量xがばらつくことがわかる。
ステップS313では、距離推定部201は、ステップS312で上式(2)を用いて求めたシフト量xからデフォーカス量DEFを次式(5)を用いて算出し、ステップS314に進む。
DEF=P・x …(5)
上式(5)において、Pは、検出ピッチ(画素配置ピッチ)と、一対の視差画像における左右2つの視点の投影中心の距離とによって決まる変換係数であり、単位は、mm/pixelである。
上式(5)において、Pは、検出ピッチ(画素配置ピッチ)と、一対の視差画像における左右2つの視点の投影中心の距離とによって決まる変換係数であり、単位は、mm/pixelである。
ここで、上式(5)のPが0.166mm/pixelであるとすると、図5(a)の建物におけるデフォーカス量DEF_a=−1.066mmとなり、図5(b)の建物におけるデフォーカス量DEF_b=−0.994mmとなる。
次に、図6を参照して、デフォーカス量と被写体距離との関係について説明する。図6は、レンズを介した被写体側と像面側の結像関係を示す図である。レンズの焦点距離をfとすると、
1/Zo+1/So=1/f …(6)
1/Zdef+1/(So+def)=1/f …(7)
となる。
1/Zo+1/So=1/f …(6)
1/Zdef+1/(So+def)=1/f …(7)
となる。
ここで、Zo:合焦被写体側距離、Zdef:デフォーカス時の被写体側距離、So:合焦像面側距離、Sdef:デフォーカス時の像面側距離、def:デフォーカス量
また、上式(6)及び(7)より
So=(Zo・f)/(Zo−f) …(8)
Sdef=(Zdef・f)/(Zdef−f) …(9)
def=Sdef−So …(10)
Zdef=((So+def)・f)/((So+def)−f) …(11)
となる。
また、上式(6)及び(7)より
So=(Zo・f)/(Zo−f) …(8)
Sdef=(Zdef・f)/(Zdef−f) …(9)
def=Sdef−So …(10)
Zdef=((So+def)・f)/((So+def)−f) …(11)
となる。
図4のシーンにおいて、上式(8)及び(9)の値を算出すると、So=51.02mm、Sdef=50.008mmとなる。
また、上式(11)において、((So+def)−f)≒0となる無限遠のデフォーカス量DEF_INFINITYの値は、DEF_INFINITY=−1.020mmとなる。
ここで、上式(11)において、DEF_INFINITYよりも小さい値が入力されると、Zdefは、負の被写体距離となることがわかる。実際には、このような面で結像する被写体は存在しないので、このようなデフォーカス量が算出されるのは、相関演算時のエラーに起因している。以下の説明では、Zdefが負の値となるデフォーカス量を超無限遠のデフォーカス量という。本実施形態では、この超無限遠のデフォーカス量が算出された場合に、それを補正することが可能となっている。
図3(b)に戻って、ステップS314では、距離推定部201は、ステップS313で算出したデフォーカス量と無限遠のデフォーカス量DEF_INFINITYとの差分絶対値が予め設定した閾値Th1を超えるか否かを判定する。そして、距離推定部201は、差分絶対値が閾値Th1を超える場合(Yes)は、ステップS315に進み、超えない場合は、ステップS316に進む。
ステップS315では、距離推定部201は、ステップS313で算出したデフォーカス量を無限遠のデフォーカス量に置き換え、ステップS316に進む。つまり、3点内挿手法によって発生した超無限遠のデフォーカス量を補正することができる。
本実施形態では、閾値Th1を0.03とする。そのため、DEF_aは、超無限遠のデフォーカス量である−1.066mmから無限遠のデフォーカス量DEF_INFINITYに置き換えられ、−1.020mmとなる。一方、DEF_bは、−0.994mmのままである。なお、閾値Th1の値は、デフォーカス量の分解能を表す上式(5)のPの大きさに応じて変更されることが望ましい。
ステップS316では、距離推定部201は、すべての微小ブロックでステップS312〜S315までの処理が行われたかを判定し、行われた場合は、処理を終了し、行われていない場合は、ステップS312に戻り、デフォーカス量の算出処理を繰り返す。
図3(a)に戻って、ステップS303では、距離画像生成装置は、距離信頼度算出部202により、ステップS302で算出したデフォーカス量(推定距離)の信頼度を微小ブロックごとに算出し、ステップS304に進む。
信頼度は、ステップS302で算出したデフォーカス量と無限遠のデフォーカス量DEF_INFINITYとの差分値が予め設定した閾値Th2(閾値Th1>閾値Th2)未満であるか否かで決定する。差分値が閾値Th2未満の場合、超無限遠のデフォーカス量であると判定し、その微小ブロックに対して低い信頼度を割り当てる。
ここで、低い信頼度を割り当てるとは、ステップS302で算出したデフォーカス量と無限遠のデフォーカス量DEF_INFINITYとの差分値に応じて設定される連続的な数値でもよく、単に推定距離の信頼度が低いことを示す符号や記号等のフラグでもよい。たとえば、差分値が閾値Th2未満のブロックについては「1」を割り当て、それ以外のブロックについては信頼度が高いことを示す「0」を割り当ててもよい。なお、信頼度として連続的な値を用いる場合には、差分値が閾値Th2なるときの値である所定値との比較により信頼度の高低を示すことができる。
このような超無限遠のデフォーカス量と判定されるのは、図7に示すように、一対の画像データ系列の相関量が小さく、検出された最小値C(x)が無限遠を超えるような局所的な最小値であることが考えられる。例えば、空などの輝度変化のない部分や、太陽などの輝度が高い部分でこのようなデフォーカス量が検出されやすい。本実施形態では、これらの被写体で検出される超無限遠のデフォーカス量に低い信頼度に割り当て、後に推定距離補正部203で補正する。
ここで、ステップS303の閾値Th2とステップS314の閾値Th1の2つの閾値を用いるのは、次の理由による。即ち、無限遠近傍で一対の画像データ系列の相関量が大きいにも関わらず、3点内挿手法で超無限遠に値が丸まってしまった場合(図5)と、一対の画像データ系列の相関量が小さいために超無限遠となった場合(図7)とを区別できるようにするためである。
ステップS304では、距離画像生成装置は、推定距離補正部203により、ステップS303で算出された信頼度を用いて、ステップS302で算出されたデフォーカス量(推定距離)を補正し、ステップS305に進む。ここでの補正の方法は公知技術(例えば特開2008−15754号公報等)を用いる。
具体的には、信頼度が低い微小ブロックについては、周囲の微小ブロックとの画像特性の類似性に基づいて、周囲の微小ブロックにおいて、類似性が高く、かつ推定距離の信頼度が高い微小ブロックの距離値に置き換える処理を施す。ここで、画像特性とは、輝度情報、色相情報、彩度情報、コントラスト情報などである。なお、距離の補正方法は、距離値の置き換えだけに限られず、類似度の高い複数の周辺微小ブロックの距離値を取得し、その平均値を使用するなどでもよい。
ステップS305では、距離画像生成装置は、実距離画像生成部204により、ステップS304で補正された推定距離を実距離画像に変換し、処理を終了する。ここでの変換方法は、微小ブロックごとに、補正された推定距離を上式(11)に用いて被写体距離に換算する。このとき変換される推定距離には、無限遠のデフォーカス量DEF_INFINITYよりも小さい値はないため、Zdefが負の値となる被写体距離は算出されないことがわかる。ここで、距離画像とは、被写体距離に応じて濃淡が変化するモノクロ画像でもよく、被写体距離に応じて色調が変化するカラー画像でもよく、また、被写体距離を数値で表現した表形式の画像でもよい。
以上説明したように、本実施形態では、一対の視差画像や合焦位置の異なる画像から、3点内挿手法で超無限遠に値が丸まってしまった場合や一対の画像データ系列の相関量が小さいために超無限遠となった場合のデフォーカス量を補正する。そして、補正したデフォーカス量を被写体距離に変換している。このように、一対の画像から補正用の信頼度を算出することで、予め距離情報を補正するためのデータをROM等の記録媒体に保持することなく、相関演算時に発生する推定距離のエラーを補正して高精度の距離画像を生成することができる。
なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。
例えば、上記実施形態では、推定距離であるデフォーカス量を補正してから被写体距離に変換したが、先に被写体距離に変換し、距離が負の部分を無限遠の距離に修正するようにしてもよい。
また、公知の被写体認識技術を活用し、太陽や空等の特定の輝度の被写体が認識された領域を含む微小ブロックでは、閾値Th1,Th2を両方とも無限遠のデフォーカス量(DEF_INFINITY)に設定したり、低い信頼度を割り当てるようにしてもよい。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。ネットワーク又は各種記憶媒体を介して取得したソフトウェア(プログラム)をパーソナルコンピュータ(CPU,プロセッサ)にて実行することでも実現できる。
101 入力部
102 距離画像生成部
103 記録部
201 距離推定部
202 距離信頼度算出部
203 推定距離補正部
204 実距離画像生成部
102 距離画像生成部
103 記録部
201 距離推定部
202 距離信頼度算出部
203 推定距離補正部
204 実距離画像生成部
Claims (30)
- 視点の異なる複数の画像間の相関度から被写体距離及び画像間のシフト量に対応するシフト情報を領域ごとに推定する推定手段と、
前記推定手段が推定したシフト情報の信頼度を算出する信頼度算出手段と、前記信頼度算出手段が算出した信頼度に基づいて、前記推定手段により推定されたシフト情報を補正し、補正したシフト情報に基づいてシフト情報列を生成する生成手段と、を備え、
前記推定手段は、前記シフト情報を特定の被写体距離に対応する第1の閾値と比較することで、該シフト情報を前記特定の被写体距離に対応するシフト情報に置き換えるか否かを判定することを特徴とする画像処理装置。 - 前記第1の閾値は特定の被写体距離に対応するシフト情報の値であり、
前記推定手段は、前記シフト情報が前記特定の被写体距離よりも遠い被写体距離に対応するシフト情報である場合に、該シフト情報を前記特定の被写体距離に対応するシフト情報に置き換えることを特徴とする請求項1に記載の画像処理装置。 - 前記信頼度算出手段は、前記推定手段で推定したシフト情報について、あらかじめ設定した第2の閾値に基づき、無限遠を超える被写体距離に対応するシフト情報であるか否かを判定し、無限遠を超える被写体距離に対応するシフト情報であると判定した場合に、低い信頼度を割り当てることを特徴とすることを特徴とする請求項2に記載の画像処理装置。
- 前記生成手段は、前記信頼度算出手段が算出した信頼度を用い、信頼度が低いとされた領域については、当該領域の周囲の領域において信頼度が高いとされた領域の前記推定したシフト情報に置き換える補正を行うことを特徴とする請求項1乃至3のいずれか一項に記載の画像処理装置。
- 前記生成手段は、前記信頼度算出手段が算出した信頼度を用い、信頼度が低いとされた領域については、当該領域の周囲において信頼度が高いとされた複数の領域の前記推定したシフト情報の平均値に置き換える補正を行うことを特徴とする請求項1乃至4のいずれか一項に記載の画像処理装置。
- 被写体認識手段を有し、前記被写体認識手段により認識された特定の輝度の被写体を含む領域について、前記第1の閾値、及び前記第2の閾値を特定の被写体距離に対応するシフト情報に設定することを特徴とする請求項5に記載の画像処理装置。
- 前記信頼度算出手段は、前記被写体認識手段により認識された特定の輝度の被写体を含む領域について、低い信頼度を割り当てることを特徴とする請求項6に記載の画像処理装置。
- 視点の異なる複数の画像間の相関度から被写体距離及び画像間のシフト量に対応するシフト情報を領域ごとに推定する推定手段と、
前記推定手段が推定したシフト情報の信頼度を算出する信頼度算出手段と、前記信頼度算出手段が算出した信頼度が相対的に低いシフト情報を特定の被写体距離に対応するシフト情報に補正し、該補正したシフト情報に基づいて前記画像に対応するシフト情報列を生成する生成手段と、を備えることを特徴とする画像処理装置。 - 視点の異なる複数の画像間の相関度から被写体距離及び画像間のシフト量に対応するシフト情報を領域ごとに推定する推定手段と、
前記推定手段によって推定されたシフト情報のうち、特定の被写体距離を超えた被写体距離に対応するシフト情報を、該特定の被写体距離に対応するシフト情報に補正する補正手段と、
前記推定手段によって推定されたシフト情報と前記補正手段によって補正されたシフト情報に基づいて前記画像に対応するシフト情報列を生成する生成手段と、を備えることを特徴とする画像処理装置。 - 前記シフト情報は、デフォーカス量であることを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
- 複数の画像の相関度から被写体距離に対応するデフォーカス情報を領域ごとに推定する推定手段と、
前記推定手段が推定したデフォーカス情報の信頼度を算出する信頼度算出手段と、
前記信頼度算出手段が算出した信頼度に基づいて、前記推定手段により推定されたデフォーカス情報を補正し、補正したデフォーカス情報に基づいてデフォーカス情報列を生成する生成手段と、を備え、
前記推定手段は、前記デフォーカス情報を特定の被写体距離に対応する第1の閾値と比較することで、該デフォーカス情報を前記特定の被写体距離に対応するデフォーカス情報に置き換えるか否かを判定することを特徴とする画像処理装置。 - 前記複数の画像は、互いに視差を有する一対の画像、又は合焦位置の異なる一対の画像であることを特徴とする請求項11に記載の画像処理装置。
- 前記第1の閾値は特定の被写体距離に対応するデフォーカス情報の値であり、
前記推定手段は、前記デフォーカス情報が前記特定の被写体距離よりも遠い被写体距離に対応するデフォーカス情報である場合に、該デフォーカス情報を前記特定の被写体距離に対応するデフォーカス情報に置き換えることを特徴とする請求項11又は12に記載の画像処理装置。 - 前記信頼度算出手段は、前記推定手段で推定したデフォーカス情報について、あらかじめ設定した第2の閾値に基づき、無限遠を超える被写体距離に対応するデフォーカス情報であるか否かを判定し、無限遠を超える被写体距離に対応するデフォーカス情報であると判定した場合に、低い信頼度を割り当てることを特徴とすることを特徴とする請求項13に記載の画像処理装置。
- 前記生成手段は、前記信頼度算出手段が算出した信頼度を用い、信頼度が低いとされた領域については、当該領域の周囲の領域において信頼度が高いとされた領域の前記推定したデフォーカス情報に置き換える補正を行うことを特徴とする請求項11乃至14のいずれか一項に記載の画像処理装置。
- 前記生成手段は、前記信頼度算出手段が算出した信頼度を用い、信頼度が低いとされた領域については、当該領域の周囲において信頼度が高いとされた複数の領域の前記推定したデフォーカス情報の平均値に置き換える補正を行うことを特徴とする請求項11乃至15のいずれか一項に記載の画像処理装置。
- 被写体認識手段を有し、前記被写体認識手段により認識された特定の輝度の被写体を含む領域について、前記第1の閾値、及び前記第2の閾値を特定の被写体距離に対応するデフォーカス情報に設定することを特徴とする請求項14に記載の画像処理装置。
- 前記信頼度算出手段は、前記被写体認識手段により認識された特定の輝度の被写体を含む領域について、低い信頼度を割り当てることを特徴とする請求項14に記載の画像処理装置。
- 複数の画像の相関度から被写体距離に対応するデフォーカス情報を領域ごとに推定する推定手段と、
前記推定手段が推定したデフォーカス情報の信頼度を算出する信頼度算出手段と、前記信頼度算出手段が算出した信頼度が相対的に低いデフォーカス情報を特定の被写体距離に対応するデフォーカス情報に補正し、該補正したデフォーカス情報に基づいて前記画像に対応するデフォーカス情報列を生成する生成手段と、を備えることを特徴とする画像処理装置。 - 複数の画像の相関度から被写体距離に対応するデフォーカス情報を領域ごとに推定する推定手段と、
前記推定手段によって推定されたデフォーカス情報のうち、特定の被写体距離を超えた被写体距離に対応するデフォーカス情報を、該特定の被写体距離に対応するデフォーカス情報に補正する補正手段と、
前記推定手段によって推定されたデフォーカス情報と前記補正手段によって補正されたデフォーカス情報に基づいて前記画像に対応するデフォーカス情報列を生成する生成手段と、を備えることを特徴とする画像処理装置。 - 前記推定手段に対して前記複数の画像を入力する入力部を有することを特徴とする請求項1乃至20のいずれか一項に記載の画像処理装置。
- 前記入力部は、被写体を撮像する撮像部であることを特徴とする請求項21に記載の画像処理装置。
- 前記特定の被写体距離とは無限遠であることを特徴とする請求項1乃至22のいずれか一項に記載の画像処理装置。
- 視点の異なる複数の画像間の相関度から被写体距離及び画像間のシフト量に対応するシフト情報を領域ごとに推定する推定ステップと、
前記推定ステップで推定したシフト情報の信頼度を算出する信頼度算出ステップと、
前記信頼度算出ステップで算出した信頼度に基づいて、前記推定ステップで推定されたシフト情報を補正し、補正したシフト情報に基づいてシフト情報列を生成する生成ステップと、を備え、
前記推定ステップは、前記シフト情報を特定の被写体距離に対応する第1の閾値と比較することで、該シフト情報を前記特定の被写体距離に対応するシフト情報に置き換えるか否かを判定することを特徴とする画像処理装置の制御方法。 - 視点の異なる複数の画像間の相関度から被写体距離及び画像間のシフト量に対応するシフト情報を領域ごとに推定する推定ステップと、
前記推定ステップで推定したシフト情報の信頼度を算出する信頼度算出ステップと、
前記信頼度算出ステップで算出した信頼度が相対的に低いシフト情報を特定の被写体距離に対応するシフト情報に補正し、該補正したシフト情報に基づいて前記画像に対応するシフト情報列を生成する生成ステップと、を備えることを特徴とする画像処理装置の制御方法。 - 視点の異なる複数の画像間の相関度から被写体距離及び画像間のシフト量に対応するシフト情報を領域ごとに推定する推定ステップと、
前記推定ステップで推定されたシフト情報のうち、特定の被写体距離を超えた被写体距離に対応するシフト情報を、該特定の被写体距離に対応するシフト情報に補正する補正ステップと、
前記推定ステップで推定されたシフト情報と前記補正ステップで補正されたシフト情報に基づいて前記画像に対応するシフト情報列を生成する生成ステップと、を備えることを特徴とする画像処理装置の制御方法。 - 複数の画像の相関度から被写体距離に対応するデフォーカス情報を領域ごとに推定する推定ステップと、
前記推定ステップで推定したデフォーカス情報の信頼度を算出する信頼度算出ステップと、
前記信頼度算出ステップで算出した信頼度が相対的に低いデフォーカス情報を特定の被写体距離に対応するデフォーカス情報に補正し、該補正したデフォーカス情報に基づいて前記画像に対応するデフォーカス情報列を生成する生成ステップと、を備えることを特徴とする画像処理装置の制御方法。 - 複数の画像の相関度から被写体距離に対応するデフォーカス情報を領域ごとに推定する推定ステップと、
前記推定ステップで推定されたデフォーカス情報のうち、特定の被写体距離を超えた被写体距離に対応するデフォーカス情報を、該特定の被写体距離に対応するデフォーカス情報に補正する補正ステップと、
前記推定ステップで推定されたデフォーカス情報と前記補正ステップで補正されたデフォーカス情報に基づいて前記画像に対応するデフォーカス情報列を生成する生成ステップと、を備えることを特徴とする画像処理装置の制御方法。 - コンピュータを、請求項1乃至23に記載の画像処理装置の各手段として機能させるためのプログラム。
- コンピュータを、請求項1乃至23に記載の画像処理装置の各手段として機能させるためのプログラムを格納したことを特徴とするコンピュータで読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018159916A JP2018200722A (ja) | 2018-08-29 | 2018-08-29 | 画像処理装置及びその制御方法、並びにプログラム及び記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018159916A JP2018200722A (ja) | 2018-08-29 | 2018-08-29 | 画像処理装置及びその制御方法、並びにプログラム及び記憶媒体 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014086318A Division JP6395429B2 (ja) | 2014-04-18 | 2014-04-18 | 画像処理装置、その制御方法及び記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018200722A true JP2018200722A (ja) | 2018-12-20 |
Family
ID=64668259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018159916A Pending JP2018200722A (ja) | 2018-08-29 | 2018-08-29 | 画像処理装置及びその制御方法、並びにプログラム及び記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018200722A (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09133525A (ja) * | 1995-11-10 | 1997-05-20 | Nippon Soken Inc | 距離計測装置 |
JP2003269917A (ja) * | 2002-03-15 | 2003-09-25 | Sony Corp | 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置 |
JP2006090896A (ja) * | 2004-09-24 | 2006-04-06 | Fuji Heavy Ind Ltd | ステレオ画像処理装置 |
JP2008090608A (ja) * | 2006-10-02 | 2008-04-17 | Konica Minolta Holdings Inc | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム |
JP2010002280A (ja) * | 2008-06-19 | 2010-01-07 | Panasonic Corp | 撮像装置、測距装置及び視差算出方法 |
JP2010193178A (ja) * | 2009-02-18 | 2010-09-02 | Olympus Corp | 画像処理装置及び方法並びにプログラム |
JP2013207745A (ja) * | 2012-03-29 | 2013-10-07 | Sharp Corp | 画像撮像装置、画像処理方法およびプログラム |
JP2013239119A (ja) * | 2012-05-17 | 2013-11-28 | Canon Inc | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 |
-
2018
- 2018-08-29 JP JP2018159916A patent/JP2018200722A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09133525A (ja) * | 1995-11-10 | 1997-05-20 | Nippon Soken Inc | 距離計測装置 |
JP2003269917A (ja) * | 2002-03-15 | 2003-09-25 | Sony Corp | 距離計測方法、その装置、そのプログラム、その記録媒体及び距離計測装置搭載型ロボット装置 |
JP2006090896A (ja) * | 2004-09-24 | 2006-04-06 | Fuji Heavy Ind Ltd | ステレオ画像処理装置 |
JP2008090608A (ja) * | 2006-10-02 | 2008-04-17 | Konica Minolta Holdings Inc | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム |
JP2010002280A (ja) * | 2008-06-19 | 2010-01-07 | Panasonic Corp | 撮像装置、測距装置及び視差算出方法 |
JP2010193178A (ja) * | 2009-02-18 | 2010-09-02 | Olympus Corp | 画像処理装置及び方法並びにプログラム |
JP2013207745A (ja) * | 2012-03-29 | 2013-10-07 | Sharp Corp | 画像撮像装置、画像処理方法およびプログラム |
JP2013239119A (ja) * | 2012-05-17 | 2013-11-28 | Canon Inc | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10997696B2 (en) | Image processing method, apparatus and device | |
US9998650B2 (en) | Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map | |
US9092875B2 (en) | Motion estimation apparatus, depth estimation apparatus, and motion estimation method | |
US10326927B2 (en) | Distance information producing apparatus, image capturing apparatus, distance information producing method and storage medium storing distance information producing program | |
JP6415179B2 (ja) | 画像処理装置、画像処理方法、および撮像装置並びにその制御方法 | |
US9992478B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images | |
US7941042B2 (en) | Auto-focus method, medium, and apparatus for image-capturing | |
JP2015035658A (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
US9619886B2 (en) | Image processing apparatus, imaging apparatus, image processing method and program | |
JP6395429B2 (ja) | 画像処理装置、その制御方法及び記憶媒体 | |
US11080873B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
JP5857712B2 (ja) | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム | |
JP2009047498A (ja) | 立体撮像装置および立体撮像装置の制御方法並びにプログラム | |
JP6645711B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP7438713B2 (ja) | 撮像装置、方法及びプログラム | |
JP2018200722A (ja) | 画像処理装置及びその制御方法、並びにプログラム及び記憶媒体 | |
US10776927B2 (en) | Image processing apparatus, image processing method, and program | |
JP2023069386A (ja) | 画像計測装置、方法およびプログラム | |
JP2017044983A (ja) | 画像処理装置及び画像処理方法 | |
JP2019035967A (ja) | 画像処理装置、画像処理方法、および撮像装置並びにその制御方法 | |
JP6570406B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
JP2019106215A (ja) | データ処理装置、撮像装置、およびデータ処理方法 | |
JP2017076051A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
JP2016076776A (ja) | 画像処理装置及び画像処理装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180927 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190820 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200324 |